EveryDay.DevUp

웨이트와 바이어스를 조정하여 최적의 해를 찾아가는 여정 옵티마이저 발전 역사 요약 배치 경사 하강법 가장 기초적인 형태. 전체 데이터를 사용하여 안정적이지만 매우 느리고 메모리 소모가 큼. ↓ 확률적 경사 하강법 (SGD) 한 개의 데이터만 사용하여 속도를 개선했지만, 경로의 변동성이 매우 큼. ..

Transformer 아키텍처 🏗️ Transformer란? 💡 핵심 개념 Transformer는 "Attention is All You Need" 논문(2017)에서 제안된 혁신적인 아키텍처입니다. RNN이나 CNN 없이 오직 Attention 메커니즘만으로 구성되어, 순차 처리의 한계를 극복하고 완전한 병렬 처리를 가능하게 했습니다. 🎯 혁신적인 변화 ..

Attention 메커니즘 🔍 Attention이란? 💡 핵심 개념 Attention은 모델이 입력 시퀀스의 어떤 부분에 "주의"를 기울일지 결정하는 메커니즘입니다. 인간이 긴 문장을 읽을 때 중요한 단어에 집중하는 것처럼, AI 모델도 관련성이 높은 정보에 더 많은 가중치를 부여합니다. 🎯 작동 원리 Attention은 세 가지 핵심 요소로 구성됩니다: ..

RNN 계열 모델의 발전 과정 1986 RNN의 등장 기본적인 순환 신경망 구조가 제안되어 순차 데이터 처리의 새로운 패러다임을 열었습니다. 1997 LSTM 개발 Hochreiter & Schmidhuber가 기울기 소실 문제를 해결한 LSTM을 발표하여 장기 의존성 학습을 가능하게 했습니다. ..

🧠 신경망 아키텍처 기본 Perceptron → Multi-Layer Perceptron CNN LeNet ..

🚀 텍스트 임베딩 완전 가이드 컴퓨터가 언어를 이해하는 방법 인간의 언어를 컴퓨터가 이해할 수 있는 숫자로 변환하는 기술의 발전사를 함께 탐험해보겠습니다. 📚 텍스트 임베딩이란? 텍스트 임베딩은 단어나 문장을 컴퓨터가 처리할 수 있는 숫자 벡터로 변환하는 과정입니다. 마치 언어의 번역기와 같은 역할을 하며, 인간의 언어를 컴퓨터의 언어로 바꿔주는 다리 역할을 합니다. ..