EveryDay.DevUp

웨이트와 바이어스를 조정하여 최적의 해를 찾아가는 여정 옵티마이저 발전 역사 요약 배치 경사 하강법 가장 기초적인 형태. 전체 데이터를 사용하여 안정적이지만 매우 느리고 메모리 소모가 큼. ↓ 확률적 경사 하강법 (SGD) 한 개의 데이터만 사용하여 속도를 개선했지만, 경로의 변동성이 매우 큼. ..

Transformer 아키텍처 🏗️ Transformer란? 💡 핵심 개념 Transformer는 "Attention is All You Need" 논문(2017)에서 제안된 혁신적인 아키텍처입니다. RNN이나 CNN 없이 오직 Attention 메커니즘만으로 구성되어, 순차 처리의 한계를 극복하고 완전한 병렬 처리를 가능하게 했습니다. 🎯 혁신적인 변화 ..

Attention 메커니즘 🔍 Attention이란? 💡 핵심 개념 Attention은 모델이 입력 시퀀스의 어떤 부분에 "주의"를 기울일지 결정하는 메커니즘입니다. 인간이 긴 문장을 읽을 때 중요한 단어에 집중하는 것처럼, AI 모델도 관련성이 높은 정보에 더 많은 가중치를 부여합니다. 🎯 작동 원리 Attention은 세 가지 핵심 요소로 구성됩니다: ..

RNN 계열 모델의 발전 과정 1986 RNN의 등장 기본적인 순환 신경망 구조가 제안되어 순차 데이터 처리의 새로운 패러다임을 열었습니다. 1997 LSTM 개발 Hochreiter & Schmidhuber가 기울기 소실 문제를 해결한 LSTM을 발표하여 장기 의존성 학습을 가능하게 했습니다. ..

🧠 신경망 아키텍처 기본 Perceptron → Multi-Layer Perceptron CNN LeNet ..

🚀 텍스트 임베딩 완전 가이드 컴퓨터가 언어를 이해하는 방법 인간의 언어를 컴퓨터가 이해할 수 있는 숫자로 변환하는 기술의 발전사를 함께 탐험해보겠습니다. 📚 텍스트 임베딩이란? 텍스트 임베딩은 단어나 문장을 컴퓨터가 처리할 수 있는 숫자 벡터로 변환하는 과정입니다. 마치 언어의 번역기와 같은 역할을 하며, 인간의 언어를 컴퓨터의 언어로 바꿔주는 다리 역할을 합니다. ..

🧠 신경망과 액티베이션 함수: 선형성의 한계와 비선형성의 필요성 📊 2개 노드 신경망 구조 x 입력 → W₁ +b₁ h 은닉층 ..

1. AI 모델의 목표와 학습 데이터 모델 목표 정의: 이 예제에서 AI 모델의 목표는 '키(x) 값을 입력했을 때 몸무게(y)를 예측하는 것'입니다. 이를 위해 20명의 키와 몸무게 데이터(파란 점)가 학습용으로 주어졌습니다. AI는 이 데이터의 경향을 가장 잘 나타내는 최적의 예측선(녹색 선)을 찾는 것을 목표로 학습해야 합니다. 2. AI 모델 학습 과정 AI 모델은 몸무게(y)를 예측하기 위해 `y = 키 * W + b` 라는 간단한 수학 공식을 사용합니다. 이 공식은 2차원 그래프에서 하나의 직선으로 표현됩니다. AI 모델의 학습..

🧠 딥러닝 학습 과정 시뮬레이터 📊 학습 제어판 러닝 레이트: 학습 시작 모델 초기화 에폭 배율: x1 x5 x10 ..

CNN 단계별 시뮬레이션: 숫자 인식 (0-9) 섹션 1: 입력 이미지 선택 시뮬레이션할 손글씨 숫자를 선택하세요. 선택된 입력 이미지 (15x15): 컨볼루션 연산에 사용할 필터를 선택하세요 (선택 시 섹션 2-A에 실시간 반영). 모든 CNN 단계 시뮬레이션 시작 ..