패스트캠퍼스 환급챌린지 21일차 : Part2. 인공지능의 이해 Lv1. 인공지능/딥러닝 파헤치
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
🔥누적 수강 9백만 시간 돌파 기념 100% 페이백 (03.22 - 03.27) | 패스트캠퍼스
단 6일 한정! 지금 수강 시작하면 수강료 100% 돌려드려요!
fastcampus.co.kr
Ch02-06 Stomastic Gradient descent (SGD)
- Gradient descent (경사하강법)의 단점을 보완하기 위해 랜덤하게 데이터를 하나씩 뽑아서 Loss를 계산
: 뽑은 데이터를 제외한 데이터 중에서 다시 랜덤하게 데이터를 하나 뽑아서 Loss를 계산
: 모든 데이터를 다 뽑으면 다시 처음부터 반복 (Epoch)
- Gradient descent (경사하강법)보다 방향 설정이 빠르고, 로컬 미니멈 확률이 적어짐
Ch02-07 mini-batch SGD
- 데이터를 하나만 뽑는 것에는 모수 문제가 있기 때문에, 데이터를 복수개로 뽑음, 나머지 과정은 SGD와 동일함
- GPU가 병렬처리 연산에 강점을 가지기 때문에, GPU가 허락하는 한도 내에서 배치 값을 최대로 사용할 수 있도록 잡는 것이 좋음. 단, 러닝 레이트도 같이 키우는 것이 좋다는 연구가 있음
- 하이퍼파라미터
: Epoch -> 전체 데이터를 몇 번 반복해서 사용할 것인가.
: Learning Rate -> 얼만큼씩 이동할 것인가.
: Batch Size -> 몇개를 뽑을 것인가.
: 모델 아키텍처 -> 어떤 모델을 사용할 것인가?.
- 파라미터
: 머신 스스로 알아내야 하는 값 (Weight, Bias)
Ch02-08 moment vs RMSProp
- moment (관성)
: 이전 그라디언트의 방향에 관성을 고려할 수 있도록, 더해서 누적하는 방법을 사용
- RMSProp
: 축의 크기에 평준호를 위해 이전 크기를 누적하는 방법
Ch02-09 Adam
- Adaptive moment estimation
: moment와 RMSProp을 합침
Ch02-10 training vs Test (vs Validation)
- traning
: 파라미터를 학습을 위한 데이터, 연습 문제의 개념
- test
: 학습된 모델을 테스트하기 위한 데이터로, 실전 시험의 개념
: 해당 데이터를 학습에 사용하면 테스트의 의미가 없어짐
- validation
: 하이퍼파라미터를 선택하기 위한 데이터, 모의고사의 개념
Ch02-11 k-fold cross 검증
- 트레이닝 데이터가 적을 때 사용하는 검증
- 똑같은 하이퍼파라미터를 가진 모델의 각기 다른 파라미터를 넣기 위해서, 주어진 데이터를 조합으로 뽑아서 넣음
- 가장 val loss가 적은 하이퍼파라미터의 데이터세트를 선택
- 선택된 하이퍼파라미터를 통해 학습을 새로 시키거나, 하이퍼파라미터를 만들면서 나온 출력결과의 조합을 사용함
