패스트캠퍼스 환급챌린지 33일차 : Part3. 인공지능의 이해 Lv2 : 숲을 보는 인공지능

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/4hTSJNB

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스

Ch05-07 Resnet

- 2015년 LSVRC (이미지 분류 대회) 1위 알고리즘

- 사람의 능력을 뛰어넘는 모델

- 152개의 레이어, 역전파를 해결하기 위핸 Skip Connections 구조, 배치 노멀라이즈 적용

- 분류기 학습을 위한 FC (Fully Connected) 대신 GAP (Global Average Pooling)을 수행함

1) Skip Connections 구조

- 몇 개의 레이어를 통과한 뒤, 원본 입력 데이터를 다시 더해주는 수행을 함으로써 레이어가 쌓여도 학습 성능이 좋을 수 있도록 개선함

2) Residual 구조

- 일반적인 신경망은 H(x)를 얻기 위해 수행하지만, Residual은 [F(x) = H(x) - x] 을 최소화하는 방향으로 수행하여 깊은 층을 만들어 낼 수 있도록 함

Transfer Learning (전이 학습)

- 기존의 만들어진 모델을 사용하여 새로운 모델을 마는 방법

EfficientNet

- depth (레이어 수), Weight (필터의 개수), Resolution(해상도)을 동시에 고려한 Compound Scaling을 통해 ConvNet기반 이미지 분류 성능을 높임

- 연사을 줄이고 정확도는 높임

Ch05-08 신경망의 성능을 높이기 위해 자주 사용하는 방법들

좋은 성능이란 무엇인가? 

1) 일반화 - 일반적으로 적용할 수 있는 모델인가

2) 정확성 - 얼마나 정확하게 답을 도출해내는가

3) 리소스 - 적은 메모리를 사용하여 빠르게 수행할 수 있는가

4) 학습속도 - 학습에 소요되는 시간이 얼마나 걸리는가.

좋은 성능을 내기 위한 방법

 - Overfitting 방지 => 학습 데이터를 늘리고, 적절한 시점에 학습을 종료 시키며, 앙상블 모델을 사용하여 정확도를 높임

: 학습데이터를 늘리기 위해 Image Argumentation을 사용 => 주어진 데이터를 회전, 확대, 축소 등 변형을 통해 늘림

: 적절한 시점에 학습을 종료 시키기 위해 데이터 일부를 검증 데이터로 사용함, 검증 데이터를 통해 로스가 증가하는 부분을 찾음

: Dropout => 노드를 무작위로 삭제하여 학습

- 메모리 측면 => Pooling, Stride 값을 조정

- 배치 노멀라이제이션 => 데이터의 스케일을 맞춰주고, 오버 피팅을 방지하며 학습 속도를 높일 수 있음

- Weight initialization => 초기 가중치 설정

: Xavier initalization => tanh, sigmoid 에서 좋은 성능을 냄

: He initalization => relu에서 좋은 성능을 냄

Ch05-09 2D Conv와 1D Conv의 비교

- Conv는 이미지에만 적용되는 것이 아닌, 텍스트 분류나 타임 시리즈에도 적용할 수 있음

- Transposed Convolutions는 피처맵에서 원복을 복구할 때 사용됨