패스트캠퍼스 환급챌린지 32일차 : Part2. 인공지능의 이해 Lv2 : 숲을 보는 인공지능

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/4hTSJNB

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스

Ch05-04 입출력 크기 및 메모리 사용량 계산

1) Feature Map Size

- o = (소수점 아래 버리기 (( i + 2p - k ) / s ))+ 1

: i => 입력 된 이미지의 사이즈

: o => 출력된 피처맵

: k => 커널 사이즈

: p => 패딩 사이즈

: s => 스트라이드 사이즈

2) Storage Complexity - Weight의 수

- layer i의 가중치 수 = 커널 수 ^2 * 이전 레이어의 채널 수 * 현재 레이어의 채널 

- 신경만 학습 이후에 메모리에 저장되는 값의 크기를 확인할 수 있음

3) Storage Complexity - memory 사용량

- layer i의 메모리 = 현재 데이터의 피처 수 ^ 2 * 현재 레이어의 채널 수

- 추촌 과정에서의 메모리 사용량의 정도를 확인할 수 있음

4) Computational Complexity (계산 복잡도)

- layer i의 계산 복잡도 = (커널 개수 ^ 2) * (현재 피처맵의 사이즈 ^ 2) * (채널 수 ^2)

- 학습과정에서는 좋은 성능의 하드웨어를 사용하기 때문에 계산 복잡도를 고려할일이 적지만, 추론 과정에서는 한전된 하드웨어를 사용할 수 있기 때문에 추론 단계에서 고려해야함

Ch05-05 VGGNet

- VGGNet은 ILSVRC (사물 인식 대회)에서 2등을 했던 알고리즘

- 16개의 레이어로 구성됨 (13 ConvLayer, 3 FC (Fully Connected Layer))

- 3*3의 필터만 사용해도 충분하다는 것을 보여준 알고리즘

: RF (Receptive Field) => 커널이 Conv 연산을 수행할 때 이미지에서 얼마나 많은 영역을 수용할 수 있는가를 나타내는 값

: VGGNet은 7*7, 5*5 같은 더 큰 필터를 사용하지 않고 3*3의 필터만을 사용했을 때 더 나은 성능 효과가 있음을 보여줌

=> RF의 수치가 동일한 것에 비해, Weight의 수가 줄어들고 (메모리 사용량을 줄임), 비선형성이 증가함 (더 복잡한 문제를 해결할 수  있음) 

Ch05-06 Inception (1) => GoogleNet

- ILSVRC (사물인식대회)에서 1등을 했던 알고리즘

- 22개의 레이어로 구성되어있는데, 이는 9개의 Inception Layer 모델로 만들어짐

- Inception 모델

-> Split-transform merge starategy

: 다양한 크기의 필터를 사용해서 다양한 특징을 추출하는 것을 목표로 함 (1 * 1, 3 * 3, 5 * 5 커널을 사용해서 피처맵을 뽑아내고, 결과물을 조합함)  => 다양한 관점을 얻을 수 있음

-> Bottlenect Structure 

: 1 * 1 Conv 을 통해 차원 축소 효과를 통해 연산량을 줄이고, 비선형성을 증가 시킴

-> 학습 보조기

: Inception 사용 시 역전파의 문제를 해결하기 위해, 학습 과정에서만 사용되는 모듈을 추가함