패스트캠퍼스 환급챌린지 25일차 : Part2. 인공지능의 이해 Lv1. 인공지능/딥러닝 파헤치기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/4hTSJNB

🚨[D-3] 4월 1일 00시 강의 가격 최대 13% 인상! | 패스트캠퍼스

Ch06-01 Vanishing Gradient

- DNN이 깊어질 수로 미분이 반복되면서, Gradient가 사라지는 이슈 

: 주범은 sigmoid (최대 기울기가 1/4)

: 깊은 구조의 효과를 보기 어려워지고, underfitting (로스를 줄이지 못하는 현상) 문제가 발생하게 됨

Ch06-02 Vanising Gradient 방지, ReLU

-  ReLu(Rectfied Linear Unit)  : 액티베이션에서 양수는 값을 출력하고 음수의 출력은 줄이는 방버

: leaky ReLue => 음수를 매우 작은 기울기 0.01x로 약간의 값만 가지도록함

: Parametric ReLU => y = ax 기울기를 학스시키는 ㅏ업

Ch06-03 Vanising Gradient 방지, Batch Normalization

- 한 노드가 입력받는 데이터를 재배치하고, 얼마만큼의 간격으로 뿌려줄지를 결정하는 방법 (평균과 표준 편차)

Ch06-04 overfitting 방지, Data argumentation

- overfitting은 Traning할 때는 잘하지만, 실제 Test에서는 맞히지 못하는 경우 (학습이 너무 많이 되면 암기와 같은 효과를 내게 됨)

- overfitting 을 방지하기 위한 방법

: 모델의 경량화

: data argumentation => 데이터를 늘리는 방법 (데이터를 회전시키고, 일부만 잘라내기도, 축소하기도하는 등 다양한 방법으로 같은 데이터를 증가시킴)

Ch06-05 overfitting 방지, dropout dropconnect

- dropout

: 랜덤하게 특정 레이어의 노드를 가리면서 학습시키는 방법으로, 서로 다른 작은 네트워크를 여러개 학습시키는 효과를 가짐

: 적용하고 싶은 레이어에 dropout을 적용하고, 노드를 보일 확률 p (하이퍼 파라미터)를 각 레이어별로 설정

: 데이터 하나를 통과할 때마다 dropout을 적용하면서 학습하고, test 할때는 숨기는 노드 없이 사용하는 대신 p를 곱해서 사용함

- dropconnect

: 노드와 노드를 연결하는 커넥션을 숨김, 노드가 연결선으로 변경된 부분외에는 dropout과 원리가 동일함

Ch06-06 overfitting 방지, Ip-Regularzation

- Loss에  weight 크기를 더해서 같이 고려하는 것으로 처음에는 L (Loss)를 많이 고려하다가 L이 어느정도 줄어들면 L이 크게 커지지 않는 선에서 Ip를 줄임

: I1 => 크건 작건 똑같은 힘으로 줄임

: I2 => 작은 웨이트는 작게, 큰 웨이트는 크게 줄임