패스트캠퍼스 환급챌린지 17일차 : Part1 딥러닝을 시작하기전에 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/4hTSJNB

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스

Ch05-08 테일러급수

- 어떤 함수를 다항 함수로 나타낸 것

: 다항 함수 => 다항식으로 표현되는 함수 => 다항식은 => 변수와 상수의 곱과 합으로 이루어진 어떤 식

예를들어 cos(x)를 다항식으로 표현하면 cos(x) = C0 + C1x+ C2x^2 + C3x^3....

: 미분과 양변에 x = 0을 반복적으로 하면서 해를 찾아감

Ch05-09 스칼라를 벡터로 미분하는 법

- 입력 값이 하나 이상일 때, 어떤 함수를 통과해서 나온 스칼라를 벡터로 미분

: 그라디언트를 쉽게 구하는 방법

df = -2(y-Ax)^TAdx 

Ch05-10 왜 그라디언트는 가파른 방향을 향할까?

https://www.youtube.com/watch?v=MeyIV72Gvpw

 

Ch05-11 확률 변수와 확률 분포

- 확률 함수는 2가지로 분류할 수 있음

: Probablity mass function 값이 정해져 있는 경우

: Probablity desity function 값이 연속적으로 나오는 경우

- 성질

: 0 <= P(x) <= 1 이고, 합이 1

Ch05-12 평균과 분산

- 분포를 설명하는 두가지 대표 값

- 평균

: mean = average = 기대 값

- 분산

: 평균으로부터 데이터가 퍼진 정도를 나타냄

: V[X] = E[(X-M)^2] 제곱을 통해 값의 크기를 잡을 수 있음

- 표준 편차

: 분산에 루트를 씌어서 계산하게 됨

Ch05-13 균등 분포와 정규 분포

- 균등 분포

: 확률이 균등하게 분포한 상태 X~U(a,b) a,b까지 확률이 균등하다는 것을 나타냄

- 정규 분포

: 분포가 대칭적인 종모양을 가질 때 X~N(0, σ^2)

Ch05-14 정보이론 기초

- 정보 = 랜덤한 정보 = bit 0 or 1 => 효율적으로 변경해야함 = 엔트로피

- 효율적으로 정보를 표기하기 위해 확률이 높을 수록 데이터를 짧게 비트로 표기하고, 낮을 수록 긴 비트로 표기

- 엔트로피, 크로스 엔트로피, KL-Divergence, Mutual information 개념이 존재

https://velog.io/@krec7748/%EC%A0%95%EB%B3%B4%EC%9D%B4%EB%A1%A0-Entropy-Cross-Entropy-KL-Divergence-Mutual-information

정보이론 - Entropy, Cross-Entropy, KL-Divergence, Mutual information