패스트캠퍼스 환급챌린지 36일차 : Part3. 인공지능의 이해 Lv2 : 숲을 보는 인공지능

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/4hTSJNB

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스

Ch07-06 의미 연결망 분석방법

1) SNA (Semantic Network Analysis)

- 단어간의 관계를 분석하기 위해 사용

: 문서의 어조, 주제를 파악할 수 있음

2) 분석방법

- 단어를 노드로 구성, 노드를 연결

- 텍스트 -> 정제 -> 인접행렬 -> 연결망 그래프 -> 연결 정도를 파악

- 연결 정도를 파악하기 위한 방법

: 연결 중심성, 매개 중심성, 근접중심성

- NetworkX 파이썬 패키지를 사용하여 네트워크 구성이 가능함

Ch07-07 자연어를 이해하기 위한 주요 신경망

- 자연어를 벡터로 변환 => Embedding Layer

- 자연어의 특징을 추출 => Conv1DLayer

- 자연어의 시계열성을 학습 => RNN : 과거의 학습했던 데이터를 재참조

Ch07-08 NLP - Seq2Seq

1) 번역 Task (ManyToMany)

-  RNN의 마지막 노드의 문장에 대한 결과를 얻는 방법

2) Seq2Seq

- Encoder / Decoder를 사용

- Encoder의 결과를 입력 받아 Decoder의 RNN을 수행함

- 번역의 결과가 좋아짐

Ch07-09 NLP - Attention

- Seq2Seq가 문장이 길어질수록 번역이 떨어지는 이슈가 있어, 해당 부분을 개선

1)  Attention

- Encoder로부터 주어진 벡터의 키워드에 집중함

- Encoder -> Context Vector -> Decoder

: Context Vector에서 타겟 단어의 중요한 관계를 가지는 부분을 자동으로 찾음

Ch07-10 NLP - Transformer 그 이후

1)  Transformer

- RNN의 구조를 개선

- 모델 구조

1) Encoder / Decoder 각각 6개를 사용함

- 공통적으로 Multi head self attention, positive wise fully connection feed forward network

- 디코더에서는 masked multi-head attention 사용

- residual connection 사용

- 아웃풋 차원을 512로 동일하게 사용함

2) Bert

- 사전에 잘 학습된 모델과 파인 트레이닝을 통해 Task에 맞는 모델을 만듬