패스트캠퍼스 환급챌린지 35일차 : Part3. 인공지능의 이해 Lv2 : 숲을 보는 인공지능

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/4hTSJNB

커리어 성장을 위한 최고의 실무교육 아카데미 | 패스트캠퍼스

Ch07-01 자연어 처리 분야의 주요 연구 분야

NCP Task (자연어 처리 분야)

- Task는 크게 분석과 생성 2가지로 분류할 수 있음

- 분석 일감

1) Sementic

: 단어의 의미 (Tag)를 파악, 1:1 매칭이 아닌 문맥을 파악

: 유사도를 판별하고 텍스트를 분류, 주어진 문서의 주제 판별, 긍정/부정의 감정 분석

2) Syntatic Parsing (문법)

: 문법적 요소의 태깅, 의미있는 단어를 묶는 Chunking, 문장의 절 파악

- 생성 일감

1) Question Answering : 질의 응답

2) Language Generation : 문장 생성

3) Machine Translation : 문장 번역

- 신경망의 구현 관점에서의 분야

: 1To1, 1ToMany, ManyTo1, ManyToMany

Ch07-02 텍스트 정제의 이해

1) 텍스트 정제 = 데이터 전처리

- 입력된 텍스트에는 오타, 띄어쓰기 오류, 이모티콘 등이 있을 수 있음

- 텍스트를 정제하기 위한 방법으로 다음의 방법이 존재

: 대소문자 통일, 특수 부호 제거, 이모티콘 제거, 숫자를 문자로 치환, 공백 제거, 개행 문자 제거, 불용어(실질적인 의미를 별로 가지고 있지 않은 단어)제거, 토큰화(자연어를 어떤 단위로 살펴볼 것인가)

Ch07-03 자연어 처리 관계

1) 텍스트 마이닝

: 텍스트 데이터를 정형화하고 특징을 추출하여 의미있는 정보를 발견

- 텍스트 마이닝 단계

: 자연어 -> 어휘 분석 -> 구문 분석 -> 의미 분석 -> 대화 문석

: Task에 따라서 단계가 축소(생략) 될 수 있음

2) 다이얼로그 시스템

- Input -> LU(Language Understanding) : 자연어를 이해 -> DM (Dialog Management) <-> 백엔드액션 -> Natural Lanaguge Generation

Ch07-04 NPL - 자연어 전처리에 사용하는 파이썬

- 파이썬에는 텍스트 전처리를 위한 다양한 라이브러리를 제공

: NLTK (Natural Language Toolkit) => 자연어 처리 및 문서 문석을 위한 파이썬 패키지

: KonPy, Soynlp =>  한국어 분석

: Gensim => 토픽 모델링, 문서 인덱싱, 유사성, 검색 및 기타 자연어 처리를 위한 라이브러리

: sklean, torchtext

Ch07-05 NLP-카운트 기반 핵심어 분석

1) 핵심어란

- 텍스트 자료의 중요한 내용을 입출력으로 제시하는 단어 => 키워드

2) 분석방법

- Counter : 단어의 등장빈도를 분석, Word Cloud 라이브러리를 통해 단어의 빈도수를 시각화할 수 있음

- TD-IDF