자연어1

• 자연어 언어모델 BERT 강의 1강 정리 강의 :[토크ON세미나] 자연어 언어모델 ‘BERT’ 1강 - 자연어 처리(NLP) | T아카데미 자연어 처리 방법 Symbolic approach 규칙/지식 기반 접근법으로 일일히 들어오는 입력에 대한 출력 값을 매핑해주는 방식 Statistical approach 확률/통계 기반 접근법 TF-IDF를 이용한 키워드 추출 딥러닝에 많이 적용되기 시작 전처리 개행문자 제거 특수문자 제거 공백 제거 중복 표현 제어 이메일, 링크 제거 제목 제거 불용어 (의미 없는 용어) 제거 조사 제거 띄어쓰기, 문장분리 보정 사전 구축 토크나이징 어절, 형태소, n-gram, WordPiece 토크나이징 우리나라는 어절이 아닌 형태소로 나누어야 최소 의미 단위 다양한 자연어 처리 App 문서 분류, 문법, 오타 교정, .. 개발/etc 2021. 11. 21.