BERT 이란
텍스트 이해를 위한 Google 언어 모델
BERT (Bidirectional Encoder Representations from Transformers)
BERT는 자연어 처리(NLP)에 혁명을 일으킨 Google의 사전 훈련된 언어 모델입니다.
주요 특징
| 특징 | 설명 | |------|------| | 양방향 | 좌우 문맥을 동시에 분석 | | 사전 훈련 | Wikipedia + BookCorpus에서 훈련 (33억 단어) | | Transformer | 어텐션 아키텍처 기반 | | 파인튜닝 | 특정 작업에 쉽게 적응 가능 |
사전 훈련 작업
- Masked Language Model (MLM) — 마스킹된 단어 예측
- Next Sentence Prediction (NSP) — 문장 관계 결정
BERT 응용
| 작업 | 예시 | |------|------| | 텍스트 분류 | 리뷰 감성 분석 | | NER | 이름, 날짜, 조직 추출 | | 질문 응답 | 텍스트에서 질문에 답변 | | 시맨틱 검색 | 단어가 아닌 의미로 검색 |
모델 버전
- BERT-Base — 12층, 1.1억 파라미터
- BERT-Large — 24층, 3.4억 파라미터
- KoBERT — 한국어용
- MultiBERT — 104개 언어