BERT дегеніміз не
Мәтінді түсінуге арналған Google тіл моделі
BERT (Bidirectional Encoder Representations from Transformers)
BERT — табиғи тілді өңдеуде (NLP) революция жасаған Google-дің алдын ала үйретілген тіл моделі.
Негізгі Ерекшеліктер
| Ерекшелік | Сипаттама | |-----------|-----------| | Екі бағытты | Сол және оң контексті бір уақытта талдайды | | Алдын ала үйрету | Wikipedia + BookCorpus-та үйретілген (3.3B сөз) | | Transformer | Attention архитектурасына негізделген | | Fine-tuning | Нақты тапсырмаларға оңай бейімделеді |
Алдын Ала Үйрету Тапсырмалары
- Masked Language Model (MLM) — маскаланған сөздерді болжау
- Next Sentence Prediction (NSP) — сөйлем қатынастарын анықтау
BERT Қолданбалары
| Тапсырма | Мысал | |----------|-------| | Мәтін жіктеу | Пікірлердің сентимент талдауы | | NER | Есімдер, күндер, ұйымдарды шығару | | Сұрақ-жауап | Мәтіннен сұрақтарға жауап беру | | Семантикалық іздеу | Сөздерге емес, мағынаға қарай іздеу |
Модель Нұсқалары
- BERT-Base — 12 қабат, 110M параметр
- BERT-Large — 24 қабат, 340M параметр
- KazBERT — қазақ тілі үшін
- MultiBERT — 104 тіл