Что такое BERT
Языковая модель Google для понимания текста
BERT (Bidirectional Encoder Representations from Transformers)
BERT — предобученная языковая модель от Google, революционизировавшая обработку естественного языка (NLP).
Ключевые особенности
| Характеристика | Описание | |----------------|----------| | Двунаправленность | Анализирует контекст слева и справа одновременно | | Предобучение | Обучен на Wikipedia + BookCorpus (3.3B слов) | | Transformer | Основан на архитектуре attention | | Fine-tuning | Легко адаптируется под конкретные задачи |
Задачи предобучения
- Masked Language Model (MLM) — предсказание замаскированных слов
- Next Sentence Prediction (NSP) — определение связи между предложениями
Применение BERT
| Задача | Пример | |--------|--------| | Классификация текста | Анализ тональности отзывов | | NER | Извлечение имён, дат, организаций | | Question Answering | Ответы на вопросы по тексту | | Semantic Search | Поиск по смыслу, не словам |
Версии модели
- BERT-Base — 12 слоёв, 110M параметров
- BERT-Large — 24 слоя, 340M параметров
- RuBERT — для русского языка
- MultiBERT — 104 языка