Was ist BERT
Google-Sprachmodell zum Textverständnis
BERT (Bidirectional Encoder Representations from Transformers)
BERT ist ein vortrainiertes Sprachmodell von Google, das die Verarbeitung natürlicher Sprache (NLP) revolutioniert hat.
Hauptmerkmale
| Merkmal | Beschreibung | |---------|--------------| | Bidirektional | Analysiert Kontext von links und rechts gleichzeitig | | Vortraining | Trainiert auf Wikipedia + BookCorpus (3,3B Wörter) | | Transformer | Basiert auf Attention-Architektur | | Fine-tuning | Leicht an spezifische Aufgaben anpassbar |
Vortrainingsaufgaben
- Masked Language Model (MLM) — Vorhersage maskierter Wörter
- Next Sentence Prediction (NSP) — Bestimmung von Satzbeziehungen
BERT Anwendungen
| Aufgabe | Beispiel | |---------|----------| | Textklassifikation | Stimmungsanalyse von Bewertungen | | NER | Extraktion von Namen, Daten, Organisationen | | Question Answering | Fragen aus Text beantworten | | Semantische Suche | Suche nach Bedeutung, nicht Wörtern |
Modellversionen
- BERT-Base — 12 Schichten, 110M Parameter
- BERT-Large — 24 Schichten, 340M Parameter
- German BERT — für Deutsche Sprache
- MultiBERT — 104 Sprachen