Vad är BERT
Googles språkmodell för textförståelse
BERT (Bidirectional Encoder Representations from Transformers)
BERT är en förtränad språkmodell från Google som revolutionerade naturlig språkbehandling (NLP).
Huvudfunktioner
| Funktion | Beskrivning | |----------|-------------| | Dubbelriktad | Analyserar kontext från vänster och höger samtidigt | | Förträning | Tränad på Wikipedia + BookCorpus (3,3B ord) | | Transformer | Baserad på attention-arkitektur | | Fine-tuning | Lätt anpassningsbar till specifika uppgifter |
Förträningsuppgifter
- Masked Language Model (MLM) — förutsägelse av maskerade ord
- Next Sentence Prediction (NSP) — bestämning av meningsrelationer
BERT Tillämpningar
| Uppgift | Exempel | |---------|---------| | Textklassificering | Sentimentanalys av recensioner | | NER | Extraktion av namn, datum, organisationer | | Frågebesvarande | Besvara frågor från text | | Semantisk sökning | Sökning efter betydelse, inte ord |
Modellversioner
- BERT-Base — 12 lager, 110M parametrar
- BERT-Large — 24 lager, 340M parametrar
- KB-BERT — för svenska
- MultiBERT — 104 språk