Hva er BERT
Googles språkmodell for tekstforståelse
BERT (Bidirectional Encoder Representations from Transformers)
BERT er en forhåndstrent språkmodell fra Google som revolusjonerte naturlig språkbehandling (NLP).
Hovedfunksjoner
| Funksjon | Beskrivelse | |----------|-------------| | Toveis | Analyserer kontekst fra venstre og høyre samtidig | | Forhåndstrening | Trent på Wikipedia + BookCorpus (3,3B ord) | | Transformer | Basert på attention-arkitektur | | Finjustering | Lett tilpassbar til spesifikke oppgaver |
Forhåndstreningsoppgaver
- Masked Language Model (MLM) — prediksjon av maskerte ord
- Next Sentence Prediction (NSP) — bestemmelse av setningsrelasjoner
BERT Applikasjoner
| Oppgave | Eksempel | |---------|----------| | Tekstklassifisering | Sentimentanalyse av anmeldelser | | NER | Uttrekking av navn, datoer, organisasjoner | | Spørsmålsbesvarelse | Svare på spørsmål fra tekst | | Semantisk søk | Søk etter betydning, ikke ord |
Modellversjoner
- BERT-Base — 12 lag, 110M parametere
- BERT-Large — 24 lag, 340M parametere
- NorBERT — for norsk
- MultiBERT — 104 språk