Mis on BERT
Google keele mudel teksti mõistmiseks
BERT (Bidirectional Encoder Representations from Transformers)
BERT on Google'i eelkoolitatud keele mudel, mis revolutsioneeris loomuliku keele töötluse (NLP).
Põhiomadused
| Omadus | Kirjeldus | |--------|-----------| | Kahesuunaline | Analüüsib konteksti vasakult ja paremalt samaaegselt | | Eelkoolitus | Koolitatud Wikipedial + BookCorpusel (3,3B sõna) | | Transformer | Põhineb attention arhitektuuril | | Peenhäälestus | Kergesti kohandatav konkreetsetele ülesannetele |
Eelkoolituse Ülesanded
- Masked Language Model (MLM) — maskeeritud sõnade ennustamine
- Next Sentence Prediction (NSP) — lausete suhete määramine
BERT Rakendused
| Ülesanne | Näide | |----------|-------| | Teksti klassifitseerimine | Arvustuste sentimendi analüüs | | NER | Nimede, kuupäevade, organisatsioonide eraldamine | | Küsimustele vastamine | Vastake küsimustele tekstist | | Semantiline otsing | Otsi tähenduse, mitte sõnade järgi |
Mudeli Versioonid
- BERT-Base — 12 kihti, 110M parameetrit
- BERT-Large — 24 kihti, 340M parameetrit
- EstBERT — eesti keele jaoks
- MultiBERT — 104 keelt