Nima BERT
Matnni tushunish uchun Google til modeli
BERT (Bidirectional Encoder Representations from Transformers)
BERT — tabiiy tilni qayta ishlash (NLP) da inqilob qilgan Google ning oldindan o'qitilgan til modeli.
Asosiy Xususiyatlar
| Xususiyat | Tavsif | |-----------|--------| | Ikki tomonlama | Chap va o'ng kontekstni bir vaqtda tahlil qiladi | | Oldindan o'qitish | Wikipedia + BookCorpus da o'qitilgan (3.3B so'z) | | Transformer | Attention arxitekturasiga asoslangan | | Fine-tuning | Muayyan vazifalarga oson moslashtiriladi |
Oldindan O'qitish Vazifalari
- Masked Language Model (MLM) — niqoblangan so'zlarni bashorat qilish
- Next Sentence Prediction (NSP) — jumla munosabatlarini aniqlash
BERT Ilovalari
| Vazifa | Misol | |--------|-------| | Matn tasnifi | Sharhlar sentiment tahlili | | NER | Ism, sana, tashkilotlarni ajratish | | Savol-javob | Matndan savollarga javob berish | | Semantik qidiruv | So'zlarga emas, ma'noga ko'ra qidirish |
Model Versiyalari
- BERT-Base — 12 qatlam, 110M parametr
- BERT-Large — 24 qatlam, 340M parametr
- UzBERT — o'zbek tili uchun
- MultiBERT — 104 til