ما هو BERT
نموذج لغوي من Google لفهم النص
BERT (التمثيلات الترميزية ثنائية الاتجاه من المحولات)
BERT هو نموذج لغوي مدرب مسبقًا من Google أحدث ثورة في معالجة اللغة الطبيعية (NLP).
الميزات الرئيسية
| الميزة | الوصف | |--------|-------| | ثنائي الاتجاه | يحلل السياق من اليسار واليمين في وقت واحد | | التدريب المسبق | مدرب على Wikipedia + BookCorpus (3.3 مليار كلمة) | | Transformer | مبني على بنية الانتباه | | الضبط الدقيق | قابل للتكيف بسهولة مع المهام المحددة |
مهام التدريب المسبق
- Masked Language Model (MLM) — التنبؤ بالكلمات المقنعة
- Next Sentence Prediction (NSP) — تحديد علاقات الجمل
تطبيقات BERT
| المهمة | مثال | |--------|------| | تصنيف النص | تحليل مشاعر المراجعات | | NER | استخراج الأسماء والتواريخ والمنظمات | | الإجابة على الأسئلة | الإجابة على الأسئلة من النص | | البحث الدلالي | البحث بالمعنى وليس بالكلمات |
إصدارات النموذج
- BERT-Base — 12 طبقة، 110 مليون معامل
- BERT-Large — 24 طبقة، 340 مليون معامل
- AraBERT — للغة العربية
- MultiBERT — 104 لغة