क्या है BERT
टेक्स्ट समझने के लिए Google भाषा मॉडल
BERT (Bidirectional Encoder Representations from Transformers)
BERT Google का पूर्व-प्रशिक्षित भाषा मॉडल है जिसने प्राकृतिक भाषा प्रसंस्करण (NLP) में क्रांति ला दी।
मुख्य विशेषताएं
| विशेषता | विवरण | |---------|-------| | द्विदिशात्मक | बाएं और दाएं संदर्भ का एक साथ विश्लेषण | | पूर्व-प्रशिक्षण | Wikipedia + BookCorpus पर प्रशिक्षित (3.3B शब्द) | | Transformer | ध्यान वास्तुकला पर आधारित | | फाइन-ट्यूनिंग | विशिष्ट कार्यों के लिए आसानी से अनुकूलनीय |
पूर्व-प्रशिक्षण कार्य
- Masked Language Model (MLM) — मास्क किए गए शब्दों की भविष्यवाणी
- Next Sentence Prediction (NSP) — वाक्य संबंधों का निर्धारण
BERT अनुप्रयोग
| कार्य | उदाहरण | |-------|--------| | टेक्स्ट वर्गीकरण | समीक्षाओं का भावना विश्लेषण | | NER | नाम, तिथियां, संगठन निकालना | | प्रश्न उत्तर | टेक्स्ट से प्रश्नों का उत्तर | | सिमेंटिक खोज | शब्दों से नहीं, अर्थ से खोज |
मॉडल संस्करण
- BERT-Base — 12 परतें, 110M पैरामीटर
- BERT-Large — 24 परतें, 340M पैरामीटर
- HindiBERT — हिंदी के लिए
- MultiBERT — 104 भाषाएं