คืออะไร BERT
โมเดลภาษาของ Google สำหรับการเข้าใจข้อความ
BERT (Bidirectional Encoder Representations from Transformers)
BERT เป็นโมเดลภาษาที่ผ่านการฝึกล่วงหน้าจาก Google ที่ปฏิวัติการประมวลผลภาษาธรรมชาติ (NLP)
คุณสมบัติหลัก
| คุณสมบัติ | คำอธิบาย | |-----------|----------| | สองทิศทาง | วิเคราะห์บริบทจากซ้ายและขวาพร้อมกัน | | การฝึกล่วงหน้า | ฝึกบน Wikipedia + BookCorpus (3.3B คำ) | | Transformer | อิงตามสถาปัตยกรรม attention | | Fine-tuning | ปรับให้เข้ากับงานเฉพาะได้ง่าย |
งานการฝึกล่วงหน้า
- Masked Language Model (MLM) — ทำนายคำที่ถูกปิดบัง
- Next Sentence Prediction (NSP) — กำหนดความสัมพันธ์ของประโยค
การประยุกต์ใช้ BERT
| งาน | ตัวอย่าง | |-----|----------| | การจำแนกข้อความ | วิเคราะห์ความรู้สึกของรีวิว | | NER | สกัดชื่อ วันที่ องค์กร | | ตอบคำถาม | ตอบคำถามจากข้อความ | | ค้นหาเชิงความหมาย | ค้นหาตามความหมาย ไม่ใช่คำ |
เวอร์ชันโมเดล
- BERT-Base — 12 ชั้น, 110M พารามิเตอร์
- BERT-Large — 24 ชั้น, 340M พารามิเตอร์
- Thai BERT — สำหรับภาษาไทย
- MultiBERT — 104 ภาษา