คืออะไร กลไกความสนใจ
กลไกสำหรับโครงข่ายประสาทเพื่อมุ่งเน้นส่วนอินพุตที่สำคัญ
กลไกความสนใจ (Attention Mechanism)
กลไกความสนใจ — องค์ประกอบสำคัญของโครงข่ายประสาทสมัยใหม่ที่ช่วยให้โมเดลสามารถให้น้ำหนักความสำคัญของส่วนต่างๆ ของข้อมูลอินพุตแบบไดนามิก
วิธีการทำงาน
- คำนวณน้ำหนักความสนใจสำหรับแต่ละองค์ประกอบ
- Query, Key, Value — สามองค์ประกอบการคำนวณ
- ผลรวมถ่วงน้ำหนักของค่าตามความสำคัญ
- ช่วยให้โมเดล "มอง" ส่วนที่เกี่ยวข้อง
ประเภทของ Attention
| ประเภท | คำอธิบาย | |--------|----------| | Self-Attention | ความสนใจภายในลำดับเดียว | | Cross-Attention | ความสนใจระหว่างลำดับต่างกัน | | Multi-Head | หัวความสนใจแบบขนานหลายหัว | | Sparse Attention | ความสนใจแบบเบาบางที่ปรับแต่ง |
การประยุกต์ใช้
- NLP — การแปลภาษาอัตโนมัติ, GPT, BERT
- Computer Vision — Vision Transformer (ViT)
- โมเดลหลายโหมด — CLIP, DALL-E
- ระบบแนะนำ — การปรับแต่งส่วนบุคคล
สูตร Self-Attention
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
ข้อดี
- จับความสัมพันธ์ระยะไกล
- การคำนวณแบบขนาน
- ความสามารถในการตีความผ่านน้ำหนักความสนใจ