क्या है अटेंशन मैकेनिज्म
न्यूरल नेटवर्क को महत्वपूर्ण इनपुट भागों पर ध्यान केंद्रित करने की विधि
अटेंशन मैकेनिज्म (Attention Mechanism)
अटेंशन मैकेनिज्म — आधुनिक न्यूरल नेटवर्क का एक प्रमुख घटक जो मॉडल को इनपुट डेटा के विभिन्न भागों के महत्व को गतिशील रूप से वज़न देने की अनुमति देता है।
यह कैसे काम करता है
- प्रत्येक तत्व के लिए अटेंशन वेट की गणना
- Query, Key, Value — तीन गणना घटक
- महत्व के अनुसार मूल्यों का भारित योग
- मॉडल को प्रासंगिक भागों को "देखने" की अनुमति
अटेंशन के प्रकार
| प्रकार | विवरण | |--------|-------| | Self-Attention | एकल अनुक्रम के भीतर अटेंशन | | Cross-Attention | विभिन्न अनुक्रमों के बीच अटेंशन | | Multi-Head | एकाधिक समानांतर अटेंशन हेड्स | | Sparse Attention | अनुकूलित विरल अटेंशन |
अनुप्रयोग
- NLP — मशीन अनुवाद, GPT, BERT
- Computer Vision — Vision Transformer (ViT)
- मल्टीमोडल मॉडल — CLIP, DALL-E
- सिफारिश प्रणाली — वैयक्तिकरण
Self-Attention सूत्र
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
लाभ
- दीर्घकालिक निर्भरताओं को पकड़ना
- गणना समानांतरीकरण
- अटेंशन वेट के माध्यम से व्याख्यात्मकता