ما هو آلية الانتباه
آلية لتركيز الشبكة العصبية على أجزاء الإدخال المهمة
آلية الانتباه (Attention Mechanism)
آلية الانتباه — مكون رئيسي في الشبكات العصبية الحديثة يسمح للنموذج بتوزين أهمية أجزاء مختلفة من بيانات الإدخال ديناميكيًا.
كيف تعمل
- حساب أوزان الانتباه لكل عنصر
- Query, Key, Value — ثلاثة مكونات للحساب
- مجموع مرجح للقيم حسب الأهمية
- يسمح للنموذج "بالنظر إلى" الأجزاء ذات الصلة
أنواع الانتباه
| النوع | الوصف | |-------|-------| | Self-Attention | الانتباه داخل تسلسل واحد | | Cross-Attention | الانتباه بين تسلسلات مختلفة | | Multi-Head | رؤوس انتباه متوازية متعددة | | Sparse Attention | انتباه متفرق محسّن |
التطبيقات
- NLP — الترجمة الآلية، GPT، BERT
- رؤية الحاسوب — Vision Transformer (ViT)
- نماذج متعددة الوسائط — CLIP، DALL-E
- أنظمة التوصية — التخصيص
معادلة Self-Attention
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
المزايا
- التقاط التبعيات طويلة المدى
- موازاة الحسابات
- قابلية التفسير من خلال أوزان الانتباه