Nedir Dikkat Mekanizması
Sinir ağının önemli girdi kısımlarına odaklanma mekanizması
Dikkat Mekanizması (Attention Mechanism)
Dikkat Mekanizması — modern sinir ağlarının temel bileşeni olup modelin girdi verilerinin farklı bölümlerinin önemini dinamik olarak ağırlıklandırmasına olanak tanır.
Nasıl Çalışır
- Her öğe için dikkat ağırlıkları hesaplama
- Query, Key, Value — üç hesaplama bileşeni
- Öneme göre değerlerin ağırlıklı toplamı
- Modelin ilgili kısımlara "bakmasına" izin verir
Dikkat Türleri
| Tür | Açıklama | |-----|----------| | Self-Attention | Tek dizi içinde dikkat | | Cross-Attention | Farklı diziler arası dikkat | | Multi-Head | Çoklu paralel dikkat başlıkları | | Sparse Attention | Optimize edilmiş seyrek dikkat |
Uygulamalar
- NLP — makine çevirisi, GPT, BERT
- Bilgisayarla Görme — Vision Transformer (ViT)
- Çok modlu modeller — CLIP, DALL-E
- Öneri sistemleri — kişiselleştirme
Self-Attention Formülü
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Avantajlar
- Uzun menzilli bağımlılıkları yakalama
- Hesaplama paralelleştirme
- Dikkat ağırlıkları ile yorumlanabilirlik