Sun'iy intellekt
Nima Diqqat mexanizmi
Neyron tarmoqning muhim kirish qismlariga e'tibor qaratish mexanizmi
Diqqat mexanizmi (Attention Mechanism)
Diqqat mexanizmi — zamonaviy neyron tarmoqlarning asosiy komponenti bo'lib, modelga kirish ma'lumotlarining turli qismlarining muhimligini dinamik ravishda baholash imkonini beradi.
Qanday ishlaydi
- Har bir element uchun diqqat og'irliklarini hisoblash
- Query, Key, Value — uchta hisoblash komponenti
- Muhimlikka qarab qiymatlarning og'irlikli yig'indisi
- Modelga tegishli qismlarga "qarash" imkonini beradi
Diqqat turlari
| Tur | Tavsif | |-----|--------| | Self-Attention | Bitta ketma-ketlik ichidagi diqqat | | Cross-Attention | Turli ketma-ketliklar orasidagi diqqat | | Multi-Head | Bir nechta parallel diqqat boshlar | | Sparse Attention | Optimallashtirilgan siyrak diqqat |
Qo'llanilishi
- NLP — mashina tarjimasi, GPT, BERT
- Kompyuter ko'rishi — Vision Transformer (ViT)
- Multimodal modellar — CLIP, DALL-E
- Tavsiya tizimlari — shaxsiylashtirish
Self-Attention formulasi
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Afzalliklari
- Uzoq masofali bog'liqliklarni ushlash
- Hisoblashni parallellashtirish
- Diqqat og'irliklari orqali talqin qilinishi