Назар аудару механизмі дегеніміз не
Нейрондық желінің маңызды кіріс бөліктеріне назар аударуы
Назар аудару механизмі (Attention Mechanism)
Назар аудару механизмі — заманауи нейрондық желілердің негізгі компоненті, модельге кіріс деректерінің әртүрлі бөліктерінің маңыздылығын динамикалық түрде салмақтауға мүмкіндік береді.
Қалай жұмыс істейді
- Әрбір элемент үшін назар салмақтарын есептеу
- Query, Key, Value — үш есептеу компоненті
- Маңыздылық бойынша мәндердің салмақты қосындысы
- Модельге тиісті бөліктерді "көруге" мүмкіндік береді
Назар түрлері
| Түрі | Сипаттама | |------|-----------| | Self-Attention | Бір тізбек ішіндегі назар | | Cross-Attention | Әртүрлі тізбектер арасындағы назар | | Multi-Head | Бірнеше параллель назар бастары | | Sparse Attention | Оңтайландырылған сирек назар |
Қолдану
- NLP — машиналық аударма, GPT, BERT
- Компьютерлік көру — Vision Transformer (ViT)
- Мультимодальды модельдер — CLIP, DALL-E
- Ұсыныс жүйелері — жекелендіру
Self-Attention формуласы
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Артықшылықтары
- Ұзақ қашықтық тәуелділіктерін түсіру
- Есептеуді параллельдеу
- Назар салмақтары арқылы түсіндірілу мүмкіндігі