Mikä on Huomiomekanismi
Mekanismi neuroverkolle keskittyä tärkeisiin syöteosiin
Huomiomekanismi (Attention Mechanism)
Huomiomekanismi — modernien neuroverkkojen avainkomponentti, joka mahdollistaa mallin painottaa dynaamisesti syötetietojen eri osien tärkeyttä.
Miten se toimii
- Huomiopainojen laskeminen jokaiselle elementille
- Query, Key, Value — kolme laskentakomponenttia
- Arvojen painotettu summa tärkeyden mukaan
- Mahdollistaa mallin "katsoa" olennaisia osia
Huomiotyypit
| Tyyppi | Kuvaus | |--------|--------| | Self-Attention | Huomio yksittäisessä sekvenssissä | | Cross-Attention | Huomio eri sekvenssien välillä | | Multi-Head | Useita rinnakkaisia huomiopäitä | | Sparse Attention | Optimoitu harva huomio |
Sovellukset
- NLP — konekäännös, GPT, BERT
- Konenäkö — Vision Transformer (ViT)
- Multimodaaliset mallit — CLIP, DALL-E
- Suositusjärjestelmät — personointi
Self-Attention kaava
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Edut
- Pitkän matkan riippuvuuksien kaappaus
- Laskennan rinnakkaistaminen
- Tulkittavuus huomiopainojen kautta