Mis on Tähelepanu mehhanism
Mehhanism närvivõrgule olulistele sisendi osadele keskendumiseks
Tähelepanu mehhanism (Attention Mechanism)
Tähelepanu mehhanism — kaasaegsete närvivõrkude võtmekomponent, mis võimaldab mudelil dünaamiliselt kaaluda sisendandmete erinevate osade olulisust.
Kuidas see töötab
- Tähelepanu kaalude arvutamine iga elemendi jaoks
- Query, Key, Value — kolm arvutuskomponenti
- Väärtuste kaalutud summa olulisuse järgi
- Võimaldab mudelil "vaadata" asjakohaseid osi
Tähelepanu tüübid
| Tüüp | Kirjeldus | |------|-----------| | Self-Attention | Tähelepanu ühe jada sees | | Cross-Attention | Tähelepanu erinevate jadade vahel | | Multi-Head | Mitu paralleelset tähelepanu pead | | Sparse Attention | Optimeeritud hõre tähelepanu |
Rakendused
- NLP — masintõlge, GPT, BERT
- Arvutinägemine — Vision Transformer (ViT)
- Multimodaalsed mudelid — CLIP, DALL-E
- Soovitussüsteemid — isikupärastamine
Self-Attention valem
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Eelised
- Kaugmaa sõltuvuste tabamine
- Arvutuse paralleelisatsioon
- Tõlgendatavus tähelepanu kaalude kaudu