Kunstig intelligens
Hva er Oppmerksomhetsmekanisme
Mekanisme for nevralt nettverk å fokusere på viktige inndata
Oppmerksomhetsmekanisme (Attention Mechanism)
Oppmerksomhetsmekanisme — en nøkkelkomponent i moderne nevrale nettverk som lar modellen dynamisk vekte viktigheten av ulike deler av inndataene.
Hvordan det fungerer
- Beregning av oppmerksomhetsvekter for hvert element
- Query, Key, Value — tre beregningskomponenter
- Vektet sum av verdier etter viktighet
- Lar modellen "se på" relevante deler
Typer Attention
| Type | Beskrivelse | |------|-------------| | Self-Attention | Oppmerksomhet innen én sekvens | | Cross-Attention | Oppmerksomhet mellom ulike sekvenser | | Multi-Head | Flere parallelle oppmerksomhetshoder | | Sparse Attention | Optimisert sparsom oppmerksomhet |
Anvendelser
- NLP — maskinoversettelse, GPT, BERT
- Datasyn — Vision Transformer (ViT)
- Multimodale modeller — CLIP, DALL-E
- Anbefalingssystemer — personalisering
Self-Attention formel
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Fordeler
- Fange langdistanseavhengigheter
- Beregningsparallelisering
- Tolkbarhet gjennom oppmerksomhetsvekter