Artificiell intelligens
Vad är Uppmärksamhetsmekanism
Mekanism för neuralt nätverk att fokusera på viktiga inmatningsdelar
Uppmärksamhetsmekanism (Attention Mechanism)
Uppmärksamhetsmekanism — en nyckelkomponent i moderna neurala nätverk som gör det möjligt för modellen att dynamiskt vikta betydelsen av olika delar av indata.
Hur det fungerar
- Beräkning av uppmärksamhetsvikter för varje element
- Query, Key, Value — tre beräkningskomponenter
- Viktad summa av värden efter betydelse
- Låter modellen "titta på" relevanta delar
Typer av Attention
| Typ | Beskrivning | |-----|-------------| | Self-Attention | Uppmärksamhet inom en sekvens | | Cross-Attention | Uppmärksamhet mellan olika sekvenser | | Multi-Head | Flera parallella uppmärksamhetshuvuden | | Sparse Attention | Optimerad gles uppmärksamhet |
Tillämpningar
- NLP — maskinöversättning, GPT, BERT
- Datorseende — Vision Transformer (ViT)
- Multimodala modeller — CLIP, DALL-E
- Rekommendationssystem — personalisering
Self-Attention formel
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Fördelar
- Fånga långdistansberoenden
- Beräkningsparallelisering
- Tolkningsbarhet genom uppmärksamhetsvikter