Intelligence Artificielle
Qu'est-ce que Mécanisme d'attention
Mécanisme permettant au réseau neuronal de se concentrer sur les parties importantes
Mécanisme d'Attention (Attention Mechanism)
Mécanisme d'Attention — un composant clé des réseaux neuronaux modernes permettant au modèle de pondérer dynamiquement l'importance des différentes parties des données d'entrée.
Fonctionnement
- Calcul des poids d'attention pour chaque élément
- Query, Key, Value — trois composants de calcul
- Somme pondérée des valeurs par importance
- Permet au modèle de "regarder" les parties pertinentes
Types d'Attention
| Type | Description | |------|-------------| | Self-Attention | Attention au sein d'une séquence | | Cross-Attention | Attention entre différentes séquences | | Multi-Head | Plusieurs têtes d'attention parallèles | | Sparse Attention | Attention sparse optimisée |
Applications
- NLP — traduction automatique, GPT, BERT
- Vision par ordinateur — Vision Transformer (ViT)
- Modèles multimodaux — CLIP, DALL-E
- Systèmes de recommandation — personnalisation
Formule Self-Attention
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Avantages
- Capture des dépendances à long terme
- Parallélisation des calculs
- Interprétabilité via les poids d'attention