Künstliche Intelligenz
Was ist Aufmerksamkeitsmechanismus
Mechanismus für neuronale Netze zur Fokussierung auf wichtige Eingabeteile
Aufmerksamkeitsmechanismus (Attention Mechanism)
Aufmerksamkeitsmechanismus — eine Schlüsselkomponente moderner neuronaler Netze, die es dem Modell ermöglicht, die Wichtigkeit verschiedener Teile der Eingabedaten dynamisch zu gewichten.
Funktionsweise
- Berechnung von Aufmerksamkeitsgewichten für jedes Element
- Query, Key, Value — drei Berechnungskomponenten
- Gewichtete Summe der Werte nach Wichtigkeit
- Ermöglicht dem Modell, relevante Teile zu "betrachten"
Arten der Aufmerksamkeit
| Typ | Beschreibung | |-----|--------------| | Self-Attention | Aufmerksamkeit innerhalb einer Sequenz | | Cross-Attention | Aufmerksamkeit zwischen verschiedenen Sequenzen | | Multi-Head | Mehrere parallele Aufmerksamkeitsköpfe | | Sparse Attention | Optimierte sparse Aufmerksamkeit |
Anwendungen
- NLP — maschinelle Übersetzung, GPT, BERT
- Computer Vision — Vision Transformer (ViT)
- Multimodale Modelle — CLIP, DALL-E
- Empfehlungssysteme — Personalisierung
Self-Attention Formel
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Vorteile
- Erfassung langfristiger Abhängigkeiten
- Parallelisierung der Berechnung
- Interpretierbarkeit durch Aufmerksamkeitsgewichte