Inteligencia Artificial
Qué es Mecanismo de atención
Mecanismo para que la red neuronal se enfoque en partes importantes
Mecanismo de Atención (Attention Mechanism)
Mecanismo de Atención — un componente clave de las redes neuronales modernas que permite al modelo ponderar dinámicamente la importancia de diferentes partes de los datos de entrada.
Cómo funciona
- Cálculo de pesos de atención para cada elemento
- Query, Key, Value — tres componentes de cálculo
- Suma ponderada de valores por importancia
- Permite al modelo "mirar" partes relevantes
Tipos de Atención
| Tipo | Descripción | |------|-------------| | Self-Attention | Atención dentro de una secuencia | | Cross-Attention | Atención entre diferentes secuencias | | Multi-Head | Múltiples cabezas de atención paralelas | | Sparse Attention | Atención dispersa optimizada |
Aplicaciones
- NLP — traducción automática, GPT, BERT
- Visión por Computadora — Vision Transformer (ViT)
- Modelos multimodales — CLIP, DALL-E
- Sistemas de recomendación — personalización
Fórmula Self-Attention
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Ventajas
- Captura de dependencias de largo alcance
- Paralelización de cálculos
- Interpretabilidad mediante pesos de atención