Inteligência Artificial
O que é Mecanismo de atenção
Mecanismo para rede neural focar em partes importantes da entrada
Mecanismo de Atenção (Attention Mechanism)
Mecanismo de Atenção — um componente chave das redes neurais modernas que permite ao modelo ponderar dinamicamente a importância de diferentes partes dos dados de entrada.
Como funciona
- Cálculo de pesos de atenção para cada elemento
- Query, Key, Value — três componentes de cálculo
- Soma ponderada de valores por importância
- Permite ao modelo "olhar" partes relevantes
Tipos de Atenção
| Tipo | Descrição | |------|-----------| | Self-Attention | Atenção dentro de uma sequência | | Cross-Attention | Atenção entre diferentes sequências | | Multi-Head | Múltiplas cabeças de atenção paralelas | | Sparse Attention | Atenção esparsa otimizada |
Aplicações
- NLP — tradução automática, GPT, BERT
- Visão Computacional — Vision Transformer (ViT)
- Modelos multimodais — CLIP, DALL-E
- Sistemas de recomendação — personalização
Fórmula Self-Attention
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
Vantagens
- Captura de dependências de longo alcance
- Paralelização de cálculos
- Interpretabilidade através dos pesos de atenção