인공지능
어텐션 메커니즘 이란
신경망이 중요한 입력 부분에 집중하는 메커니즘
어텐션 메커니즘 (Attention Mechanism)
어텐션 메커니즘 — 현대 신경망의 핵심 구성 요소로, 모델이 입력 데이터의 다양한 부분의 중요도를 동적으로 가중할 수 있게 합니다.
작동 방식
- 각 요소에 대한 어텐션 가중치 계산
- Query, Key, Value — 세 가지 계산 구성 요소
- 중요도에 따른 값의 가중 합
- 모델이 관련 부분을 "보도록" 허용
어텐션 유형
| 유형 | 설명 | |------|------| | Self-Attention | 단일 시퀀스 내 어텐션 | | Cross-Attention | 다른 시퀀스 간 어텐션 | | Multi-Head | 여러 병렬 어텐션 헤드 | | Sparse Attention | 최적화된 희소 어텐션 |
응용
- NLP — 기계 번역, GPT, BERT
- 컴퓨터 비전 — Vision Transformer (ViT)
- 멀티모달 모델 — CLIP, DALL-E
- 추천 시스템 — 개인화
Self-Attention 공식
Attention(Q, K, V) = softmax(QK^T / √d_k) × V
장점
- 장거리 의존성 포착
- 계산 병렬화
- 어텐션 가중치를 통한 해석 가능성