전이 학습 이란
한 작업에서 다른 작업으로 지식 전달
전이 학습 — 한 작업에서 훈련된 모델을 다른 작업 해결의 시작점으로 사용하는 ML 기술.
전이 학습 유형
- 특징 추출 — 기본 모델 동결, 상위 레이어만 학습
- 미세 조정 — 일부 또는 모든 레이어의 추가 학습
- 도메인 적응 — 새로운 데이터 도메인에 적응
- 다중 작업 학습 — 여러 작업 동시 학습
장점
- 적은 데이터 — 새 작업에 대규모 데이터셋 불필요
- 빠른 학습 — 처음부터 시작하지 않음
- 더 나은 품질 — 대규모 데이터셋의 지식 활용
- 리소스 절약 — 학습에 필요한 계산 감소
인기 사전 학습 모델
- 이미지 — ResNet, VGG, EfficientNet, CLIP
- 텍스트 — BERT, GPT, T5, LLaMA
- 오디오 — Wav2Vec, Whisper
- 멀티모달 — CLIP, BLIP, Flamingo
비즈니스 적용
- 이미지 분류 — ImageNet에서 기업 데이터로 전이
- NLP 작업 — BERT에서 특정 도메인으로 전이
- 의료 — 일반 모델을 의료 이미지로 전이
- 스타트업 — 대규모 데이터셋 없이 ML 빠른 시작