転移学習 とは
あるタスクから別のタスクへの知識の転送
転移学習 — あるタスクで学習したモデルを別のタスク解決の出発点として使用するML技術。
転移学習の種類
- 特徴抽出 — ベースモデルを凍結し、上位層のみを学習
- ファインチューニング — 一部または全層の追加学習
- ドメイン適応 — 新しいデータドメインへの適応
- マルチタスク学習 — 複数タスクの同時学習
メリット
- 少ないデータ — 新タスクに大規模データセット不要
- 高速学習 — ゼロからスタートしない
- 高品質 — 大規模データセットの知識を活用
- リソース節約 — 学習に必要な計算が少ない
人気の事前学習モデル
- 画像 — ResNet、VGG、EfficientNet、CLIP
- テキスト — BERT、GPT、T5、LLaMA
- オーディオ — Wav2Vec、Whisper
- マルチモーダル — CLIP、BLIP、Flamingo
ビジネス活用
- 画像分類 — ImageNetから企業データへの転移
- NLPタスク — BERTから特定ドメインへの転移
- 医療 — 一般モデルを医療画像に転移
- スタートアップ — 大規模データなしでMLを迅速に開始