ファインチューニング とは
特定のデータでのモデルの追加トレーニング
ファインチューニング — 事前学習済みモデルを特定のデータセットで追加学習し、特定のタスクやドメインに適応させるプロセス。
ファインチューニングのアプローチ
- フルファインチューニング — 全モデル重みの更新
- LoRA — Low-Rank Adaptation、アダプターのみを学習
- QLoRA — メモリ節約のための量子化LoRA
- プロンプトチューニング — ソフトプロンプトのみを学習
- アダプターチューニング — 小さな学習可能モジュールを追加
使用タイミング
- 特定ドメイン — 法律、医療テキスト
- 企業スタイル — 会社のトーン、用語
- 狭いタスク — 分類、エンティティ抽出
- フォーマット — 特定の応答形式
主要パラメータ
- 学習率 — 学習速度(通常低い:1e-5 — 5e-5)
- エポック — エポック数(通常1-5)
- バッチサイズ — バッチサイズ
- ウォームアップ — 学習率の段階的増加
ビジネス活用
- 企業チャットボット — 社内文書での学習
- チケット分類 — リクエストの自動ルーティング
- コンテンツ生成 — ブランドスタイルのテキスト
- コードアシスタント — 企業コードベースでの学習