ハイパーパラメータ とは
トレーニング前に定義されるモデル設定
ハイパーパラメータは、トレーニング開始前に設定され、プロセス中に変更されない機械学習モデルのパラメータです。通常のパラメータとは異なり、ハイパーパラメータはモデルのアーキテクチャと動作を定義します。
主要なハイパーパラメータ
- 学習率 — モデルの学習速度
- バッチサイズ — 1回の反復のデータバッチサイズ
- エポック数 — データセット全体を通過する回数
- 層の数 — ニューラルネットワークの層数
- 正則化 — 正則化パラメータ(L1、L2、ドロップアウト)
チューニング方法
- グリッドサーチ — すべての値の組み合わせの網羅的探索
- ランダムサーチ — パラメータ空間でのランダム探索
- ベイズ最適化 — ベイズ最適化
- AutoML — アーキテクチャとパラメータの自動選択
モデルへの影響
- 学習率が高すぎる — モデルが収束しない
- 学習率が低すぎる — トレーニングが遅い
- バッチサイズが大きい — 高速だが汎化性能が悪い
- バッチサイズが小さい — 汎化性能は良いが遅い