Künstliche Intelligenz
Was ist Hyperparameter
Modelleinstellungen vor dem Training
Hyperparameter sind Parameter von Machine-Learning-Modellen, die vor dem Training festgelegt werden und sich während des Prozesses nicht ändern. Im Gegensatz zu regulären Parametern definieren Hyperparameter die Architektur und das Verhalten des Modells.
Wichtige Hyperparameter
- Learning Rate — Lerngeschwindigkeit des Modells
- Batch-Größe — Datenbatchgröße für eine Iteration
- Anzahl der Epochen — Anzahl der Durchläufe durch den gesamten Datensatz
- Anzahl der Schichten — Anzahl der neuronalen Netzwerkschichten
- Regularisierung — Regularisierungsparameter (L1, L2, Dropout)
Tuning-Methoden
- Grid Search — erschöpfende Suche aller Wertekombinationen
- Random Search — zufällige Suche im Parameterraum
- Bayessche Optimierung — Bayessche Optimierung
- AutoML — automatische Architektur- und Parameterauswahl
Auswirkung auf das Modell
- Zu hohe Learning Rate — Modell konvergiert nicht
- Zu niedrige Learning Rate — langsames Training
- Große Batch-Größe — schneller, aber schlechtere Generalisierung
- Kleine Batch-Größe — bessere Generalisierung, aber langsamer