Intelligence Artificielle
Qu'est-ce que Hyperparamètres
Paramètres du modèle définis avant l'entraînement
Les hyperparamètres sont des paramètres de modèle d'apprentissage automatique qui sont définis avant le début de l'entraînement et ne changent pas pendant le processus. Contrairement aux paramètres réguliers, les hyperparamètres définissent l'architecture et le comportement du modèle.
Principaux hyperparamètres
- Taux d'apprentissage — vitesse d'apprentissage du modèle
- Taille du lot — taille du lot de données pour une itération
- Nombre d'époques — nombre de passages sur l'ensemble du dataset
- Nombre de couches — nombre de couches du réseau neuronal
- Régularisation — paramètres de régularisation (L1, L2, dropout)
Méthodes d'optimisation
- Grid Search — recherche exhaustive de toutes les combinaisons de valeurs
- Random Search — recherche aléatoire dans l'espace des paramètres
- Optimisation Bayésienne — optimisation bayésienne
- AutoML — sélection automatique de l'architecture et des paramètres
Impact sur le modèle
- Taux d'apprentissage trop élevé — le modèle ne converge pas
- Taux d'apprentissage trop bas — entraînement lent
- Grande taille de lot — plus rapide mais moins bonne généralisation
- Petite taille de lot — meilleure généralisation mais plus lent