Hva er Hyperparametre
Modellinnstillinger definert før trening
Hyperparametre er maskinlæringsmodellparametere som settes før trening starter og ikke endres under prosessen. I motsetning til vanlige parametere definerer hyperparametre modellens arkitektur og oppførsel.
Hovedhyperparametre
- Læringshastighet — modellens læringshastighet
- Batchstørrelse — databatchstørrelse for én iterasjon
- Antall epoker — antall gjennomganger av hele datasettet
- Antall lag — antall nevrale nettverkslag
- Regularisering — regulariseringsparametere (L1, L2, dropout)
Innstillingsmetoder
- Grid Search — uttømmende søk av alle verdikombinasjoner
- Random Search — tilfeldig søk i parameterrommet
- Bayesiansk optimalisering — Bayesiansk optimalisering
- AutoML — automatisk arkitektur- og parametervalg
Påvirkning på modellen
- For høy læringshastighet — modellen konvergerer ikke
- For lav læringshastighet — langsom trening
- Stor batchstørrelse — raskere men dårligere generalisering
- Liten batchstørrelse — bedre generalisering men langsommere