Mikä on Hyperparametrit
Mallin asetukset ennen koulutusta
Hyperparametrit ovat koneoppimismallin parametreja, jotka asetetaan ennen koulutuksen alkua eivätkä muutu prosessin aikana. Toisin kuin tavalliset parametrit, hyperparametrit määrittelevät mallin arkkitehtuurin ja käyttäytymisen.
Tärkeimmät hyperparametrit
- Oppimisnopeus — mallin oppimisnopeus
- Eräkoko — dataeräkoko yhtä iteraatiota varten
- Epookkien määrä — läpikäyntien määrä koko datasetissä
- Kerrosten määrä — neuroverkon kerrosten määrä
- Regularisointi — regularisointiparametrit (L1, L2, dropout)
Viritysmetodit
- Grid Search — kaikkien arvoyhdistelmien tyhjentävä haku
- Random Search — satunnainen haku parametriavaruudessa
- Bayesilainen optimointi — Bayesilainen optimointi
- AutoML — automaattinen arkkitehtuuri- ja parametrivalinta
Vaikutus malliin
- Liian korkea oppimisnopeus — malli ei suppene
- Liian matala oppimisnopeus — hidas koulutus
- Suuri eräkoko — nopeampi mutta huonompi yleistäminen
- Pieni eräkoko — parempi yleistäminen mutta hitaampi