Mis on Hüperparameetrid
Mudeli seaded enne treenimist
Hüperparameetrid on masinõppe mudeli parameetrid, mis määratakse enne treenimise algust ja ei muutu protsessi jooksul. Erinevalt tavalistest parameetritest määravad hüperparameetrid mudeli arhitektuuri ja käitumise.
Peamised hüperparameetrid
- Õppimiskiirus — mudeli õppimiskiirus
- Partii suurus — andmepartii suurus ühe iteratsiooni jaoks
- Epohide arv — kogu andmestiku läbimiste arv
- Kihtide arv — närvivõrgu kihtide arv
- Regulariseerimine — regulariseerimisparameetrid (L1, L2, dropout)
Häälestamismeetodid
- Grid Search — kõigi väärtuste kombinatsioonide ammendav otsing
- Random Search — juhuslik otsing parameetriruumis
- Bayesi optimeerimine — Bayesi optimeerimine
- AutoML — automaatne arhitektuuri ja parameetrite valik
Mõju mudelile
- Liiga kõrge õppimiskiirus — mudel ei koondu
- Liiga madal õppimiskiirus — aeglane treenimine
- Suur partii suurus — kiirem, kuid halvem üldistamine
- Väike partii suurus — parem üldistamine, kuid aeglasem