Mis on Teadmiste destilleerimine
Teadmiste ülekandmine suurelt mudelilt väikesele
Teadmiste destilleerimine on masinõppe tehnika, kus kompaktne mudel (õpilane) õpib kordama suurema, võimsama mudeli (õpetaja) käitumist.
Kuidas destilleerimine töötab
Protsess hõlmab:
- Õpetajamudel — suur eelkoolitatud närvivõrk
- Õpilasmudel — kompaktne arhitektuur
- Pehmed sildid — õpetaja tõenäosuslikud väljundid
- Temperatuuri skaleerimine — jaotuse silumine
Meetodi eelised
- Mudelite tihendamine 10-100x
- 90-95% kvaliteedi säilitamine
- Kiirem järeldamine
- Vähenenud mälunõuded
- Servaseadmete juurutamise võimalus
Ärirakendused
- Mobiilsed tehisintellekti rakendused
- Manussüsteemid
- Reaalajas töötlemine
- Vähenenud GPU kulud
- Kohalikud mudelid pilve asemel