Mis on Mudeli triivimine
ML-mudeli kvaliteedi halvenemine aja jooksul
Mudeli triivimine (Model Drift) on ML-mudeli kvaliteedi ja täpsuse järkjärguline halvenemine aja jooksul andmete või keskkonna muutuste tõttu.
Triivimise tüübid
- Data Drift — muutused sisendandmetes
- Concept Drift — muutused tunnuste ja sihtmärgi vahelises seoses
- Prediction Drift — muutused ennustuse jaotuses
- Label Drift — muutused sihtmuutujas
Põhjused
- Muutused kasutajate käitumises
- Hooajalised andmekõikumised
- Välised majandustegurid
- Tehnilised muutused andmeallikates
- Treeningandmete vananemine
Triivimise tuvastamine
- Mudeli kvaliteedimõõdikute jälgimine
- Statistilised testid (KS-test, PSI)
- Tunnuste jaotuste jälgimine
- Ennustuste A/B testimine
Leevendamismeetodid
- Regulaarne mudeli ümberõpetamine
- Online õppimine — pidev treenimine
- Ensemble meetodid uuendustega
- Automatiseeritud MLOps konveierid