Hva er Modelldrift
Forverring av ML-modellkvalitet over tid
Modelldrift (Model Drift) er den gradvise forverringen av ML-modellens kvalitet og nøyaktighet over tid på grunn av endringer i data eller miljø.
Typer drift
- Data Drift — endringer i inndata
- Concept Drift — endringer i forholdet mellom funksjoner og mål
- Prediction Drift — endringer i prediksjonsfordeling
- Label Drift — endringer i målvariabel
Årsaker
- Endringer i brukeratferd
- Sesongmessige datasvingninger
- Eksterne økonomiske faktorer
- Tekniske endringer i datakilder
- Utdatering av treningsdata
Oppdage drift
- Overvåking av modellkvalitetsmetrikk
- Statistiske tester (KS-test, PSI)
- Sporing av funksjonsfordelinger
- A/B-testing av prediksjoner
Avbøtende metoder
- Regelmessig omskolering av modell
- Online learning — kontinuerlig trening
- Ensemble-metoder med oppdateringer
- Automatiserte MLOps-pipelines