Vad är Modelldrift
Försämring av ML-modellkvalitet över tid
Modelldrift (Model Drift) är den gradvisa försämringen av ML-modellens kvalitet och noggrannhet över tid på grund av förändringar i data eller miljö.
Typer av drift
- Data Drift — förändringar i indata
- Concept Drift — förändringar i relationen mellan funktioner och mål
- Prediction Drift — förändringar i prediktionsfördelning
- Label Drift — förändringar i målvariabel
Orsaker
- Förändringar i användarbeteende
- Säsongsmässiga datafluktuationer
- Externa ekonomiska faktorer
- Tekniska förändringar i datakällor
- Föråldring av träningsdata
Upptäcka drift
- Övervakning av modellkvalitetsmetrik
- Statistiska tester (KS-test, PSI)
- Spårning av funktionsfördelningar
- A/B-testning av prediktioner
Åtgärdsmetoder
- Regelbunden ommodellering
- Online learning — kontinuerlig träning
- Ensemble-metoder med uppdateringar
- Automatiserade MLOps-pipelines