Was ist Modellabweichung
Verschlechterung der ML-Modellqualität im Laufe der Zeit
Modellabweichung (Model Drift) ist die allmähliche Verschlechterung der ML-Modellqualität und -genauigkeit im Laufe der Zeit aufgrund von Änderungen in Daten oder Umgebung.
Arten von Drift
- Data Drift — Änderungen in Eingabedaten
- Concept Drift — Änderungen in der Beziehung zwischen Features und Ziel
- Prediction Drift — Änderungen in der Vorhersageverteilung
- Label Drift — Änderungen in der Zielvariable
Ursachen
- Änderungen im Nutzerverhalten
- Saisonale Datenschwankungen
- Externe wirtschaftliche Faktoren
- Technische Änderungen in Datenquellen
- Veralten von Trainingsdaten
Drift erkennen
- Überwachung von Modellqualitätsmetriken
- Statistische Tests (KS-Test, PSI)
- Verfolgung von Feature-Verteilungen
- A/B-Tests von Vorhersagen
Gegenmaßnahmen
- Regelmäßiges Neutraining des Modells
- Online Learning — kontinuierliches Training
- Ensemble-Methoden mit Updates
- Automatisierte MLOps-Pipelines