Mikä on Ylisovitus
Kun malli muistaa harjoitusdatan liian hyvin
Ylisovitus on koneoppimisen ongelma, jossa malli muistaa harjoitusdatan liian hyvin eikä pysty yleistämään uuteen dataan.
Ylisovituksen merkit
- Korkea tarkkuus harjoitusdatalla
- Matala tarkkuus testidatalla
- Suuri ero harjoitus- ja testimittareiden välillä
- Malli muistaa kohinan datassa
Syyt
- Liian monimutkainen malli
- Riittämätön harjoitusdata
- Liian pitkä harjoitus
- Regularisaation puute
Ehkäisymenetelmät
- Regularisaatio (L1, L2)
- Dropout neuroverkossa
- Varhainen pysäytys
- Ristivalidointi
- Datan lisäys
- Mallin yksinkertaistaminen
Bias-varianssi-kompromissi
Ylisovitus liittyy matalaan biasiin ja korkeaan varianssiin. Oikean tasapainon löytäminen on ratkaisevaa.