Mis on Ülekande õppimine
Teadmiste ülekandmine ühelt ülesandelt teisele
Ülekande õppimine — ML-tehnika, kus ühel ülesandel treenitud mudelit kasutatakse teise ülesande lahendamise lähtepunktina.
Ülekande õppimise tüübid
- Tunnuste eraldamine — baasimudeli külmutamine, ainult ülemiste kihtide treenimine
- Peenhäälestus — osa või kõigi kihtide täiendav treenimine
- Domeeni kohandamine — uue andmedomeeniga kohandumine
- Mitme ülesande õppimine — samaaegne treenimine mitmel ülesandel
Eelised
- Vähem andmeid — uuele ülesandele pole vaja tohutut andmekogumit
- Kiirem treenimine — ei alusta nullist
- Parem kvaliteet — suurest andmekogumist teadmiste kasutamine
- Ressursi säästmine — vähem arvutusi treenimiseks
Populaarsed Eeltreenitud Mudelid
- Pildid — ResNet, VGG, EfficientNet, CLIP
- Tekst — BERT, GPT, T5, LLaMA
- Heli — Wav2Vec, Whisper
- Multimodaalne — CLIP, BLIP, Flamingo
Ärirakendused
- Pildiklassifikatsioon — ülekanne ImageNetist ettevõtte andmetesse
- NLP ülesanded — ülekanne BERTist konkreetsesse valdkonda
- Tervishoid — üldise mudeli ülekanne meditsiinipiltidele
- Idufirmad — kiire ML-i käivitamine ilma suurte andmekogudeta