Mis on Peenhäälestus
Mudeli täiendav treenimine spetsiifiliste andmetega
Peenhäälestus — eeltreenitud mudeli täiendava treenimise protsess konkreetsel andmekogul, et kohandada see kindla ülesande või valdkonna jaoks.
Peenhäälestuse lähenemised
- Täielik peenhäälestus — kõigi mudeli kaalude uuendamine
- LoRA — Low-Rank Adaptation, ainult adapterite treenimine
- QLoRA — kvantiseeritud LoRA mälusäästu jaoks
- Viipesäätmine — ainult pehmete viipede treenimine
- Adapteri säätmine — väikeste treenitavate moodulite lisamine
Millal kasutada
- Spetsiifiline valdkond — õigus-, meditsiinitekstid
- Ettevõtte stiil — firma toon, terminoloogia
- Kitsas ülesanne — klassifikatsioon, olemite eraldamine
- Vormindamine — spetsiifiline vastuse formaat
Võtmeparameetrid
- Õppimiskiirus — treenimiskiirus (tavaliselt madal: 1e-5 — 5e-5)
- Epohhid — epohhide arv (tavaliselt 1-5)
- Partii suurus — batch-suurus
- Soojendus — õppimiskiiruse järkjärguline tõus
Ärirakendused
- Ettevõtte vestlusbotid — treenimine sisemistel dokumentidel
- Piletite klassifikatsioon — automaatne päringute suunamine
- Sisu genereerimine — brändi stiilis tekst
- Koodiassistendid — treenimine ettevõtte koodibaasil