Mikä on Hienosäätö
Mallin lisäkoulutus erityisellä datalla
Hienosäätö — prosessi, jossa esikoulutettua mallia koulutetaan lisää tietyllä datasetillä sen sovittamiseksi tiettyyn tehtävään tai toimialaan.
Hienosäätömenetelmät
- Täysi hienosäätö — kaikkien mallin painojen päivitys
- LoRA — Low-Rank Adaptation, vain adapterien koulutus
- QLoRA — kvantisoitu LoRA muistinsäästöön
- Prompt-säätö — vain soft promptien koulutus
- Adapter-säätö — pienten koulutettavien moduulien lisääminen
Milloin käyttää
- Tietty toimiala — oikeudelliset, lääketieteelliset tekstit
- Yritystyyli — yrityksen sävy, terminologia
- Kapea tehtävä — luokittelu, entiteettien poiminta
- Muotoilu — tietty vastausmuoto
Avainparametrit
- Oppimisnopeus — koulutusnopeus (yleensä matala: 1e-5 — 5e-5)
- Epochit — epochien määrä (yleensä 1-5)
- Eräkoko — batch-koko
- Lämmittely — oppimisnopeuden asteittainen kasvu
Liiketoimintasovellukset
- Yrityschattibotit — koulutus sisäisillä dokumenteilla
- Tikettien luokittelu — automaattinen pyyntöjen reititys
- Sisällön generointi — brändityylin teksti
- Koodiavustajat — koulutus yrityksen koodipohjalla