Hva er Finjustering
Ekstra trening av en modell på spesifikke data
Finjustering — prosessen med å trene en forhåndstrent modell ytterligere på et spesifikt datasett for å tilpasse den til en bestemt oppgave eller domene.
Finjusteringsmetoder
- Full finjustering — oppdatere alle modellvekter
- LoRA — Low-Rank Adaptation, trene kun adaptere
- QLoRA — kvantisert LoRA for minnesparing
- Prompt tuning — trene kun soft prompts
- Adapter tuning — legge til små trenbare moduler
Når brukes
- Spesifikt domene — juridiske, medisinske tekster
- Bedriftsstil — firmaets tone, terminologi
- Smal oppgave — klassifisering, entitetsutvinning
- Formatering — spesifikt svarformat
Nøkkelparametere
- Læringsrate — treningshastighet (vanligvis lav: 1e-5 — 5e-5)
- Epoker — antall epoker (vanligvis 1-5)
- Batch-størrelse — batch-størrelse
- Oppvarming — gradvis økning av læringsrate
Forretningsanvendelser
- Bedriftschatboter — trening på interne dokumenter
- Billettklassifisering — automatisk forespørselsruting
- Innholdsgenerering — merkestil tekst
- Kodeassistenter — trening på selskapets kodebase