Artificiell intelligens
Vad är Finjustering
Ytterligare träning av en modell på specifik data
Finjustering — processen att ytterligare träna en förtränad modell på ett specifikt dataset för att anpassa den till en viss uppgift eller domän.
Finjusteringsmetoder
- Full finjustering — uppdatera alla modellvikter
- LoRA — Low-Rank Adaptation, träna endast adaptrar
- QLoRA — kvantiserad LoRA för minnesbesparingar
- Prompt tuning — träna endast soft prompts
- Adapter tuning — lägga till små träningsbara moduler
När att använda
- Specifik domän — juridiska, medicinska texter
- Företagsstil — företagets ton, terminologi
- Smal uppgift — klassificering, entitetsextraktion
- Formatering — specifikt svarsformat
Nyckelparametrar
- Inlärningshastighet — träningshastighet (vanligtvis låg: 1e-5 — 5e-5)
- Epoker — antal epoker (vanligtvis 1-5)
- Batchstorlek — batchstorlek
- Warmup — gradvis ökning av inlärningshastighet
Affärstillämpningar
- Företagschatbotar — träning på interna dokument
- Ärendeklassificering — automatisk förfrågningsdirigering
- Innehållsgenerering — varumärkesstil text
- Kodassistenter — träning på företagets kodbas