Künstliche Intelligenz
Was ist Feinabstimmung
Zusätzliches Training eines Modells mit spezifischen Daten
Feinabstimmung — der Prozess des zusätzlichen Trainings eines vortrainierten Modells auf einem spezifischen Datensatz zur Anpassung an eine bestimmte Aufgabe oder Domäne.
Feinabstimmungs-Ansätze
- Vollständige Feinabstimmung — Aktualisierung aller Modellgewichte
- LoRA — Low-Rank Adaptation, nur Adapter trainieren
- QLoRA — quantisiertes LoRA zur Speichereinsparung
- Prompt-Tuning — nur Soft Prompts trainieren
- Adapter-Tuning — kleine trainierbare Module hinzufügen
Wann verwenden
- Spezifische Domäne — juristische, medizinische Texte
- Unternehmensstil — Firmenton, Terminologie
- Enge Aufgabe — Klassifizierung, Entitätsextraktion
- Formatierung — spezifisches Antwortformat
Wichtige Parameter
- Lernrate — Trainingsgeschwindigkeit (normalerweise niedrig: 1e-5 — 5e-5)
- Epochen — Anzahl der Epochen (normalerweise 1-5)
- Batch-Größe — Batch-Größe
- Warmup — allmähliche Lernratenerhöhung
Geschäftsanwendungen
- Unternehmens-Chatbots — Training auf internen Dokumenten
- Ticket-Klassifizierung — automatische Anfragenweiterleitung
- Content-Generierung — Text im Markenstil
- Code-Assistenten — Training auf Firmen-Codebasis