Файн-тюнинг дегеніміз не
Модельді арнайы деректермен қосымша оқыту
Файн-тюнинг — белгілі бір тапсырмаға немесе доменге бейімдеу үшін алдын ала оқытылған модельді арнайы деректер жиынтығында қосымша оқыту процесі.
Файн-тюнинг тәсілдері
- Толық файн-тюнинг — барлық модель салмақтарын жаңарту
- LoRA — Low-Rank Adaptation, тек адаптерлерді оқыту
- QLoRA — жадты үнемдеу үшін кванттелген LoRA
- Prompt tuning — тек soft prompt-тарды оқыту
- Adapter tuning — шағын оқытылатын модульдер қосу
Қашан қолдану керек
- Арнайы домен — заңды, медициналық мәтіндер
- Корпоративтік стиль — компания тоны, терминологиясы
- Тар тапсырма — классификация, нысандарды шығару
- Форматтау — арнайы жауап форматы
Негізгі параметрлер
- Оқыту жылдамдығы — оқыту жылдамдығы (әдетте төмен: 1e-5 — 5e-5)
- Дәуірлер — дәуір саны (әдетте 1-5)
- Batch өлшемі — batch өлшемі
- Warmup — оқыту жылдамдығын біртіндеп арттыру
Бизнес қолданбалар
- Корпоративтік чатботтар — ішкі құжаттарда оқыту
- Тикеттерді классификациялау — сұрауларды автоматты бағыттау
- Мазмұн генерациясы — бренд стиліндегі мәтін
- Код көмекшілері — компания код базасында оқыту