ปัญญาประดิษฐ์
คืออะไร Fine-tuning
การฝึกเพิ่มเติมของโมเดลกับข้อมูลเฉพาะ
Fine-tuning — กระบวนการฝึกเพิ่มเติมโมเดลที่ได้รับการฝึกมาแล้วบนชุดข้อมูลเฉพาะเพื่อปรับให้เหมาะกับงานหรือโดเมนเฉพาะ
แนวทาง Fine-tuning
- Full fine-tuning — อัปเดตน้ำหนักโมเดลทั้งหมด
- LoRA — Low-Rank Adaptation ฝึกเฉพาะ adapters
- QLoRA — LoRA แบบ quantized เพื่อประหยัดหน่วยความจำ
- Prompt tuning — ฝึกเฉพาะ soft prompts
- Adapter tuning — เพิ่มโมดูลที่ฝึกได้ขนาดเล็ก
เมื่อใดควรใช้
- โดเมนเฉพาะ — ข้อความกฎหมาย การแพทย์
- สไตล์องค์กร — โทน คำศัพท์ของบริษัท
- งานเฉพาะ — การจำแนก การสกัดเอนทิตี
- การจัดรูปแบบ — รูปแบบการตอบเฉพาะ
พารามิเตอร์สำคัญ
- Learning rate — ความเร็วการฝึก (ปกติต่ำ: 1e-5 — 5e-5)
- Epochs — จำนวน epochs (ปกติ 1-5)
- Batch size — ขนาด batch
- Warmup — เพิ่ม learning rate ทีละน้อย
การประยุกต์ใช้ทางธุรกิจ
- แชทบอทองค์กร — ฝึกกับเอกสารภายใน
- การจำแนกตั๋ว — การกำหนดเส้นทางคำขออัตโนมัติ
- การสร้างเนื้อหา — ข้อความสไตล์แบรนด์
- ผู้ช่วยโค้ด — ฝึกกับ codebase ของบริษัท