คืออะไร การกลั่นความรู้
ถ่ายทอดความรู้จากโมเดลใหญ่ไปโมเดลเล็ก
การกลั่นความรู้ เป็นเทคนิคการเรียนรู้ของเครื่องที่โมเดลขนาดกะทัดรัด (นักเรียน) เรียนรู้ที่จะจำลองพฤติกรรมของโมเดลที่ใหญ่กว่าและมีพลังมากกว่า (ครู)
วิธีการทำงานของการกลั่น
กระบวนการประกอบด้วย:
- โมเดลครู — เครือข่ายประสาทเทียมขนาดใหญ่ที่ผ่านการฝึกมาก่อน
- โมเดลนักเรียน — สถาปัตยกรรมขนาดกะทัดรัด
- Soft labels — ผลลัพธ์ความน่าจะเป็นของครู
- Temperature scaling — การปรับการกระจายให้เรียบ
ข้อดีของวิธีนี้
- บีบอัดโมเดล 10-100 เท่า
- รักษาคุณภาพ 90-95%
- การอนุมานที่เร็วขึ้น
- ลดความต้องการหน่วยความจำ
- สามารถใช้งานบนอุปกรณ์ edge ได้
การประยุกต์ใช้ทางธุรกิจ
- แอปพลิเคชัน AI บนมือถือ
- ระบบฝังตัว
- การประมวลผลแบบเรียลไทม์
- ลดต้นทุน GPU
- โมเดลท้องถิ่นแทนที่จะใช้คลาวด์