Chưng cất Tri thức là gì
Chuyển giao tri thức từ mô hình lớn sang nhỏ
Chưng cất Tri thức là kỹ thuật học máy trong đó mô hình nhỏ gọn (học sinh) học cách tái tạo hành vi của mô hình lớn hơn, mạnh mẽ hơn (giáo viên).
Cách thức hoạt động
Quy trình bao gồm:
- Mô hình giáo viên — mạng nơ-ron lớn đã được huấn luyện trước
- Mô hình học sinh — kiến trúc nhỏ gọn
- Nhãn mềm — đầu ra xác suất của giáo viên
- Điều chỉnh nhiệt độ — làm mượt phân phối
Ưu điểm của phương pháp
- Nén mô hình 10-100 lần
- Giữ lại 90-95% chất lượng
- Suy luận nhanh hơn
- Giảm yêu cầu bộ nhớ
- Khả năng triển khai trên thiết bị edge
Ứng dụng kinh doanh
- Ứng dụng AI di động
- Hệ thống nhúng
- Xử lý thời gian thực
- Giảm chi phí GPU
- Mô hình cục bộ thay vì dựa trên đám mây