Nén Mô hình là gì
Giảm kích thước mô hình ML
Nén Mô hình là tập hợp các kỹ thuật để giảm kích thước và yêu cầu tính toán của mô hình ML mà không làm giảm đáng kể chất lượng.
Phương pháp Nén
- Lượng tử hóa — giảm độ chính xác trọng số (FP32 → INT8)
- Cắt tỉa — loại bỏ các kết nối không quan trọng
- Chưng cất kiến thức — huấn luyện mô hình nhỏ trên mô hình lớn
- Phân tích hạng thấp — phân tách ma trận trọng số
Lợi ích
- Giảm kích thước 4-10 lần
- Tăng tốc suy luận 2-5 lần
- Giảm tiêu thụ năng lượng
- Triển khai trên thiết bị Edge
- Tiết kiệm chi phí hạ tầng
Ứng dụng
- Ứng dụng di động
- IoT và hệ thống nhúng
- Ứng dụng ML trên trình duyệt
- Hệ thống thời gian thực
- Thiết bị tự động