Что такое Сжатие моделей
Уменьшение размера ML-моделей
Сжатие моделей — это набор техник для уменьшения размера и вычислительных требований ML-моделей без существенной потери качества.
Методы сжатия
- Квантизация — уменьшение точности весов (FP32 → INT8)
- Прунинг — удаление незначимых связей
- Дистилляция знаний — обучение маленькой модели на большой
- Низкоранговая факторизация — разложение матриц весов
Преимущества
- Уменьшение размера в 4-10 раз
- Ускорение инференса в 2-5 раз
- Снижение энергопотребления
- Развёртывание на Edge-устройствах
- Экономия на инфраструктуре
Применение
- Мобильные приложения
- IoT и встроенные системы
- Браузерные ML-приложения
- Real-time системы
- Автономные устройства