Модельді Сығу дегеніміз не
ML модель өлшемін азайту
Модельді Сығу — бұл сапаны айтарлықтай жоғалтпай ML модельдерінің өлшемі мен есептеу талаптарын азайту техникаларының жиынтығы.
Сығу әдістері
- Кванттау — салмақ дәлдігін азайту (FP32 → INT8)
- Кесу — маңызсыз байланыстарды жою
- Білім дистилляциясы — кіші модельді үлкен модельде оқыту
- Төмен дәрежелі факторизация — салмақ матрицаларын ыдырату
Артықшылықтары
- Өлшемді 4-10 есе азайту
- Inference жылдамдығын 2-5 есе арттыру
- Қуат тұтынуды азайту
- Edge құрылғыларында орналастыру
- Инфрақұрылым шығындарын үнемдеу
Қолдану
- Мобильді қосымшалар
- IoT және ендірілген жүйелер
- Браузер негізіндегі ML қосымшалары
- Real-time жүйелер
- Автономды құрылғылар