ما هو تقطير المعرفة
نقل المعرفة من نموذج كبير إلى صغير
تقطير المعرفة هي تقنية تعلم آلي حيث يتعلم نموذج مضغوط (طالب) تكرار سلوك نموذج أكبر وأقوى (معلم).
كيف يعمل التقطير
تشمل العملية:
- نموذج المعلم — شبكة عصبية كبيرة مدربة مسبقاً
- نموذج الطالب — بنية مضغوطة
- التصنيفات الناعمة — مخرجات احتمالية للمعلم
- قياس درجة الحرارة — تنعيم التوزيع
مزايا الطريقة
- ضغط النماذج 10-100 مرة
- الحفاظ على 90-95% من الجودة
- استدلال أسرع
- متطلبات ذاكرة أقل
- إمكانية النشر على أجهزة الحافة
التطبيقات التجارية
- تطبيقات الذكاء الاصطناعي المحمولة
- الأنظمة المدمجة
- المعالجة في الوقت الفعلي
- تكاليف GPU مخفضة
- نماذج محلية بدلاً من السحابية