Nedir Bilgi Damıtma
Büyük modelden küçük modele bilgi aktarımı
Bilgi Damıtma, kompakt bir modelin (öğrenci) daha büyük ve güçlü bir modelin (öğretmen) davranışını kopyalamayı öğrendiği bir makine öğrenimi tekniğidir.
Damıtma Nasıl Çalışır
Süreç şunları içerir:
- Öğretmen modeli — büyük önceden eğitilmiş sinir ağı
- Öğrenci modeli — kompakt mimari
- Yumuşak etiketler — öğretmenin olasılıksal çıktıları
- Sıcaklık ölçeklendirme — dağılım yumuşatma
Yöntemin Avantajları
- Modelleri 10-100x sıkıştırma
- %90-95 kaliteyi koruma
- Daha hızlı çıkarım
- Azaltılmış bellek gereksinimleri
- Edge cihaz dağıtım yeteneği
İş Uygulamaları
- Mobil yapay zeka uygulamaları
- Gömülü sistemler
- Gerçek zamanlı işleme
- Azaltılmış GPU maliyetleri
- Bulut tabanlı yerine yerel modeller