Intelligence Artificielle
Qu'est-ce que Quantification
Reduction de la precision des calculs pour la vitesse
La quantification est une technique d'optimisation des reseaux neuronaux ou les poids et activations du modele sont convertis de formats haute precision (FP32) vers basse precision (INT8, INT4), reduisant la taille du modele et accelerant l'inference.
Types de Quantification
- Post-Training Quantization (PTQ) — apres l'entrainement
- Quantization-Aware Training (QAT) — pendant l'entrainement
- Quantification Dynamique — pendant l'inference
- Quantification Statique — avec calibration des donnees
Formats de Precision
- FP32 — virgule flottante 32 bits (original)
- FP16 — 16 bits (demi-precision)
- INT8 — entier 8 bits (compression 4x)
- INT4 — entier 4 bits (compression 8x)
Avantages
- Reduction de la taille du modele de 2 a 8x
- Acceleration de l'inference de 2 a 4x
- Consommation d'energie reduite
- Possibilite d'execution sur appareils edge
Outils
- TensorRT (NVIDIA)
- ONNX Runtime
- PyTorch quantization
- TensorFlow Lite