Inteligencia Artificial
Qué es Cuantizacion
Reduccion de precision de calculo para velocidad
Cuantizacion es una tecnica de optimizacion de redes neuronales donde los pesos y activaciones del modelo se convierten de formatos de alta precision (FP32) a baja precision (INT8, INT4), reduciendo el tamano del modelo y acelerando la inferencia.
Tipos de Cuantizacion
- Post-Training Quantization (PTQ) — despues del entrenamiento
- Quantization-Aware Training (QAT) — durante el entrenamiento
- Cuantizacion Dinamica — durante la inferencia
- Cuantizacion Estatica — con calibracion de datos
Formatos de Precision
- FP32 — punto flotante de 32 bits (original)
- FP16 — 16 bits (media precision)
- INT8 — entero de 8 bits (compresion 4x)
- INT4 — entero de 4 bits (compresion 8x)
Beneficios
- Reduccion del tamano del modelo 2-8x
- Aceleracion de inferencia 2-4x
- Menor consumo de energia
- Capacidad de ejecucion en dispositivos edge
Herramientas
- TensorRT (NVIDIA)
- ONNX Runtime
- PyTorch quantization
- TensorFlow Lite