Inteligência Artificial
O que é Quantizacao
Reducao da precisao de calculo para velocidade
Quantizacao e uma tecnica de otimizacao de redes neurais onde os pesos e ativacoes do modelo sao convertidos de formatos de alta precisao (FP32) para baixa precisao (INT8, INT4), reduzindo o tamanho do modelo e acelerando a inferencia.
Tipos de Quantizacao
- Post-Training Quantization (PTQ) — apos o treinamento
- Quantization-Aware Training (QAT) — durante o treinamento
- Quantizacao Dinamica — durante a inferencia
- Quantizacao Estatica — com calibracao de dados
Formatos de Precisao
- FP32 — ponto flutuante 32 bits (original)
- FP16 — 16 bits (meia precisao)
- INT8 — inteiro 8 bits (compressao 4x)
- INT4 — inteiro 4 bits (compressao 8x)
Beneficios
- Reducao do tamanho do modelo em 2-8x
- Aceleracao da inferencia em 2-4x
- Menor consumo de energia
- Capacidade de execucao em dispositivos edge
Ferramentas
- TensorRT (NVIDIA)
- ONNX Runtime
- PyTorch quantization
- TensorFlow Lite