Inteligência Artificial
O que é Hiperparâmetros
Configurações do modelo definidas antes do treinamento
Hiperparâmetros são parâmetros de modelo de aprendizado de máquina que são definidos antes do início do treinamento e não mudam durante o processo. Ao contrário dos parâmetros regulares, os hiperparâmetros definem a arquitetura e o comportamento do modelo.
Principais hiperparâmetros
- Taxa de aprendizado — velocidade de aprendizado do modelo
- Tamanho do lote — tamanho do lote de dados para uma iteração
- Número de épocas — número de passagens por todo o conjunto de dados
- Número de camadas — número de camadas da rede neural
- Regularização — parâmetros de regularização (L1, L2, dropout)
Métodos de ajuste
- Grid Search — busca exaustiva de todas as combinações de valores
- Random Search — busca aleatória no espaço de parâmetros
- Otimização Bayesiana — otimização bayesiana
- AutoML — seleção automática de arquitetura e parâmetros
Impacto no modelo
- Taxa de aprendizado muito alta — o modelo não converge
- Taxa de aprendizado muito baixa — treinamento lento
- Tamanho de lote grande — mais rápido, mas pior generalização
- Tamanho de lote pequeno — melhor generalização, mas mais lento