Искусственный интеллект
Что такое Гиперпараметры
Настройки модели, задаваемые до обучения
Гиперпараметры — это параметры модели машинного обучения, которые задаются до начала обучения и не изменяются в его процессе. В отличие от обычных параметров, гиперпараметры определяют архитектуру и поведение модели.
Основные гиперпараметры
- Learning rate — скорость обучения модели
- Batch size — размер пакета данных для одной итерации
- Number of epochs — количество проходов по всему датасету
- Number of layers — количество слоёв нейронной сети
- Regularization — параметры регуляризации (L1, L2, dropout)
Методы подбора
- Grid Search — перебор всех комбинаций значений
- Random Search — случайный поиск в пространстве параметров
- Bayesian Optimization — байесовская оптимизация
- AutoML — автоматический подбор архитектуры и параметров
Влияние на модель
- Слишком высокий learning rate — модель не сходится
- Слишком низкий learning rate — медленное обучение
- Большой batch size — быстрее, но хуже обобщение
- Малый batch size — лучше обобщение, но медленнее