Гиперпараметрлер дегеніміз не
Оқытуға дейін анықталатын модель параметрлері
Гиперпараметрлер — бұл оқыту басталмас бұрын орнатылатын және процесс барысында өзгермейтін машиналық оқыту моделінің параметрлері. Кәдімгі параметрлерден айырмашылығы, гиперпараметрлер модельдің архитектурасы мен мінез-құлқын анықтайды.
Негізгі гиперпараметрлер
- Оқыту жылдамдығы — модельдің оқу жылдамдығы
- Топтама өлшемі — бір итерация үшін деректер топтамасының өлшемі
- Дәуірлер саны — бүкіл деректер жинағы бойынша өту саны
- Қабаттар саны — нейрондық желі қабаттарының саны
- Реттеу — реттеу параметрлері (L1, L2, dropout)
Баптау әдістері
- Grid Search — барлық мән комбинацияларын толық іздеу
- Random Search — параметрлер кеңістігінде кездейсоқ іздеу
- Байес оптимизациясы — Байес оптимизациясы
- AutoML — автоматты архитектура және параметрлерді таңдау
Модельге әсері
- Тым жоғары оқу жылдамдығы — модель жақындамайды
- Тым төмен оқу жылдамдығы — баяу оқыту
- Үлкен топтама өлшемі — жылдамырақ, бірақ нашар жалпылау
- Кіші топтама өлшемі — жақсырақ жалпылау, бірақ баяу