क्या है हाइपरपैरामीटर
प्रशिक्षण से पहले परिभाषित मॉडल सेटिंग्स
हाइपरपैरामीटर मशीन लर्निंग मॉडल पैरामीटर हैं जो प्रशिक्षण शुरू होने से पहले सेट किए जाते हैं और प्रक्रिया के दौरान नहीं बदलते। सामान्य पैरामीटर के विपरीत, हाइपरपैरामीटर मॉडल की संरचना और व्यवहार को परिभाषित करते हैं।
मुख्य हाइपरपैरामीटर
- लर्निंग रेट — मॉडल की सीखने की गति
- बैच साइज — एक पुनरावृत्ति के लिए डेटा बैच का आकार
- एपॉक्स की संख्या — पूरे डेटासेट पर गुजरने की संख्या
- लेयर्स की संख्या — न्यूरल नेटवर्क लेयर्स की संख्या
- रेगुलराइजेशन — रेगुलराइजेशन पैरामीटर (L1, L2, ड्रॉपआउट)
ट्यूनिंग विधियाँ
- ग्रिड सर्च — सभी मूल्य संयोजनों की संपूर्ण खोज
- रैंडम सर्च — पैरामीटर स्पेस में यादृच्छिक खोज
- बायेसियन ऑप्टिमाइजेशन — बायेसियन अनुकूलन
- AutoML — स्वचालित आर्किटेक्चर और पैरामीटर चयन
मॉडल पर प्रभाव
- बहुत अधिक लर्निंग रेट — मॉडल कन्वर्ज नहीं होता
- बहुत कम लर्निंग रेट — धीमा प्रशिक्षण
- बड़ा बैच साइज — तेज लेकिन खराब जनरलाइजेशन
- छोटा बैच साइज — बेहतर जनरलाइजेशन लेकिन धीमा