ปัญญาประดิษฐ์
คืออะไร ไฮเปอร์พารามิเตอร์
การตั้งค่าโมเดลที่กำหนดก่อนการฝึก
ไฮเปอร์พารามิเตอร์ คือพารามิเตอร์ของโมเดลการเรียนรู้ของเครื่องที่ตั้งค่าก่อนเริ่มการฝึกและไม่เปลี่ยนแปลงระหว่างกระบวนการ ต่างจากพารามิเตอร์ปกติ ไฮเปอร์พารามิเตอร์กำหนดสถาปัตยกรรมและพฤติกรรมของโมเดล
ไฮเปอร์พารามิเตอร์หลัก
- อัตราการเรียนรู้ — ความเร็วในการเรียนรู้ของโมเดล
- ขนาดแบทช์ — ขนาดชุดข้อมูลสำหรับหนึ่งรอบ
- จำนวน epoch — จำนวนครั้งที่ผ่านชุดข้อมูลทั้งหมด
- จำนวนเลเยอร์ — จำนวนชั้นของโครงข่ายประสาท
- Regularization — พารามิเตอร์ regularization (L1, L2, dropout)
วิธีการปรับแต่ง
- Grid Search — ค้นหาทุกชุดค่าอย่างละเอียด
- Random Search — ค้นหาแบบสุ่มในพื้นที่พารามิเตอร์
- Bayesian Optimization — การปรับให้เหมาะสมแบบเบย์
- AutoML — เลือกสถาปัตยกรรมและพารามิเตอร์อัตโนมัติ
ผลกระทบต่อโมเดล
- อัตราการเรียนรู้สูงเกินไป — โมเดลไม่ลู่เข้า
- อัตราการเรียนรู้ต่ำเกินไป — การฝึกช้า
- ขนาดแบทช์ใหญ่ — เร็วกว่าแต่ generalization แย่กว่า
- ขนาดแบทช์เล็ก — generalization ดีกว่าแต่ช้ากว่า