Trí tuệ nhân tạo
Siêu tham số là gì
Cài đặt mô hình được định nghĩa trước khi huấn luyện
Siêu tham số là các tham số mô hình học máy được đặt trước khi bắt đầu huấn luyện và không thay đổi trong quá trình. Không giống như các tham số thông thường, siêu tham số định nghĩa kiến trúc và hành vi của mô hình.
Các siêu tham số chính
- Tốc độ học — tốc độ học của mô hình
- Kích thước batch — kích thước batch dữ liệu cho một lần lặp
- Số epoch — số lần đi qua toàn bộ tập dữ liệu
- Số lớp — số lớp mạng nơ-ron
- Điều chuẩn — tham số điều chuẩn (L1, L2, dropout)
Phương pháp điều chỉnh
- Grid Search — tìm kiếm toàn diện tất cả các tổ hợp giá trị
- Random Search — tìm kiếm ngẫu nhiên trong không gian tham số
- Tối ưu hóa Bayesian — tối ưu hóa Bayesian
- AutoML — lựa chọn kiến trúc và tham số tự động
Ảnh hưởng đến mô hình
- Tốc độ học quá cao — mô hình không hội tụ
- Tốc độ học quá thấp — huấn luyện chậm
- Kích thước batch lớn — nhanh hơn nhưng tổng quát hóa kém hơn
- Kích thước batch nhỏ — tổng quát hóa tốt hơn nhưng chậm hơn