Quá khớp là gì
Khi mô hình ghi nhớ dữ liệu huấn luyện quá tốt
Quá khớp là vấn đề học máy khi mô hình ghi nhớ dữ liệu huấn luyện quá tốt và không thể tổng quát hóa cho dữ liệu mới.
Dấu hiệu của Quá khớp
- Độ chính xác cao trên dữ liệu huấn luyện
- Độ chính xác thấp trên dữ liệu kiểm tra
- Khoảng cách lớn giữa chỉ số train và test
- Mô hình ghi nhớ nhiễu trong dữ liệu
Nguyên nhân
- Mô hình quá phức tạp
- Dữ liệu huấn luyện không đủ
- Huấn luyện quá lâu
- Thiếu điều chuẩn
Phương pháp phòng ngừa
- Điều chuẩn (L1, L2)
- Dropout trong mạng neural
- Dừng sớm
- Xác thực chéo
- Tăng cường dữ liệu
- Đơn giản hóa mô hình
Đánh đổi Bias-Variance
Quá khớp liên quan đến bias thấp và variance cao. Tìm sự cân bằng đúng là rất quan trọng.