Chất lượng dữ liệu là gì
Đảm bảo độ chính xác và hoàn chỉnh của dữ liệu
Chất lượng dữ liệu là gì
Chất lượng dữ liệu là tập hợp các đặc điểm dữ liệu xác định sự phù hợp của nó để sử dụng trong quy trình kinh doanh và phân tích.
Các chiều chất lượng
| Chiều | Mô tả | |-------|-------| | Độ chính xác | Tương ứng với thế giới thực | | Tính hoàn chỉnh | Mức độ điền đầy | | Tính nhất quán | Nhất quán giữa các hệ thống | | Tính kịp thời | Độ tươi và kịp thời | | Tính hợp lệ | Tuân thủ quy tắc nghiệp vụ | | Tính duy nhất | Không trùng lặp |
Loại kiểm tra
- Xác thực schema — xác minh cấu trúc
- Kiểm tra phạm vi — giá trị trong giới hạn cho phép
- Khớp mẫu — tuân thủ định dạng
- Toàn vẹn tham chiếu — toàn vẹn quan hệ
- Quy tắc nghiệp vụ — logic nghiệp vụ
Công cụ
| Công cụ | Loại | |---------|------| | Great Expectations | Python framework | | dbt tests | SQL-based | | Apache Griffin | Open-source | | Talend DQ | Enterprise | | Soda Core | DQ hiện đại |
Số liệu chất lượng
- Điểm chất lượng dữ liệu (DQS)
- Tỷ lệ lỗi theo trường
- Phần trăm hoàn chỉnh
- Độ tươi (thời gian từ lần cập nhật cuối)
Thực hành triển khai
- Phân tích dữ liệu khi nhập
- Kiểm tra tự động trong pipeline
- Cảnh báo khi chất lượng giảm
- Quy trình data stewardship
- Tài liệu data dictionary