คืออะไร คุณภาพข้อมูล
ตรวจสอบความถูกต้องและครบถ้วนของข้อมูล
คุณภาพข้อมูลคืออะไร
คุณภาพข้อมูล คือชุดคุณลักษณะของข้อมูลที่กำหนดความเหมาะสมสำหรับใช้ในกระบวนการทางธุรกิจและการวิเคราะห์
มิติคุณภาพข้อมูล
| มิติ | คำอธิบาย | |------|----------| | ความถูกต้อง | สอดคล้องกับโลกจริง | | ความครบถ้วน | ระดับการเติม | | ความสอดคล้อง | สอดคล้องข้ามระบบ | | ความทันเวลา | ความใหม่และทันที | | ความถูกต้อง | สอดคล้องกับกฎธุรกิจ | | ความเป็นเอกลักษณ์ | ไม่มีข้อมูลซ้ำ |
ประเภทการตรวจสอบ
- การตรวจสอบ Schema — ยืนยันโครงสร้าง
- การตรวจสอบช่วง — ค่าในขอบเขตที่อนุญาต
- การจับคู่รูปแบบ — สอดคล้องกับรูปแบบ
- ความสมบูรณ์ของการอ้างอิง — ความสมบูรณ์ของความสัมพันธ์
- กฎธุรกิจ — ตรรกะทางธุรกิจ
เครื่องมือ
| เครื่องมือ | ประเภท | |------------|--------| | Great Expectations | Python framework | | dbt tests | SQL-based | | Apache Griffin | Open-source | | Talend DQ | Enterprise | | Soda Core | Modern DQ |
ตัวชี้วัดคุณภาพ
- คะแนนคุณภาพข้อมูล (DQS)
- อัตราข้อผิดพลาดตามฟิลด์
- เปอร์เซ็นต์ความครบถ้วน
- ความใหม่ (เวลาตั้งแต่อัปเดตล่าสุด)
แนวปฏิบัติการนำไปใช้
- การวิเคราะห์ข้อมูลตอนนำเข้า
- การตรวจสอบอัตโนมัติใน pipeline
- การแจ้งเตือนเมื่อคุณภาพลดลง
- กระบวนการ data stewardship
- เอกสาร data dictionary