ما هو نسب البيانات
تتبع أصل البيانات
ما هو نسب البيانات
نسب البيانات هو تتبع المسار الكامل للبيانات من المصدر إلى المستهلك، بما في ذلك جميع التحويلات والتجميعات والحركات بين الأنظمة.
أنواع النسب
| النوع | الوصف | |-------|-------| | النسب التقني | على مستوى الجدول والعمود وSQL | | نسب الأعمال | مصطلحات الأعمال ومؤشرات الأداء | | النسب التشغيلي | الوظائف والجداول والتبعيات | | مستوى العمود | التحويلات على مستوى الحقل |
لماذا نسب البيانات مهم
- تحليل التأثير — ما الذي ينكسر عند التغيير
- تحليل السبب الجذري — من أين جاء الخطأ
- الامتثال — التزام GDPR وSOX
- التوثيق — فهم البيانات
- الترحيل — تخطيط الانتقالات
الأدوات
| الأداة | الميزات | |--------|---------| | Apache Atlas | مفتوح المصدر، Hadoop | | OpenLineage | قياسي، تكاملات | | DataHub | LinkedIn، قائم على الرسم البياني | | Atlan | كتالوج بيانات حديث | | Collibra | مؤسسي |
جمع النسب التلقائي
- تحليل SQL — تحليل الاستعلام
- تكاملات API — من Airflow وdbt وSpark
- تحليل السجلات — من أنظمة المعالجة
- حصاد البيانات الوصفية — من الكتالوجات
التصور
- رسوم بيانية للتبعيات
- تحليل المنبع/المصب
- تقييم التأثير
- الجدول الزمني للتحويلات
التطبيقات العملية
- تصحيح مشاكل البيانات
- تقارير الامتثال
- تخطيط ترحيل البيانات
- تأهيل الموظفين الجدد
- توثيق أصول البيانات