Kho dữ liệu là gì
Lưu trữ có cấu trúc cho phân tích
Data Warehouse là gì
Data Warehouse là kho lưu trữ có cấu trúc tập trung cho phân tích kinh doanh, tổng hợp dữ liệu từ nhiều nguồn vào mô hình thống nhất.
Kiến trúc Data Warehouse
| Lớp | Mô tả | |-----|-------| | Staging Area | Vùng tải dữ liệu trung gian | | ODS | Kho dữ liệu vận hành | | Data Warehouse | Kho lưu trữ chính (facts + dimensions) | | Data Marts | Views theo phòng ban (bán hàng, marketing) |
Schema mô hình hóa
- Star Schema — bảng fact trung tâm + dimensions
- Snowflake Schema — dimensions chuẩn hóa
- Galaxy Schema — nhiều bảng fact
Quy trình ETL
| Giai đoạn | Mô tả | |-----------|-------| | Extract | Trích xuất từ nguồn | | Transform | Làm sạch, chuyển đổi, tổng hợp | | Load | Tải vào kho |
Giải pháp phổ biến
| Giải pháp | Loại | |-----------|------| | Snowflake | Cloud-native | | Amazon Redshift | AWS | | Google BigQuery | GCP | | Azure Synapse | Microsoft | | Teradata | Enterprise on-premise | | Vertica | Phân tích cột |
Lợi ích
- Nguồn sự thật duy nhất
- Dữ liệu lịch sử (SCD)
- Tối ưu cho phân tích
- Nhất quán báo cáo
- Phân tách tải OLTP/OLAP