Thu thập dữ liệu thay đổi là gì
Theo dõi thay đổi cơ sở dữ liệu
CDC (Change Data Capture) — Thu Thập Thay Đổi Dữ Liệu
CDC là mẫu theo dõi và thu thập thay đổi cơ sở dữ liệu để sao chép thời gian thực sang các hệ thống khác.
Phương Pháp Triển Khai CDC
| Phương pháp | Mô tả | Ưu/Nhược | |-------------|-------|----------| | Dựa trên log | Đọc WAL/binlog | Overhead thấp, tin cậy | | Dựa trên trigger | DB triggers | Linh hoạt, overhead DB | | Timestamp | Theo trường updated_at | Đơn giản, bỏ lỡ xóa | | Dựa trên truy vấn | Polling định kỳ | Đơn giản, độ trễ cao |
Công Cụ Phổ Biến
- Debezium — mã nguồn mở, Kafka Connect
- AWS DMS — dịch vụ quản lý AWS
- Striim — giải pháp doanh nghiệp
- Airbyte — ETL hỗ trợ CDC
Ứng Dụng CDC
- Đồng bộ microservices
- Sao chép Data Warehouse
- Vô hiệu hóa cache
- Event Sourcing
- Kiểm toán thay đổi