変更データキャプチャ とは
データベースの変更追跡
CDC(変更データキャプチャ)— データ変更のキャプチャ
CDCは、他のシステムへのリアルタイムレプリケーションのためにデータベースの変更を追跡しキャプチャするパターンです。
CDC実装方法
| 方法 | 説明 | 長所/短所 | |------|------|----------| | ログベース | WAL/binlogの読み取り | 低オーバーヘッド、信頼性 | | トリガーベース | DBトリガー | 柔軟、DBオーバーヘッド | | タイムスタンプ | updated_atフィールド | シンプル、削除を見逃す | | クエリベース | 定期ポーリング | シンプル、高レイテンシ |
人気ツール
- Debezium — オープンソース、Kafka Connect
- AWS DMS — AWSマネージドサービス
- Striim — エンタープライズソリューション
- Airbyte — CDC対応ETL
CDCの用途
- マイクロサービス同期
- データウェアハウスレプリケーション
- キャッシュ無効化
- イベントソーシング
- 変更監査