Деректер қоймасы дегеніміз не
Талдау үшін құрылымдалған сақтау
Деректер қоймасы дегеніміз не
Деректер қоймасы — әртүрлі көздерден деректерді біріңғай үлгіге біріктіретін бизнес-талдауға арналған орталықтандырылған құрылымдалған сақтау.
Деректер қоймасының архитектурасы
| Қабат | Сипаттама | |-------|-----------| | Staging Area | Аралық деректерді жүктеу аймағы | | ODS | Операциялық деректер қоймасы | | Data Warehouse | Негізгі сақтау (фактілер + өлшемдер) | | Data Marts | Бөлім көріністері (сату, маркетинг) |
Модельдеу схемалары
- Жұлдыз схемасы — орталық факт кестесі + өлшемдер
- Қар ұшқыны схемасы — нормаланған өлшемдер
- Галактика схемасы — бірнеше факт кестелері
ETL процесі
| Кезең | Сипаттама | |-------|-----------| | Extract | Көздерден алу | | Transform | Тазалау, түрлендіру, жинақтау | | Load | Қоймаға жүктеу |
Танымал шешімдер
| Шешім | Түрі | |-------|------| | Snowflake | Cloud-native | | Amazon Redshift | AWS | | Google BigQuery | GCP | | Azure Synapse | Microsoft | | Teradata | Кәсіпорын on-premise | | Vertica | Бағандық талдау |
Артықшылықтар
- Жалғыз шындық көзі
- Тарихи деректер (SCD)
- Талдау оңтайландыру
- Есеп беру келісімділігі
- OLTP/OLAP жүктемені бөлу