Mis on Andmejärv
Toorandmete salvestamine mis tahes formaadis
Mis on Data Lake
Data Lake on tsentraliseeritud hoidla, mis võimaldab salvestada struktureeritud ja struktureerimata andmeid mis tahes ulatuses ilma eeltöötluseta.
Data Lake vs Data Warehouse
| Omadus | Data Lake | Data Warehouse | |--------|-----------|----------------| | Andmed | Toored, töötlemata | Töödeldud, struktureeritud | | Skeem | Schema-on-read | Schema-on-write | | Kasutajad | Data Scientists, insenerid | Ärianalüütikud | | Paindlikkus | Kõrge | Piiratud | | Maksumus | Madal | Kõrge |
Data Lake arhitektuur
- Bronze Layer — toorandmed (nagu on)
- Silver Layer — puhastatud ja valideeritud
- Gold Layer — agregeeritud analüütikaks
Populaarsed platvormid
| Platvorm | Omadused | |----------|----------| | AWS S3 + Athena | Serverless, maksmine päringu kohta | | Azure Data Lake | Power BI integratsioon | | Google Cloud Storage | BigQuery integratsioon | | Apache Hadoop HDFS | Avatud lähtekood, on-premise | | Databricks Delta Lake | ACID tehingud |
Salvestusformaadid
- Parquet — veerupõhine, tihendus, kiired päringud
- ORC — optimeeritud Hive'ile
- Avro — reapõhine, skeemi evolutsioon
- JSON/CSV — lihtsate stsenaariumide jaoks
Eelised
- Salvestada mis tahes andmetüüpi
- Madalad salvestuskulud
- Paindlikkus ML/AI jaoks
- Skaleeritavus petabaitideni
- Algandmete säilitamine