Nedir Veri Gölü
Herhangi bir formatta ham veri depolama
Veri Gölü Nedir
Veri Gölü, ön işleme yapmadan herhangi bir ölçekte yapılandırılmış ve yapılandırılmamış verileri depolamanıza olanak tanıyan merkezi bir depodur.
Veri Gölü vs Veri Ambarı
| Özellik | Veri Gölü | Veri Ambarı | |---------|-----------|-------------| | Veri | Ham, işlenmemiş | İşlenmiş, yapılandırılmış | | Şema | Schema-on-read | Schema-on-write | | Kullanıcılar | Veri Bilimcileri, mühendisler | İş analistleri | | Esneklik | Yüksek | Sınırlı | | Maliyet | Düşük | Yüksek |
Veri Gölü Mimarisi
- Bronz Katman — ham veri (olduğu gibi)
- Gümüş Katman — temizlenmiş ve doğrulanmış
- Altın Katman — analitik için toplanmış
Popüler Platformlar
| Platform | Özellikler | |----------|------------| | AWS S3 + Athena | Sunucusuz, sorgu başına ödeme | | Azure Data Lake | Power BI entegrasyonu | | Google Cloud Storage | BigQuery entegrasyonu | | Apache Hadoop HDFS | Açık kaynak, on-premise | | Databricks Delta Lake | ACID işlemleri |
Depolama Formatları
- Parquet — sütunsal, sıkıştırma, hızlı sorgular
- ORC — Hive için optimize edilmiş
- Avro — satır tabanlı, şema evrimi
- JSON/CSV — basit senaryolar için
Faydalar
- Her veri türünü depolama
- Düşük depolama maliyeti
- ML/AI için esneklik
- Petabaytlara ölçeklenebilir
- Orijinal verileri koruma