Что такое Big Data
Обработка больших объёмов данных
Big Data — технологии и методы работы с данными, которые слишком велики или сложны для традиционных инструментов обработки.
Характеристики (5V)
- Volume — объём данных (терабайты, петабайты)
- Velocity — скорость генерации и обработки
- Variety — разнообразие типов данных
- Veracity — достоверность и качество
- Value — ценность для бизнеса
Технологии
- Hadoop — распределённое хранение (HDFS)
- Spark — быстрая обработка в памяти
- Kafka — потоковая передача данных
- Elasticsearch — поиск и аналитика
- Data Lake — озёра данных (S3, Azure Data Lake)
Применение в бизнесе
- Аналитика клиентов — сегментация, персонализация
- Предиктивная аналитика — прогнозирование спроса
- Детекция мошенничества — анализ транзакций
- Оптимизация операций — логистика, производство
- Маркетинг — анализ эффективности кампаний