Что такое Streaming аналитика
Анализ потоковых данных
Streaming аналитика — обработка и анализ данных в реальном времени по мере их поступления, без сохранения в хранилище.
Ключевые концепции
- Обработка событий в реальном времени
- Скользящие окна для агрегации
- Низкая задержка (миллисекунды)
- Непрерывная обработка потоков
Применение
- Мониторинг систем и алерты
- Обнаружение мошенничества
- IoT и телеметрия
- Торговые платформы
- Персонализация в реальном времени
Технологии
- Apache Kafka Streams
- Apache Flink
- Apache Spark Streaming
- Amazon Kinesis
- Google Dataflow
Преимущества
- Мгновенные инсайты
- Быстрая реакция на события
- Масштабируемость
- Снижение нагрузки на хранилище
Сравнение с batch-обработкой
- Streaming: данные обрабатываются сразу
- Batch: данные накапливаются, затем обрабатываются