คืออะไร การวิเคราะห์แบบสตรีมมิ่ง
การวิเคราะห์ข้อมูลแบบสตรีม
การวิเคราะห์แบบสตรีมมิ่ง คือการประมวลผลและวิเคราะห์ข้อมูลแบบเรียลไทม์เมื่อข้อมูลมาถึง โดยไม่ต้องจัดเก็บก่อน
แนวคิดหลัก
- การประมวลผลเหตุการณ์แบบเรียลไทม์
- หน้าต่างเลื่อนสำหรับการรวมข้อมูล
- ความหน่วงต่ำ (มิลลิวินาที)
- การประมวลผลสตรีมอย่างต่อเนื่อง
การประยุกต์ใช้
- การตรวจสอบระบบและการแจ้งเตือน
- การตรวจจับการฉ้อโกง
- IoT และการวัดระยะไกล
- แพลตฟอร์มการซื้อขาย
- การปรับแต่งแบบเรียลไทม์
เทคโนโลยี
- Apache Kafka Streams
- Apache Flink
- Apache Spark Streaming
- Amazon Kinesis
- Google Dataflow
ข้อดี
- ข้อมูลเชิงลึกทันที
- การตอบสนองเหตุการณ์รวดเร็ว
- ความสามารถในการปรับขนาด
- ลดภาระการจัดเก็บ
เปรียบเทียบกับการประมวลผลแบบ Batch
- Streaming: ข้อมูลประมวลผลทันที
- Batch: ข้อมูลสะสมแล้วประมวลผล