Mis on Apache Kafka
Sündmuste voogedastuseplatvorm
Apache Kafka on hajutatud sündmuste voogedastuseplatvorm, mis on loodud suurte andmemahtude reaalajas töötlemiseks.
Põhimõisted
- Topic — kategooria sõnumite korraldamiseks
- Partition — teema jaotus paralleelsuseks
- Producer — sõnumi saatja
- Consumer — sõnumi vastuvõtja
- Broker — Kafka server
- Consumer Group — tarbijate grupp koormuse tasakaalustamiseks
Kafka eelised
- Kõrge läbilaskevõime (miljoneid sõnumeid/sek)
- Horisontaalne skaleerimine
- Pikaajaline sõnumite salvestamine
- Kohaletoimetamise garantiid (at-least-once, exactly-once)
- Veataluvus replikatsiooni kaudu
Rakendused
- Sündmuspõhine arhitektuur — mikroteenuste suhtlus
- Logimine — tsentraliseeritud logide kogumine
- Andmete voogedastus — reaalajas analüütika
- ETL torujuhtmed — andmete integreerimine
- IoT — seadmete andmete töötlemine
Ökosüsteem
- Kafka Connect — andmebaasi konnektorid
- Kafka Streams — voo töötlemine Javas
- ksqlDB — SQL andmevoogude jaoks
- Schema Registry — Avro/JSON skeemide haldamine