Mikä on Apache Kafka
Tapahtumien suoratoistualusta
Apache Kafka on hajautettu tapahtumien suoratoistualusta, joka on suunniteltu käsittelemään suuria tietomääriä reaaliajassa.
Ydinkäsitteet
- Topic — kategoria viestien järjestämiseen
- Partition — aiheen jako rinnakkaisuutta varten
- Producer — viestin lähettäjä
- Consumer — viestin vastaanottaja
- Broker — Kafka-palvelin
- Consumer Group — kuluttajaryhmä kuormantasaukseen
Kafkan edut
- Korkea läpäisykyky (miljoonia viestejä/sek)
- Horisontaalinen skaalautuvuus
- Pitkäaikainen viestien tallennus
- Toimitustakuut (at-least-once, exactly-once)
- Vikasietoisuus replikoinnin kautta
Sovellukset
- Tapahtumapohjainen arkkitehtuuri — mikropalveluiden viestintä
- Lokitus — keskitetty lokien keruu
- Datan suoratoisto — reaaliaikainen analytiikka
- ETL-putket — datan integrointi
- IoT — laitteiden datan käsittely
Ekosysteemi
- Kafka Connect — tietokantayhdistimet
- Kafka Streams — virran käsittely Javassa
- ksqlDB — SQL datavirroille
- Schema Registry — Avro/JSON-skeemojen hallinta