Hva er Apache Kafka
Plattform for hendelsesstrømming
Apache Kafka er en distribuert hendelsesstrømmingsplattform designet for å håndtere store datamengder i sanntid.
Kjernekonsepter
- Topic — kategori for å organisere meldinger
- Partition — emneinndeling for parallellitet
- Producer — meldingssender
- Consumer — meldingsmottaker
- Broker — Kafka-server
- Consumer Group — forbrukergruppe for lastbalansering
Fordeler med Kafka
- Høy gjennomstrømning (millioner av meldinger/sek)
- Horisontal skalering
- Langsiktig meldingslagring
- Leveringsgarantier (at-least-once, exactly-once)
- Feiltoleranse gjennom replikering
Anvendelser
- Hendelsesdrevet arkitektur — mikrotjenestekommunikasjon
- Logging — sentralisert logginnsamling
- Datastrømming — sanntidsanalyse
- ETL-pipelines — dataintegrasjon
- IoT — enhetsdata-behandling
Økosystem
- Kafka Connect — databasekoblinger
- Kafka Streams — strømbehandling i Java
- ksqlDB — SQL for datastrømmer
- Schema Registry — Avro/JSON-skjemabehandling