Was ist Apache Kafka
Event-Streaming-Plattform
Apache Kafka ist eine verteilte Event-Streaming-Plattform, die für die Verarbeitung großer Datenmengen in Echtzeit entwickelt wurde.
Kernkonzepte
- Topic — Kategorie zur Organisation von Nachrichten
- Partition — Topic-Aufteilung für Parallelität
- Producer — Nachrichtensender
- Consumer — Nachrichtenempfänger
- Broker — Kafka-Server
- Consumer Group — Verbrauchergruppe für Lastausgleich
Vorteile von Kafka
- Hoher Durchsatz (Millionen Nachrichten/Sek.)
- Horizontale Skalierung
- Langfristige Nachrichtenspeicherung
- Zustellungsgarantien (at-least-once, exactly-once)
- Fehlertoleranz durch Replikation
Anwendungen
- Event-Driven Architecture — Microservices-Kommunikation
- Logging — zentralisierte Protokollsammlung
- Datenstreaming — Echtzeit-Analytik
- ETL-Pipelines — Datenintegration
- IoT — Gerätedatenverarbeitung
Ökosystem
- Kafka Connect — Datenbankverbindungen
- Kafka Streams — Stream-Verarbeitung in Java
- ksqlDB — SQL für Datenströme
- Schema Registry — Avro/JSON-Schema-Verwaltung