Nima Apache Kafka
Hodisalarni striming qilish platformasi
Apache Kafka — real vaqtda katta hajmdagi ma'lumotlarni qayta ishlash uchun mo'ljallangan taqsimlangan hodisalarni oqimli qayta ishlash platformasi.
Asosiy tushunchalar
- Topic — xabarlarni tashkil qilish uchun kategoriya
- Partition — parallellik uchun topik bo'linishi
- Producer — xabar yuboruvchi
- Consumer — xabar qabul qiluvchi
- Broker — Kafka serveri
- Consumer Group — yukni muvozanatlash uchun iste'molchilar guruhi
Kafka afzalliklari
- Yuqori o'tkazuvchanlik (soniyasiga millionlab xabarlar)
- Gorizontal masshtablash
- Uzoq muddatli xabarlarni saqlash
- Yetkazib berish kafolatlari (at-least-once, exactly-once)
- Replikatsiya orqali nosozliklarga chidamlilik
Qo'llanilishi
- Event-Driven Architecture — mikroservislar aloqasi
- Logging — markazlashtirilgan loglarni yig'ish
- Ma'lumotlarni oqimli qayta ishlash — real vaqtda tahlil
- ETL pipeline'lar — ma'lumotlarni integratsiya qilish
- IoT — qurilmalar ma'lumotlarini qayta ishlash
Ekotizim
- Kafka Connect — ma'lumotlar bazasi ulagichlari
- Kafka Streams — Java'da oqimni qayta ishlash
- ksqlDB — ma'lumotlar oqimlari uchun SQL
- Schema Registry — Avro/JSON sxemalarini boshqarish