Әзірлеу
Apache Kafka дегеніміз не
Оқиғаларды стримингтеу платформасы
Apache Kafka — нақты уақытта үлкен көлемдегі деректерді өңдеуге арналған таратылған оқиғаларды ағынды өңдеу платформасы.
Негізгі түсініктер
- Topic — хабарларды ұйымдастыру үшін санат
- Partition — параллельділік үшін топик бөлімі
- Producer — хабарлама жіберуші
- Consumer — хабарлама қабылдаушы
- Broker — Kafka сервері
- Consumer Group — жүктемені теңестіру үшін тұтынушылар тобы
Kafka артықшылықтары
- Жоғары өткізу қабілеті (секундына миллиондаған хабарламалар)
- Көлденең масштабтау
- Ұзақ мерзімді хабарламаларды сақтау
- Жеткізу кепілдіктері (at-least-once, exactly-once)
- Репликация арқылы ақауларға төзімділік
Қолдану салалары
- Event-Driven Architecture — микросервистер байланысы
- Логтау — орталықтандырылған логтарды жинау
- Деректерді ағынды өңдеу — нақты уақыттағы аналитика
- ETL құбырлары — деректерді интеграциялау
- IoT — құрылғы деректерін өңдеу
Экожүйе
- Kafka Connect — деректер базасы коннекторлары
- Kafka Streams — Java-да ағынды өңдеу
- ksqlDB — деректер ағындары үшін SQL
- Schema Registry — Avro/JSON схемаларын басқару