ما هو Apache Kafka
منصة بث الأحداث
Apache Kafka هي منصة بث أحداث موزعة مصممة للتعامل مع كميات كبيرة من البيانات في الوقت الفعلي.
المفاهيم الأساسية
- Topic — فئة لتنظيم الرسائل
- Partition — تقسيم الموضوع للتوازي
- Producer — مرسل الرسائل
- Consumer — مستقبل الرسائل
- Broker — خادم Kafka
- Consumer Group — مجموعة المستهلكين لموازنة الحمل
مزايا Kafka
- إنتاجية عالية (ملايين الرسائل/ثانية)
- التوسع الأفقي
- تخزين الرسائل طويل المدى
- ضمانات التسليم (at-least-once، exactly-once)
- التسامح مع الأخطاء من خلال النسخ المتماثل
التطبيقات
- العمارة القائمة على الأحداث — اتصال الخدمات المصغرة
- التسجيل — جمع السجلات المركزي
- بث البيانات — التحليلات في الوقت الفعلي
- خطوط أنابيب ETL — تكامل البيانات
- إنترنت الأشياء — معالجة بيانات الأجهزة
النظام البيئي
- Kafka Connect — موصلات قواعد البيانات
- Kafka Streams — معالجة التدفق في Java
- ksqlDB — SQL لتدفقات البيانات
- Schema Registry — إدارة مخططات Avro/JSON