راهنمای نهایی Apache Kafka: اصول ، معماری و مفاهیم اصلی

مقدمه
Apache Kafka یک بستر پخش رویداد توزیع شده است که به دلیل توانایی خود در رسیدگی به فیدهای با توان بالا ، در زمان واقعی ، محبوبیت زیادی کسب کرده است. در ابتدا توسط LinkedIn و بعداً تحت عنوان بنیاد نرم افزار Apache ساخته شده است ، Kafka برای مهندسی داده های مدرن ، پشتیبانی از موارد استفاده مانند پیام رسانی ، جمع آوری ورود به سیستم ، تجزیه و تحلیل در زمان واقعی و برنامه های مبتنی بر رویداد است. این راهنما به بررسی اصول اولیه آپاچی کافکا ، معماری آن و مفاهیم کلیدی می شود که آن را به ابزاری قدرتمند در داده های بزرگ تبدیل می کند.
اصول اولیه آپاچی کافکا
در هسته اصلی خود ، Apache Kafka یک سیستم پیام رسانی منتشر شده (Pub-Sub) است که پردازش جریان های بزرگی از سوابق را در زمان واقعی امکان پذیر می کند. کافکا یک سیستم توزیع شده برای مقیاس پذیری ، تحمل گسل و عملکرد بالا است. این شامل تولید کنندگان ، مباحث ، کارگزاران ، مصرف کنندگان و پارتیشن ها است.
تولید کننده: تولید کنندگان وظیفه ارسال پیام به موضوعات Kafka را بر عهده دارند. آنها داده ها را به کافکا سوق می دهند ، و اطمینان می دهند که برای پردازش بیشتر به موضوع مناسب می رسد.

$ bin/kafka-console-producer.sh --bootstrap-server 127.0.0.1:9092 --topic data-engineering --from-beginning

موضوعات موضوعاتی: مباحث به عنوان کانال های منطقی برای طبقه بندی و ذخیره پیام ها عمل می کنند. هر موضوع به چند پارتیشن تقسیم می شود تا پردازش موازی امکان پذیر باشد.
$ bin/kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic data-engineering
کارگزار: یک کارگزار Kafka سرور است که داده ها را ذخیره می کند و به درخواست های مشتری ارائه می دهد. یک خوشه کافکا شامل چندین کارگزار است که با هم کار می کنند.
$ bin/kafka-server-start.sh config/server.properties
مصرف کننده: مصرف کنندگان در موضوعات مشترک هستند و پیام ها را در حالت واقعی یا دسته ای می خوانند. Kafka به مصرف کنندگان این امکان را می دهد تا با توزیع مصرف پیام در چندین نمونه مصرف کننده ، مقیاس بندی کنند.
$ bin/Kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic data-engineering --from-beginning -max-messages 1
پارتیشیه ها: مباحث به پارتیشن ها تقسیم می شوند و داده ها را در چندین کارگزار توزیع می کنند. پارتیشن ها موازی سازی و تحمل گسل را امکان پذیر می کنند.
معماری کافکا

معماری کافکا برای کنترل حجم گسترده داده ها به طور کارآمد طراحی شده است. مؤلفه های اصلی معماری کافکا عبارتند از:
تولید کنندگان و مصرف کنندگان:
تولید کنندگان داده ها را به موضوعات Kafka سوق می دهند ، در حالی که مصرف کنندگان داده ها را از موضوعات می کشند. کافکا از یک مدل مصرف مبتنی بر کشش پیروی می کند ، به این معنی که مصرف کنندگان به جای دریافت خودکار ، داده ها را درخواست می کنند.
خوشه کافکا:
یک خوشه کافکا شامل کارگزاران است که داده ها را به صورت جمعی ذخیره و پردازش می کند. خوشه ها با توزیع داده ها در گره های مختلف ، مقیاس پذیری و قابلیت اطمینان را ارائه می دهند.
هماهنگی Zookeeper:
کافکا برای مدیریت ابرداده خوشه ای ، انتخابات رهبر و تنظیمات پیکربندی به Apache Zookeeper متکی است. Zookeeper تضمین می کند که کارگزاران کافکا به درستی کار می کنند و به رسیدگی به خرابی کمک می کنند.
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/zookeeper-server-stop.sh config/zookeeper.properties
تکرار و تحمل گسل:
کافکا چندین نسخه از داده ها را از طریق تکثیر حفظ می کند. هر پارتیشن دارای یک رهبر تعیین شده و چندین ماکت است که حتی در صورت عدم موفقیت یک کارگزار ، دسترسی به داده ها را تضمین می کند.
حفظ پیام و دوام:
کافکا پیام هایی را برای یک دوره پیکربندی حفظ می کند و به مصرف کنندگان امکان پردازش داده ها را می دهد. پیام ها بر روی دیسک ذخیره می شوند و از دوام و قابلیت اطمینان اطمینان می دهند.
مفاهیم اصلی در آپاچی کافکا

درک مفاهیم اصلی کافکا برای طراحی خط لوله های داده کارآمد ضروری است. برخی از مهمترین مفاهیم عبارتند از:
مباحث و پارتیشن ها
مباحث به عنوان ساختار پیام رسانی اصلی در کافکا عمل می کنند. هر موضوع از چندین پارتیشن تشکیل شده است که به کافکا امکان موازی شدن بار کار را می دهد. پارتیشن ها به توزیع داده ها در چندین گره ، بهبود مقیاس پذیری و تحمل گسل کمک می کنند.

bin/kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092

تولید کنندگان و گروه های مصرف کننده
تولیدکنندگان پیام ها را به مباحث کافکا سوق می دهند و آنها را بر اساس یک استراتژی پارتیشن بندی (به عنوان مثال ، رابین دور یا تکلیف مبتنی بر کلید) به پارتیشن ها اختصاص می دهند.
مصرف کنندگان در مباحث مشترک و پیام می خوانند. مصرف کنندگان به گروه ها گروه بندی می شوند و به کافکا اجازه می دهند بار پیام را بین مصرف کنندگان متعدد توزیع کند.
جبران و مدیریت مصرف کننده
کافکا یک جبران منحصر به فرد به هر پیام در یک پارتیشن اختصاص می دهد. مصرف کنندگان برای جلوگیری از پردازش تکراری و از سرگیری پردازش از آخرین پیام مصرفی در صورت خرابی ، جبران خسارت را دنبال می کنند.
تکثیر و در دسترس بودن زیاد
هر پارتیشن دارای یک رهبر و چندین ماکت است. اگر رهبر فعلی شکست بخورد ، کافکا با انتخاب یک رهبر جدید ، در دسترس بودن بالایی را تضمین می کند. این مکانیسم تکثیر به حفظ یکپارچگی داده ها کمک می کند و قابلیت اطمینان را نیز تضمین می کند.
پردازش جریان با کافکا
Kafka Streams ، یک کتابخانه سبک ، به توسعه دهندگان این امکان را می دهد تا داده ها را در زمان واقعی پردازش کنند. Kafka Streams پردازش مطبوع و بدون تابعیت را امکان پذیر می کند و آن را برای برنامه هایی که نیاز به معماری های محور دارند ، ایده آل می کند.
از مواردی از آپاچی کافکا استفاده کنید

کافکا به طور گسترده در صنایع مالی ، تجارت الکترونیکی ، مراقبت های بهداشتی و رسانه ها مورد استفاده قرار می گیرد. برخی از موارد استفاده مشترک شامل موارد زیر است:
تحلیلی در زمان واقعی: سازمان ها از Kafka برای پردازش جریان داده های زمان واقعی برای تجزیه و تحلیل و نظارت استفاده می کنند.
تجمع ورود به سیستم: کافکا سیاهههای مربوط از چندین منبع را جمع می کند و آنها را برای تجزیه و تحلیل متمرکز می کند.
تشخیص کلاهبرداری: موسسات مالی از کافکا برای تشخیص معاملات کلاهبرداری با تجزیه و تحلیل داده های زمان واقعی استفاده می کنند.
خدمات میکروسروسهای محور رویداد: Kafka یک ستون فقرات ارتباطی برای معماری های مبتنی بر میکروسرویس است و امکان انتشار رویداد بدون درز را فراهم می کند.
پایان
Apache Kafka در شیوه کنترل سازمانها در زمان واقعی ، انقلابی ایجاد کرده است. ماهیت توزیع شده ، تحمل گسل ، مقیاس پذیری و توان بالا آن را برای ساختن معماری داده های مدرن ایده آل می کند. مهندسان داده ها با درک اصول ، معماری و مفاهیم اصلی کافکا می توانند از قابلیت های خود برای ساخت خطوط لوله داده قوی و کارآمد استفاده کنند. از آنجا که کافکا همچنان به تکامل خود ادامه می دهد ، انتظار می رود نقش آن در پردازش داده های بزرگ و برنامه های رویداد محور رشد کند و موقعیت خود را به عنوان یک پلت فرم پیشرو جریان رویداد تحکیم می کند.