جستجوی Manticore در مقابل Elasticsearch: 3 برابر سریعتر داشبورد Kibana برای تجزیه و تحلیل ورود به سیستم

خلاصه اجرایی

آزمایش عملکرد ما نشان می دهد که جستجوی Manticore هنگام تجزیه و تحلیل حجم زیادی از داده های ورود به سیستم nginx ، به طور قابل توجهی از Elasticsearch فراتر می رود ، با سرعت رندر داشبورد Kibana تا 3 برابر سریعتر. این مقاله تفاوتهای عملکرد را نشان می دهد ، نحوه اجرای مقایسه خود را توضیح می دهد و مزایای اصلی جستجوی Manticore برای بارهای کار تجزیه و تحلیل ورود به سیستم را برجسته می کند.

مقدمه

تجزیه و تحلیل کارآمد و تجسم حجم زیادی از داده ها برای بسیاری از مشاغل بسیار مهم است. این مقاله با استفاده از همان مجموعه داده بر اساس سیاهههای NGINX ، عملکرد دو موتور جستجوگر محبوب ، جستجوی Manticore و Elasticsearch را مقایسه می کند.

هدف نشان دادن چگونگی جستجوی Manticore یک راه حل کارآمد برای پردازش و تجسم مجموعه داده های بزرگ است. برای تسهیل این مقایسه ، ما Demo Search Manticore Kibana ، یک پروژه در دسترس عمومی را ایجاد کردیم. معیارهای DB-benchmarks.com همچنین عملکرد برتر Manticore Search را در مورد Elasticsearch برجسته می کند.

نمای کلی پروژه نسخه ی نمایشی

پروژه نسخه ی نمایشی از Kibana به عنوان ابزار تجسم ، که به Elasticsearch و Search Manticore متصل است ، استفاده می کند. مجموعه داده های نسخه ی نمایشی با استفاده از ابزار KSCARLETT-Generator از سیاهههای NGINX تولید می شود.

این تجسم از یک پست وبلاگ محبوب “تنظیم داشبورد Kibana برای داده های ورود به سیستم NGINX” الهام گرفته شده است ، و امکان مقایسه روشنی از عملکرد موتور جستجو را فراهم می کند.

تنظیم محیط و اجرای نسخه ی نمایشی

برای تنظیم و اجرای نسخه ی نمایشی:

1. اطمینان حاصل کنید که آهنگسازی Git و Docker را نصب کرده اید.
2. مخزن را کلون کرده و به فهرست پروژه بروید.

   git clone https://github.com/manticoresoftware/kibana-demo.git
   cd kibana-demo  

1. با استفاده از شاخص های از پیش ساخته شده برای شروع سریع یا تولید داده های جدید با تغییر پیکربندی Genererator. برای جزئیات بیشتر به مخزن نسخه ی نمایشی GitHub مراجعه کنید.
2. با به روزرسانی محیط ، محیط را در صورت نیاز پیکربندی کنید .env پرونده:
   • تعداد ورودی های ورود به سیستم را تنظیم کنید.
   • فرکانس به روزرسانی داده ها را سفارشی کنید.
   • درگاه های سفارشی را برای داشبورد Kibana تنظیم کنید.
3. محیط را با اجرای start.sh فیلمنامه این محیط Docker را تنظیم می کند.
4. به داشبورد Kibana دسترسی پیدا کنید:
5. تجسم های از پیش ساخته Kibana را با استفاده از kibana_objects.ndjson پرونده موجود در نسخه ی نمایشی.
6. برای تجزیه و تحلیل داده های ورود به سیستم NGINX و مقایسه عملکرد بین جستجوی Manticore و Elasticsearch ، داشبورد را کاوش کنید.
7. بعد از ارزیابی ، محیط را متوقف کنید docker-compose downبشر

این تنظیم انعطاف پذیری متناسب با نیازهای خاص شما را در حالی که روند کار ساده را حفظ می کند ، تضمین می کند.

مقایسه عملکرد

تمرکز اصلی این آزمایش سرعت رندر داشبورد در Kibana است. جستجوی Manticore به طور مداوم از Elasticsearch بهتر عمل می کند و به طور قابل توجهی سریع تر تجسم ارائه می شود.

یک نمایش ویدئویی بیشتر تفاوت عملکرد را نشان می دهد. این ویدئو با استفاده از مجموعه داده های نسخه ی نمایشی بیش از 46 میلیون سند و هشت تجسم مختلف Kibana که در یک داشبورد همراه است ، زمان لازم برای بارگیری داشبورد را با جستجوی Manticore در مقابل Elasticsearch مقایسه می کند.

بارگیری داده ها

بارگیری داده ها از منابعی مانند Logstash یا FileBeat در جستجوی Manticore برای پردازش Kibana نیز ساده است. برای راهنمایی به این بخش ها در مستندات Manticore مراجعه کنید:

همچنین می توانید نمونه های ارائه شده در این آموزش تعاملی را کشف کنید:

محدودیت ها و ویژگی های کار در حال پیشرفت

در حالی که برخی از محدودیت های شناخته شده و ویژگی های کار در حال پیشرفت وجود دارد ، مانند:

• پشتیبانی از نسخه های جدیدتر Kibana (فراتر از 7.6)
• دست زدن به انواع داده های خاص Elasticsearch مانند داده های GEO
• پشتیبانی از ابزارهای مدیریت شاخص موجود در Elasticsearch مانند ILM

اینها به طور فعال برای بهبود سازگاری و عملکرد توسعه می یابند.

سایر مزایای جستجوی Manticore

علاوه بر این ، جستجوی Manticore چندین مزیت متمایز را برای کاربران خود ارائه می دهد:

• عملکرد بالا ، بهینه سازی شده برای پردازش سریع پرس و جو ، همانطور که توسط معیارهای مستقل و پروژه نسخه ی نمایشی تأیید شده است.
• پشتیبانی کامل SQL ، ساده سازی ادغام با سیستم های موجود و شروع کار برای توسعه دهندگان آسانتر است.
• نمایه سازی در زمان واقعی ، امکان به روزرسانی داده های فوری برای برنامه های پویا بسیار مهم است.
• ذخیره سازی ستونی ، طراحی شده برای نمایش داده های تحلیلی ، و آن را برای مجموعه داده های بزرگ مانند پرونده های ورود به سیستم ایده آل می کند.
• تنظیم سبک و ساده در مقایسه با Elasticsearch ، نیاز به منابع کمتری و تلاش پیکربندی کمتری دارد.

پایان

جستجوی Manticore ثابت می کند که یک جایگزین قدرتمند برای Elasticsearch است ، به خصوص در سناریوهایی که نیاز به پردازش و تجسم سریع داده ها دارند. معیارهای مستقل و پروژه نسخه ی نمایشی به طور مداوم عملکرد برتر خود را نشان می دهند ، که اغلب چندین برابر سریعتر از Elasticsearch هنگام کار با مجموعه داده های بزرگ است.

برای دیدن قابلیت های آن دست اول ، نسخه ی نمایشی Kibana را جستجو کنید و بررسی کنید که چگونه می تواند گردش کار تجزیه و تحلیل داده های شما را تقویت کند.