داده های اوراکل را برای جستجوی زمان واقعی به Elasticsearch بیاورید

نمای کلی

اوراکل یک پایگاه داده رابطه ای بسیار استفاده شده برای رسیدگی به حجم زیادی از داده های ساخت یافته ، عملکرد بالا و پشتیبانی جامع برای معاملات پیچیده است. اوراکل با اکوسیستم غنی و سازگاری با برنامه های مختلف ، اغلب در هسته زیرساخت های داده بسیاری از سازمان ها قرار دارد.

غیرقانونی یک موتور جستجوی و تجزیه و تحلیل منبع باز بسیار مقیاس پذیر است که برای کنترل حجم زیادی از داده ها در زمان واقعی طراحی شده است. این ماده به طور گسترده ای برای تجزیه و تحلیل ورود به سیستم ، نظارت بر زمان واقعی و عملکردهای جستجو در برنامه ها استفاده می شود.

در این آموزش ، ما چگونگی انتقال کارآمد داده ها از Oracle به Elasticsearch را با Bladepipe ، برای باز کردن قابلیت های جستجوی در زمان واقعی و افزایش تصمیم گیری مبتنی بر داده ، بررسی خواهیم کرد.

درباره Bladepipe

پره یک ابزار تکثیر داده پایان به پایان در زمان واقعی است که حرکت داده های شما را بین منابع داده های متنوع ، از جمله بانکهای اطلاعاتی ، صف پیام ، انبارهای داده در زمان واقعی و غیره ساده می کند.

با استفاده از تکنیک ضبط داده های تغییر (CDC) ، Bladepipe می تواند با تأخیر فوق العاده کم ، تغییرات داده را به صورت خودکار و دقیق ردیابی ، ضبط و ارائه دهد ، و باعث افزایش کارایی ادغام داده ها می شود. این راه حل های صوتی را برای مواردی که نیاز به تکثیر داده های در زمان واقعی ، سوختن تصمیم گیری های مبتنی بر داده ها و چابکی تجارت را فراهم می کند ، فراهم می کند.

نکات برجسته

داده های همگام سازی بر اساس Oracle Logminer

برای همگام سازی داده های زمان واقعی از منابع Oracle ، Bladepipe با تجزیه و تحلیل سیاهههای مربوط به redo از طریق Logminer پس از چند دور بهینه سازی ، ثبات و کارایی آن را به طور قابل توجهی بهبود می بخشد. این پیشرفت ها در محیط های تولید کاربر تأیید شده است. ویژگی های کلیدی عبارتند از:

• پشتیبانی Oracle RAC: بهینه سازی برای سناریوهای Oracle RAC متناسب است و از یکپارچگی و قوام داده ها اطمینان حاصل می کند.
• تجزیه استاندارد Logminer: به طور پیش فرض ، از روش استاندارد Logminer (ADD_FILE) برای تجزیه و تحلیل مجدد سیاهههای مربوط استفاده می شود ، و Continuous_mine یک مکمل است (بسته به نسخه اوراکل).
• حالت مصرف کامل رویداد: Bladepipe از مصرف کامل رویداد پشتیبانی می کند و از ثبات در طول همگام سازی داده ها اطمینان می دهد.
• رسیدگی به معامله بزرگ: داده های تغییر در مقیاس بزرگ به صورت محلی ذخیره می شوند و باعث می شود بیش از یک میلیون تغییر در پایگاه داده Oracle Source پردازش کند.
• تنظیم مجدد: در صورت بروز خطاهای مصرف ، می توانید زمان بندی مجدد یا SCN (شماره تغییر سیستم) را برای بازآفرینی داده ها ، تقویت تحمل گسل مجدداً تنظیم کنید.
• تأیید و تصحیح داده ها: Bladepipe از تأیید و تصحیح داده های برنامه ریزی شده برای اطمینان از قوام داده ها پشتیبانی می کند.

با استفاده از این بهینه سازی ها ، Bladepipe هنگام جابجایی داده ها از منابع اوراکل ، عملکرد قوی تر و قابل اعتماد تر را ارائه می دهد ، و نیازهای مختلف همگام سازی داده های پیچیده را برآورده می کند.

شاخص Elasticsearch را با نقشه برداری به طور خودکار ایجاد کنید

BladePipe از تبدیل خودکار ساختار جدول پایگاه داده منبع به شاخص های Elasticsearch پشتیبانی می کند. در طی این فرآیند ، می توانید شاخص سطح ستون و نقشه برداری را شخصی سازی کنید. آنچه شما می توانید شخصی سازی کنید شامل موارد زیر است:

• مشخص کردن اینکه آیا هر ستون نیاز به فهرست بندی دارد یا خیر.
• تنظیم Tokenizer (به عنوان مثال ، Tokenizer استاندارد) در نقشه های Elasticsearch for متن ستون ها را تایپ کنید.
• تنظیم تعداد قسمتهای فهرست و ماکت ها.

عمل

مرحله 1: Bladepipe را نصب کنید

دستورالعمل های موجود در نصب Worker (Docker) را دنبال کنید یا کارگر (باینری) را نصب کنید تا یک کارگر BladePipe را بارگیری و نصب کنید.

مرحله 2: منابع داده را اضافه کنید

1. وارد ابر Bladepipe شوید.
2. کلیک کردن مجموعه داده > DataSource را اضافه کنیدبشر
3. نوع منبع و هدف DataSource را انتخاب کرده و فرم تنظیم را به ترتیب پر کنید.
   

مرحله 3: DataJob ایجاد کنید

1. کلیک کردن dataJob > DataJob ایجاد کنیدبشر
2. منابع داده منبع و هدف را پیکربندی کنید.
   1. منبع داده های منبع و هدف را انتخاب کرده و کلیک کنید اتصال آزمایشی برای اطمینان از اتصال به منبع و منابع داده هدف هر دو موفقیت آمیز هستند.
   2. حالت افزایشی را در انتخاب کنید پیشرفته تنظیم زیر نمونه منبع: گنداز / دیدگاه مادیبشر
   3. منطقه زمانی را در انتخاب کنید پیشرفته تنظیم زیر نمونه هدف: +08: 00 به طور پیش فرض
      
3. انتخاب کردن افزایشی برای نوع DataJob ، همراه با داده های کامل گزینه
   
4. جداول را برای تکرار انتخاب کنید.
   
5. ستون ها را انتخاب کنید تا تکرار شوند. اگر نیاز به انتخاب ستون های خاص برای هماهنگ سازی دارید ، لطفاً از قبل شاخص های مربوطه را در هدف ایجاد کنید.
   
6. ایجاد DataJob را تأیید کنید.

اکنون DataJob ایجاد شده و شروع شده است. BladePipe به طور خودکار Datatasks زیر را اجرا می کند:

• مهاجرت طرحواره: طرح های جداول منبع به نمونه هدف منتقل می شوند. اگر شاخص با همین نام در نمونه هدف وجود داشته باشد ، طرحواره مهاجرت نمی شود.
• مهاجرت کامل داده ها: کلیه داده های موجود از جداول منبع به طور کامل به پایگاه داده هدف منتقل می شوند.
• همگام سازی افزایشی: تغییرات در حال انجام داده ها به طور مداوم با تأخیر فوق العاده کم به پایگاه داده هدف همگام می شوند.

پایان

در این آموزش ، روشی بصری برای همگام سازی داده ها از Oracle تا Elasticsearch معرفی شده است. Bladepipe روند را از همیشه آسان تر می کند. هیچ کد در این فرآیند وجود ندارد. چند کلیک تمام آنچه برای جابجایی داده های شما لازم است. برای کشف اطلاعات بیشتر ، به بازدید از https://www.bladepipe.com/ خوش آمدید