پردازش گسترده مقیاس پذیر و پردازش موازی گسترده

پردازش گسترده مقیاس پذیر
سیستمهای پردازش بیدرنگ طراحیشده برای پردازش کارآمد حجم زیادی از دادهها به شیوهای توزیعشده و مقیاسپذیر بهعنوان پردازش انبوه مقیاس پذیر راه حل های بومی ابر و چارچوب های محاسباتی توزیع شده مانند Hadoop و Spark نمونه هایی از این سیستم ها هستند.
ویژگی های MSP
مقیاس پذیری افقی افزایش تعداد گره ها (ماشین ها) برای گسترش پردازش و ذخیره سازی در چندین سیستم به عنوان مقیاس پذیری افقی شناخته می شود.
موازی سازی تقسیم کار به بخش های قابل مدیریت که به طور همزمان توسط چندین گره اداره می شوند.
تحمل خطا سیستمها میتوانند بهخوبی از قطع شدن گرهها یا نقص سختافزاری بازگردند.
مقیاس پذیری ذخیره سازی داده های توزیع شده امکان مقیاس پذیری دسترسی به داده ها را با توزیع داده ها بین چندین گره فراهم می کند.
تخصیص دینامیک منابع تخصیص منابع به طور خودکار در پاسخ به تقاضا و بار به عنوان تخصیص منابع پویا شناخته می شود.
استفاده از مورد
استفاده از چارچوب های پردازش مقیاس پذیر برای تجزیه و تحلیل داده های بزرگ، پردازش داده ها در زمان واقعی، و خطوط لوله ETL.
پردازش انبوه موازی
سیستمهایی که پردازش موازی در مقیاس بزرگ را با استفاده از چندین پردازنده انجام میدهند، به عنوان پردازش موازی گسترده شناخته میشوند.
این رویکرد به طور گسترده در داده های بزرگ و تجزیه و تحلیل برای مدیریت مجموعه داده های عظیم استفاده می شود.
ویژگی های MPP
موازی سازی چندین پردازنده به طور همزمان روی جنبه های مختلف یک کار کار می کنند.
پارتیشن بندی داده ها پارتیشن بندی داده ها فرآیند تقسیم داده ها به بخش هایی است که بین گره ها پراکنده شده و به طور جداگانه مدیریت می شوند.
معماری هیچ چیز مشترک
هر گره حافظه، حافظه و CPU مستقل خود را دارد. بنابراین، هیچ بحث منبعی وجود ندارد و مقیاس پذیری و تحمل خطا را بهبود می بخشد.
توازی پرس و جو پرس و جوهای SQL تقسیم می شوند و به طور همزمان روی چندین گره اجرا می شوند.
محلی بودن داده برای کاهش سفر داده ها، محاسبات روی گره هایی که داده ها در آن ذخیره می شوند انجام می شود.
مورد استفاده:
معماری های MPP توسط سیستم های پایگاه داده مانند Teradata، Snowflake و Amazon Redshift برای موازی سازی و پخش پرس و جوها در چندین گره استفاده می شود که امکان اجرای سریع پرس و جو در مجموعه داده های بزرگ را فراهم می کند.