رها کردن قدرت محاسبات با کارایی بالا: تسلط بر نرم افزار HPC و برنامه نویسی (سری قسمت 3)

در مقاله اول ، اصول اولیه HPC و پتانسیل تحول آن را معرفی کردیم. در مقاله دوم ، ما به بررسی معماری سخت افزاری سیستم های HPC ، تجزیه قطعات اصلی مانند گره های محاسباتی ، اتصال و ذخیره سازی پرداختیم. اکنون ، وقت آن است که تمرکز خود را به سمت مدل های نرم افزاری و برنامه نویسی این باعث می شود سیستم های HPC واقعاً قدرتمند باشد.

در این قسط سوم ، ما به ابزارها و تکنیک های مورد استفاده برای توسعه ، بهینه سازی و اجرای برنامه ها در سیستم های HPC شیرجه خواهیم زد. این که آیا شما یک توسعه دهنده ، محقق یا علاقه مندان به HPC هستید ، این مقاله درک کاملی از اکوسیستم نرم افزاری که محاسبات با کارایی بالا را هدایت می کند ، در اختیار شما قرار می دهد.

پشته نرم افزار HPC

پشته نرم افزار پلی بین قدرت خام سخت افزار HPC و برنامه هایی است که مشکلات دنیای واقعی را حل می کند. بیایید آن را به صورت لایه تقسیم کنیم:

1. سیستم عامل ها

بیشتر سیستم های HPC روشن هستند سیستم های عامل مبتنی بر لینوکس به دلیل انعطاف پذیری ، عملکرد و طبیعت منبع باز. توزیع های محبوب عبارتند از:

• سانتوس (و جانشینان آن مانند Rocky Linux و Almalinux)
• اوبونتو
• Red Hat Enterprise Linux (RHEL)

این سیستم عامل ها برای بارهای کاری HPC بهینه شده و پشتیبانی قوی برای پردازش موازی ، مدیریت منابع و مقیاس پذیری ارائه می دهند.

2. برنامه ریزان شغلی و مدیران منابع

سیستم های HPC اغلب به طور همزمان کاربران و بارهای مختلف را اداره می کنند. برنامه ریزان شغلی و مدیران منابع تخصیص منصفانه و کارآمد منابع را تضمین می کنند. ابزارهای محبوب عبارتند از:

• دوغاب: یک مدیر بار کاری بسیار مقیاس پذیر و انعطاف پذیر.
• PBS (سیستم دسته ای قابل حمل): یک برنامه ریز شغلی برای مدیریت دسته و مشاغل تعاملی.
• LSF (IBM Spectrum LSF): یک بستر مدیریت بار کار برای محیط های محاسباتی توزیع شده.

3. میان افزار و کتابخانه ها

Middleware چسب است که سیستم های HPC را در کنار هم نگه می دارد و باعث ایجاد ارتباط و هماهنگی بین سخت افزار و نرم افزار می شود. اجزای کلیدی شامل موارد زیر هستند:

الف مدل های برنامه نویسی موازی

• MPI (رابط عبور پیام): یک استاندارد برای سیستم های حافظه توزیع شده ، MPI اجازه می دهد تا فرآیندهای روی گره های مختلف برای برقراری ارتباط و همگام سازی انجام شود. این ماده به طور گسترده ای برای شبیه سازی های علمی و محاسبات در مقیاس بزرگ استفاده می شود.
• باز کردن: چارچوبی برای سیستم های حافظه مشترک ، OpenMP با اجازه دادن به توسعه دهندگان برای اضافه کردن موازی به کد خود با استفاده از دستورالعمل های کامپایلر ، برنامه نویسی موازی را ساده می کند.
• CUDA و OpenCL: این چارچوب ها برنامه نویسی GPU را فعال می کنند ، باز کردن قدرت پردازش موازی برای کارهایی مانند یادگیری ماشین و تجزیه و تحلیل داده ها.

ب. کتابخانه های ریاضی و علمی

• Blas (زیر برنامه های جبر خطی اصلی): کتابخانه های بهینه شده برای عملیات جبر خطی.
• لاپاک (بسته جبر خطی): ساخته شده در بالای Blas ، لاپاک روال برای حل سیستم های معادلات خطی و مشکلات ویژه ای فراهم می کند.
• FFTW (سریعترین تبدیل فوریه در غرب): یک کتابخانه بسیار بهینه شده برای محاسبه تبدیل فوریه.

ج. ابزارهای مدیریت داده

• HDF5 (قالب داده های سلسله مراتبی): یک قالب پرونده و ابزار ابزار برای مدیریت مجموعه داده های بزرگ و پیچیده.
• NetCDF (فرم داده مشترک شبکه): مجموعه ای از کتابخانه های نرم افزاری برای قالب های داده مستقل از دستگاه ، که معمولاً در مدل سازی آب و هوا و آب و هوا استفاده می شود.

4. برنامه های HPC

از سیستم های HPC برای اجرای طیف گسترده ای از برنامه ها استفاده می شود ، از جمله:

• شبیه سازی علمی: پیش بینی آب و هوا ، دینامیک مولکولی و دینامیک سیال.
• یادگیری ماشین و هوش مصنوعی: آموزش مدلهای یادگیری عمیق در مجموعه داده های عظیم.
• تجزیه و تحلیل داده ها: پردازش و تجزیه و تحلیل مجموعه داده های در مقیاس بزرگ در زمینه هایی مانند ژنومیک و امور مالی.

برنامه نویسی موازی: قلب HPC

برای استفاده کامل از قدرت سیستم های HPC ، توسعه دهندگان باید بنویسند برنامه های موازی این می تواند بارهای کاری را در چندین پردازنده یا گره توزیع کند. در اینجا مروری بر مفاهیم کلیدی آورده شده است:

1. حافظه توزیع شده در مقابل حافظه مشترک

• حافظه توزیع شده: هر پردازنده حافظه خاص خود را دارد و داده ها بین پردازنده ها با استفاده از پیام ها (به عنوان مثال ، MPI) رد و بدل می شوند.
• حافظه مشترک: چندین پردازنده فضای حافظه یکسانی را به اشتراک می گذارد و به آنها امکان دسترسی و اصلاح داده ها را مستقیماً (به عنوان مثال ، OpenMP) می دهد.

2. موازی سازی داده ها در مقابل موازی سازی کار

• موازی سازی داده ها: همان عمل بر روی قطعات مختلف داده به طور همزمان انجام می شود (به عنوان مثال ، ضرب ماتریس).
• موازی بودن: کارهای مختلف همزمان اجرا می شوند (به عنوان مثال ، اجرای چندین شبیه سازی به طور موازی).

3. تعادل بار

اطمینان از توزیع بار کاری به طور مساوی در پردازنده ها برای حداکثر رساندن عملکرد بسیار مهم است. تعادل بار ضعیف می تواند به منابع بیکار و زمان اجرای کندتر منجر شود.

بهینه سازی برنامه های HPC

نوشتن کد HPC کارآمد بیش از موازی بودن نیاز دارد. در اینجا برخی از تکنیک های بهینه سازی کلیدی:

1. پروفایل و معیار

از ابزارهایی مانند استفاده کنید gprofبا Intel Vtune، یا nvidia nsight برای شناسایی تنگناهای عملکرد در کد خود.

2 بهینه سازی حافظه

• حرکت داده بین گره ها را به حداقل برسانید.
• برای کاهش مصرف حافظه از ساختار داده های کارآمد و الگوریتم ها استفاده کنید.

3. بردار

از دستورالعمل های SIMD (تک دستورالعمل ، چندین داده) برای انجام عملیات در نقاط مختلف داده به طور همزمان استفاده کنید.

بهینه سازی I/O

• برای سرعت بخشیدن به دسترسی به داده ها از سیستم های فایل موازی استفاده کنید.
• فرمت های ذخیره سازی داده ها را برای کاهش سربار I/O بهینه کنید.

نرم افزار و چارچوب های محبوب HPC

در اینجا برخی از ابزارها و چارچوب های گسترده در جامعه HPC آورده شده است:

• Tensorflow و Pytorch: برای یادگیری ماشین و بار کاری هوش مصنوعی.
• گرگ: برای شبیه سازی دینامیک مولکولی.
• ansys: برای شبیه سازی مهندسی.
• WRF (مدل تحقیق و پیش بینی آب و هوا): برای تحقیقات جوی.

چه چیزی بعدی؟

در مقاله بعدی ، ما کاوش خواهیم کرد موارد استفاده در دنیای واقعی HPC، نشان دادن چگونگی صنایع مانند مراقبت های بهداشتی ، امور مالی و علوم آب و هوا در حال افزایش HPC برای حل مشکلات پیچیده است. ما همچنین در مورد روندهای نوظهور مانند بحث خواهیم کرد محاسبات کوانتومی وت لبه HPCبشر