gs-fastcopy: تعداد CPU را برای کارگران بارگذاری دریافت کنید

Summarize this content to 400 words in Persian Lang
پست قبلی را ببینید: معرفی gs-fastcopy
من بهبود gs-fastcopy-python#10 را ارسال کردم: تعداد پردازنده را برای پیشفرضهای آپلود بهتر بررسی کنید.
قبلاً 8 کارگر را پیشفرض میکردیم (پیشفرض گوگل). در سیستمی با بیش از 8 هسته، این امر باعث میشود که مقدار زیادی بیکار باقی بماند!
اکنون، تعداد CPU موجود را بررسی می کنیم. افتخار می کنیم os.get_schedaffinity در سیستم هایی که از آن پشتیبانی می کنند (پردازنده های موجود برای این فرآیند نه فقط به طور کلی) در غیر این صورت، ما استفاده می کنیم os.cpu_count().
نتایج محک زدن: [source sheet]
توجه داشته باشید که چگونه افزودن کارگران روند را سرعت می بخشد، اما بازدهی کاهشی را به همراه دارد. من فکر میکنم در آن زمان است که انتقال شبکه به خودی گلوگاه تبدیل میشود، اما این احتمال وجود دارد که تغییر اندازههای تکه نیز کمک کند.
همچنین به اثرات چشمگیرتر هنگام استفاده از فشرده سازی توجه داشته باشید (با استفاده از pigz، gzip موازی). pigz قبلاً از حداکثر کارگران استفاده کرده بود، آنچه در اینجا جدید است گنجاندن آنها در آپلود نیز هست.
پست قبلی را ببینید: معرفی gs-fastcopy
من بهبود gs-fastcopy-python#10 را ارسال کردم: تعداد پردازنده را برای پیشفرضهای آپلود بهتر بررسی کنید.
قبلاً 8 کارگر را پیشفرض میکردیم (پیشفرض گوگل). در سیستمی با بیش از 8 هسته، این امر باعث میشود که مقدار زیادی بیکار باقی بماند!
اکنون، تعداد CPU موجود را بررسی می کنیم. افتخار می کنیم os.get_schedaffinity
در سیستم هایی که از آن پشتیبانی می کنند (پردازنده های موجود برای این فرآیند نه فقط به طور کلی) در غیر این صورت، ما استفاده می کنیم os.cpu_count()
.
نتایج محک زدن: [source sheet]
توجه داشته باشید که چگونه افزودن کارگران روند را سرعت می بخشد، اما بازدهی کاهشی را به همراه دارد. من فکر میکنم در آن زمان است که انتقال شبکه به خودی گلوگاه تبدیل میشود، اما این احتمال وجود دارد که تغییر اندازههای تکه نیز کمک کند.
همچنین به اثرات چشمگیرتر هنگام استفاده از فشرده سازی توجه داشته باشید (با استفاده از pigz
، gzip موازی). pigz قبلاً از حداکثر کارگران استفاده کرده بود، آنچه در اینجا جدید است گنجاندن آنها در آپلود نیز هست.