با Amazon SageMaker Jumpstart: Image Classification Model for Natural Disaster Damage شروع کنید

بهبودی پس از یک بلای طبیعی

ولز شمالی نیو ساوت ولز در سال 2022 سیل های متعددی را تجربه کرد، شهر لیزمور اقداماتی برای پیش بینی یا جلوگیری از بلایای طبیعی در منطقه کم ارتفاع مستعد سیل نداشت.

پس از سیل 2022، بسیاری از جوامع آواره شدند و خانه ها غیرقابل سکونت اعلام شدند.

در ادامه چند سوال وجود دارد که باید در نظر گرفت:

• چگونه دولت به شهروندان کمک می کند تا مسکن موقت پیدا کنند؟ آنها عکس های خسارت سیل را چگونه ارزیابی می کنند؟

• شرکت های بیمه چگونه می توانند عکس های خسارت سیل به منازل و مشاغل را برای خسارت های مسکونی و تجاری ارزیابی کنند؟

از یادگیری ماشینی می توان برای کاوش الگوها به جای تکیه بر شهود انسانی برای طبقه بندی تصاویر استفاده کرد.

اهداف یادگیری

در این درس یاد خواهید گرفت که چگونه:

• Amazon SageMaker Studio را راه اندازی کنید
• یک نوت بوک Jupyter وارد کنید
• مجموعه داده خود را وارد کنید یا از یک مجموعه داده موجود استفاده کنید
• با استفاده از آمازون SageMaker Jumpstart یک مدل طبقه بندی تصویر را آموزش و اجرا کنید
• منابع را پاکسازی کنید

Amazon SageMaker Jumpstart چیست؟

شما می توانید یک مدل یادگیری ماشینی را آموزش دهید و برای حل مشکلات کسب و کار خود با مدل های از پیش آموزش دیده و منبع باز با چند کلیک استفاده کنید. همچنین می‌توانید از SageMaker Python SDK برای دسترسی برنامه‌نویسی استفاده کنید.
نوت بوک های SageMaker Jumpstart Industry فقط در Amazon SageMaker Studio قابل اجرا هستند.

مزایای آن چیست؟

می‌توانید مدل‌های ماشین را بسازید، آزمایش کنید و به کار ببرید:

مدل های فونداسیون

می‌توانید به مدل‌های پایه از قبل آموزش‌دیده برای مورد استفاده کسب‌وکار خود دسترسی داشته باشید. این به شما امکان می‌دهد تا از میان یک کتابخانه بزرگ از ارائه‌دهندگان مدل، مرور کنید و انتخاب کنید، مدل‌های هوش مصنوعی تولیدی خود را بسازید، آزمایش کنید، سفارشی کنید و به کار ببرید.

الگوریتم های داخلی و مدل های از پیش آموزش دیده

می توانید به الگوریتم های داخلی و مدل های از پیش آموزش دیده دسترسی داشته باشید تا به شما در دستیابی به وظایف خاصی مانند بینایی، متن، صدا و اسناد کمک کنند. این مدل‌ها را می‌توان به‌خوبی تنظیم کرد و همچنین به‌سرعت مستقر شد، به‌خصوص اگر نیاز به آزمایش و ساختن از یک ایده یا تولید مدل‌های یادگیری ماشینی خود دارید.

الگوهای راه حل

می‌توانید به راه‌حل‌های از پیش ساخته‌شده ML دسترسی داشته باشید، الگوهای راه‌حل را مرور کنید، قالبی را انتخاب کنید که شامل موارد استفاده شما می‌شود و با استفاده از داده‌های خود سفارشی‌سازی کنید و استقرار یک کلیک یک دکمه است.

• مصنوعات یادگیری ماشینی را به اشتراک بگذارید

موارد استفاده رایج برای Amazon SageMaker Jumpstart چیست؟

Amazon SageMaker Jumpstart موارد استفاده زیر را پیشنهاد می کند:

• پیش بینی تقاضا

• پیش بینی رتبه اعتباری

• تشخیص تقلب

• بینایی کامپیوتر

• استخراج و تجزیه و تحلیل داده ها از اسناد

• تعمیرات قابل پیش بینی

• پیش بینی ریزش

• توصیه های شخصی

• یادگیری تقویتی

• بهداشت و درمان و علوم زندگی

• قیمت گذاری مالی

• استنتاج علی

معماری راه حل

این نمودار پیشنهادی من برای استفاده از Amazon SageMaker Jumpstart با الگوهای راه حل ML از پیش آموزش دیده است که با Amazon CloudFormation آغاز شده است.

مجموعه داده

مجموعه داده Hurricane در ارائه شده است آزمایشگاه خدمات مالی برای طبقه بندی خسارت

پیش نیازها

• شما باید یک حساب AWS موجود داشته باشید یا ممکن است در اینجا یک حساب ایجاد کنید.
• شما باید به عنوان یک کاربر و گروه اداری وارد شوید

اطمینان حاصل کنید که مجوزهای IAM شما برای کاربر اداری به شما امکان دسترسی به خدمات AWS زیر را می دهد:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "sagemaker:*"
            ],
            "Resource": [
                "arn:aws:sagemaker:*:*:domain/*",
                "arn:aws:sagemaker:*:*:user-profile/*",
                "arn:aws:sagemaker:*:*:app/*",
                "arn:aws:sagemaker:*:*:flow-definition/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:GetRole",
                "servicecatalog:*"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

آموزش 1: ورود به دامنه Amazon SageMaker

قبل از شروع استفاده از Amazon SageMaker، باید دامنه SageMaker را نیز وارد کنید.

مرحله 1: به Amazon SageMaker بروید و منطقه AWS را که ترجیح می دهید استفاده کنید انتخاب کنید. من منطقه AWS را انتخاب خواهم کرد آسیا و اقیانوسیه ap-southeast-2.

مرحله 2: انتخاب کنید دامنه ها در منوی سمت چپ

مرحله 3: انتخاب کنید دامنه ایجاد کنید.

مرحله 4: انتخاب کنید راه اندازی سریع در منوی سمت چپ

مرحله 5: یک نام دامنه منحصر به فرد ایجاد کنید.

مرحله 6: می توانید از نام پیش فرض زیر استفاده کنید مشخصات کاربر یا ممکن است یک نام منحصر به فرد ایجاد کنید.

شما می توانید از منوی کشویی، نقش اجرا را انتخاب کنید SagemakerFullAccessrole و کلیک کنید ارسال.

اگر این نقش اجرایی را ندارید، می توانید یکی را در اینجا ایجاد کنید.

همچنین، مطمئن شوید که کادر را برای فعال کردن «مجوزهای SageMaker Canvas» علامت بزنید و در نهایت کلیک کنید ارسال.

مرحله 7: تحت VPC، می توانید یک را انتخاب کنید VPC موجود یا VPC پیش فرض. تحت VPC پیش فرض، دو زیرشبکه انتخاب شده و کلیک کنید ذخیره کنید و ادامه دهید.

تا چند دقیقه دیگر، دامنه با وضعیت آماده با نام نمایه کاربر وارد می شود.

آموزش 2: استودیوی Amazon SageMaker را با استفاده از کنسول مدیریت آمازون راه اندازی کنید

مرحله 1: در نوار جستجو، کلمه “SageMaker” را تایپ کنید تا کنسول SageMaker آمازون باز شود. در منوی سمت چپ به مسیر بروید استودیو و نام دامنه جدید ایجاد شده برای پروفایل کاربر را مشاهده می کنید، کلیک کنید استودیو را باز کنید.

راه اندازی استودیوی آمازون SageMaker چند لحظه طول می کشد.

شما به صفحه اصلی Amazon SageMaker Studio هدایت می شوید تا تأیید کنید که دامنه SageMaker Studio را با موفقیت راه اندازی کرده اید.

آموزش 3: نحوه آموزش و استقرار یک مدل طبقه بندی تصویر با استفاده از Amazon SageMaker Jumpstart

در این آموزش، Amazon SageMaker Jumpstart برای آموزش یک مدل طبقه بندی تصویر بر روی مجموعه داده طوفان هاروی 2017 استفاده خواهد شد.

مرحله 1: مجموعه داده ها و نوت بوک های Jupyter به استودیوی Amazon SageMaker توسط:

• انتخاب کردن فایل -> جدید -> ترمینال

محیط ترمینال مطابق شکل زیر راه اندازی می شود:

مرحله 2: با کپی کردن این کد در ترمینال، مجموعه داده Hurricane Harvey 2017 را در نوت بوک Amazon SageMaker دانلود کنید.

mkdir lcnc
cd lcnc
sudo yum install -y unzip
curl 'https://static.us-east-1.prod.workshops.aws/public/40de25f9-f9de-4fba-8871-0bf4761d175e/static/resources/finserv/vision.zip' --output vision.zip
unzip vision.zip

فایل های تصویری چند ثانیه طول می کشد تا وارد شوند.

مرحله 3: پنجره Data را در منوی سمت چپ باز کنید تا پوشه “lcnc” را مشاهده کنید.

مرحله 4: داده ها را کاوش کنید و داده ها را از پوشه محلی SageMaker در S3 کپی کنید و به lcnc/vision/ پوشه

مرحله 5: روی نوت بوک jupyter ‘explore-data.ipynb’ دوبار کلیک کنید و کلیک کنید انتخاب کنید.

این هسته را راه اندازی می کند.

مرحله 6: تمام سلول های نوت بوک jupyter را با فشار دادن روی صفحه کلید خود اجرا و اجرا کنید Ctrl + Enter.

فایل های موجود در پوشه محلی با موفقیت در سطل آمازون S3 شما آپلود شدند.

همچنین می‌توانید بررسی کنید که فایل‌های تصویری از پوشه محلی و در پوشه «damage-clf» سطل Amazon S3 شما آپلود شده‌اند.

مرحله 7: برای رفتن به صفحه اصلی روی نماد “خانه” کلیک کنید و به پایین به پایین بروید تا SageMaker Jumpstart و روی «مدل‌ها، نوت‌بوک‌ها، راه‌حل‌ها» کلیک کنید تا «باغ‌وحش مدل» را مشاهده کنید که شامل مدل‌های از پیش آموزش‌دیده، نمونه‌های نوت‌بوک و راه‌حل‌های از پیش ساخته شده است.

مرحله 8: به پایین بروید تا به بخش «کاوش در همه مدل‌های طبقه‌بندی تصویر (162)» برسید و روی این پیوند دوبار کلیک کنید.

مرحله 9: مدل را انتخاب کنید Resnet 50 و کلیک کنید مشاهده مدل.

مرحله 10: از این مدل از پیش آموزش دیده Resnet 50، می توانید کلیک کنید استقرار برای استقرار مدل از پیش آموزش دیده (ImageNet) به عنوان یک نقطه پایانی بلادرنگ SageMaker برای استنتاج.

مراحل استقرار چند ثانیه طول می کشد تا کامل شود.

نقطه پایانی مدل در خدمت است و آماده استنباط است.

آموزش 4: مدل را به خوبی تنظیم کنید و داده های سفارشی را وارد کنید

مرحله 1: برای تنظیم دقیق مدل در تصاویر سفارشی آسیب طوفان، مکان S3 تصاویری را که به تازگی با استفاده از “نفت‌بوک داده‌های کاوش” آپلود کرده‌ایم انتخاب کنید و نوع نمونه‌ای را که می‌خواهیم برای آموزش استفاده کنیم، مطابق شکل زیر مشخص کنید.

مرحله 2: نوع نمونه ‘ml.c5.2xlarge’ را انتخاب کنید.

مرحله 3: یک نام مدل به عنوان مثال hurricane-damage-abc ارائه دهید

مرحله 4: سطل S3 خروجی سفارشی

انتخاب کنید سطل خروجی پیش فرض S3.

URI S3 مجموعه داده آموزشی را کپی کنید.

مرحله 5: پارامترهای hyper را با پیکربندی زیر به روز کنید و انتخاب کنید قطار – تعلیم دادن.

آموزش مدل چند لحظه طول می کشد.

این مدل با استفاده از داده های سفارشی آپلود شده در Amazon S3 با موفقیت آموزش داده شد.

توجه: همچنین می توانید نمونه های آموزشی ذخیره شده در سطل آمازون S3 را نیز بررسی کنید.

مرحله 5: برای استقرار مدل دقیق تنظیم شده، تنظیماتی مانند تعیین مسیر S3 URI برای ذخیره مصنوع مدل را پیکربندی کنید.

مرحله 6: زیر تنظیمات امنیتی“Find VPC” را انتخاب کنید، سه زیرشبکه و همچنین گروه امنیتی را انتخاب کنید و کلیک کنید مستقر کنید.

پس از چند دقیقه، نقطه پایانی با وضعیت “در سرویس” آماده است.

مرحله 7: در قسمت سمت چپ، روی نوت بوک jupyter ‘make-predictions.ipynb’ دوبار کلیک کنید.

و سلول های موجود در دفترچه را برای پیش بینی اجرا کنید.

یادداشت مهم: در سلول 5، مطمئن شوید که نام نقطه پایانی پیش فرض را از اسکرین شات زیر جایگزین کرده و نام نقطه پایانی مدل مستقر شده خود را از مرحله 6 وارد کنید.

مرحله 8: پیش‌بینی‌هایی را از داده‌های آزمایش «آسیب دیده» انجام دهید.

هنگام پیش‌بینی داده‌های جدید (یعنی عکس‌ها)، این احتمال وجود دارد که دارایی آسیب دیده باشد.

مرحله 9: پیش‌بینی‌هایی را از داده‌های آزمایش «بدون آسیب» انجام دهید.

هنگام پیش‌بینی داده‌های جدید (یعنی عکس‌ها)، این احتمال وجود دارد که دارایی‌ها آسیب نبینند.

پاکسازی منابع

هنگامی که مدل را با موفقیت اجرا کردید، باید نقطه پایانی را حذف کنید تا از صورت‌حساب‌های آخر ماه غافلگیر نشوید.

مرحله 1: نقاط پایانی را با پیمایش به حذف کنید Deployments-> Endpoints

مرحله 2: روی لینک ها کلیک کنید تا نقطه پایانی مدل حذف شود.

نتیجه

در این درس، شما یاد گرفتید که چگونه Amazon SageMaker Studio را برای پروژه یادگیری ماشینی خود راه اندازی کنید و همچنین یک مدل طبقه بندی تصویر را با استفاده از مدل های از پیش آموزش دیده در Amazon SageMaker Jumpstart پیاده سازی کنید. به ساخت و کاوش در “باغ وحش مدل” Amazon SageMaker Jumpstart ادامه دهید.

تا درس بعدی، یادگیری مبارک! 😀

منابع

منابع

درس بعدی

چند درس بعدی به ترکیبی از تکنیک‌های مدل‌سازی یادگیری ماشین کلاسیک و همچنین هوش مصنوعی خواهد پرداخت.

هفته گذشته: AWS re:Inforce 2023 در تاریخ 13-14 ژوئن

می‌توانید سخنرانی CJ Moses، افسر ارشد امنیت اطلاعات (CISO)، AWS را هفته گذشته در یوتیوب تماشا کنید. همچنین می‌توانید جلسات رهبری، سخنرانی‌های کلیدی و جلسات شکست از AWS re:Inforce 2023 را در این پیوند تماشا کنید.

https://www.youtube.com/watch?v=_piUB5FrYVE

به زودی: کنفرانس AWS re:Invent 2023

اکنون می توانید برای کنفرانس AWS re:Invent 2023 در تاریخ 27 نوامبر تا 1 دسامبر 2023 در لاس وگاس ثبت نام کنید.

شما سخنرانی اصلی آدام سلیپسکی، مدیر عامل آمازون را در یوتیوب بر حسب تقاضا تماشا می کنید.

https://www.youtube.com/watch?v=Xus8C2s5K9A