در چشم انداز به سرعت در حال تحول هوش مصنوعی ، مدل های بنیاد-سیستم های از پیش آموزش شده مانند GPT-4 ، BERT یا ترانسفورماتور بینایی ، تغییر شکل دهندگان را تغییر داده اند که توسعه دهندگان به وظایف یادگیری ماشین نزدیک می شوند. این مدل ها ، که بر روی مجموعه داده های گسترده ای که متن ، تصاویر یا ورودی های چند مدلی را در خود جای داده اند ، آموزش داده می شوند ، الگوهای و دانش گسترده را ضبط می کنند.
اما چگونه می توانید این مدل را برای درک نیازهای خاص دامنه بدست آورید؟ این جایی است که تنظیم دقیق ، فرایندی که این مدل های هدف کلی را با تعالی در کارهای تخصصی تطبیق می دهد ، وارد می شود. خواه خلاصه اسناد حقوقی یا تجزیه و تحلیل احساسات در بازخورد مشتری ، پل های تنظیم دقیق شکاف بین قابلیت های عمومی یک مدل و نیازهای خاص دامنه.
در این مقاله ، ما نحوه تنظیم مدل های بنیادی را با استفاده از Vertex AI می پردازیم. ما از راه اندازی محیط شما و تهیه داده های شما برای استفاده از مدل تنظیم شده خوب خود برای استنتاج ، مراحل را طی خواهیم کرد.
تنظیم خوب چیست؟
تنظیم دقیق یک تکنیک یادگیری ماشین است که شامل گرفتن یک مدل از پیش آموزش داده شده و تطبیق آن برای انجام یک کار خاص است. این فرآیند از دانشی که مدل موجود قبلاً در طول آموزش اولیه خود در یک مجموعه داده بزرگ به دست آورده است ، استفاده می کند و این امکان را می دهد تا از آن برای یک کار جدید و مرتبط با داده های بالقوه محدود استفاده شود. با تنظیم پارامترهای مدل با استفاده از داده های خاص کار ، تنظیم دقیق این مدل را قادر می سازد تا در برنامه مورد نظر تخصص داشته باشد و عملکرد و کارآیی آن را افزایش دهد.
در عمل ، تنظیم دقیق وقتی منابع برای آموزش یک مدل از ابتدا محدود می شود ، ارزشمند است. این امکان را به توسعه دهندگان می دهد تا ضمن دستیابی به دقت بالا در کارهای تخصصی ، بر روی مدل های موجود ، صرفه جویی در وقت و قدرت محاسباتی را ایجاد کنند. این روش به طور گسترده در حوزه های مختلف ، از جمله پردازش زبان طبیعی و دید رایانه ای استفاده می شود.
چرا Vertex AI برای تنظیم دقیق؟
Vertex AI یک بستر Google Cloud است که به توسعه دهندگان و دانشمندان داده کمک می کند تا مدل های یادگیری ماشین را در یک مکان بسازند ، آموزش دهند و مستقر کنند. این ابزار و منابع را برای کار با هوش مصنوعی آسان تر و کارآمدتر ارائه می دهد ، خواه از ابتدا شروع کنید یا یک مدل موجود را تنظیم کنید.
یکی از اصلی ترین دلایل استفاده از Vertex AI برای تنظیم دقیق یک مدل ، آن است محیط یکپارچهبشر به جای پرش بین ابزارهای مختلف برای تهیه داده ها ، آموزش مدل و استقرار ، می توانید همه چیز را در Vertex AI انجام دهید. این تنظیم نه تنها باعث صرفه جویی در وقت می شود بلکه احتمال خطاها را هنگام جابجایی داده ها یا مدل ها بین سیستم های مختلف کاهش می دهد.
یکی دیگر از ویژگی های عالی Vertex AI آن است مقیاس پذیریبشر این که آیا شما در حال کار بر روی یک پروژه کوچک هستید یا به مقادیر زیادی از داده ها رسیدگی می کنید ، Vertex AI می تواند آن را اداره کند. این زیرساخت های Google اجرا می شود ، به این معنی که می توانید بدون نگرانی در مورد سخت افزار اساسی ، قدرت پردازش خود را در صورت لزوم مقیاس کنید.
Vertex AI نیز ارائه می دهد مدل های از پیش ساخته و ابزارهای Automlاگر نمی خواهید یک مدل از ابتدا ایجاد کنید ، واقعاً مفید است. شما می توانید یک مدل از قبل آموزش دیده را تهیه کرده و آن را برای نیازهای خاص خود تنظیم کنید ، مانند سفارشی کردن یک مدل زبان برای تجزیه و تحلیل احساسات یا تطبیق یک مدل بینایی برای کارهای خاص طبقه بندی تصویر.
تنظیم دقیق یک مدل در vertex ai
در این بخش ، چگونگی تنظیم دقیق یک مدل پایه را با استفاده از باغ مدل Vertex AI بررسی خواهیم کرد.
انتخاب یک مدل از قبل آموزش دیده
قبل از ادامه کار ، مدلی را انتخاب خواهیم کرد که مورد استفاده قرار می گیرد. برای این آموزش ، ما از مجموعه داده های بررسی فیلم IMDB استفاده می کنیم. ما از مدل Gemma 2 در باغ مدل استفاده خواهیم کرد.
مجموعه داده را آماده کنید
تهیه مجموعه داده مرحله بعدی در تنظیم دقیق یک مدل یادگیری ماشین است. این شامل جمع آوری داده های مربوطه ، تمیز کردن آن برای از بین بردن خطاها یا ناسازگاری ها و سازماندهی آن در قالب ساختاری مناسب برای آموزش است. این فرایند تضمین می کند که مدل از مثالهای دقیق و نماینده به طور مؤثر یاد می گیرد و منجر به عملکرد بهتر در کار مورد نظر می شود.
برای گنجاندن داده ها ، ما باید یک سطل را در “فهرست خروجی” ایجاد کنیم. مراحل را دنبال کنید و یک سطل ایجاد کنید تا مجموعه داده های مورد نیاز را بالا ببرد.
پس از ایجاد سطل ، بارگذاری کنید jsonl پرونده ها به فهرست سطل. “سطل” را در نوار جستجو جستجو کرده و به سرویس “ذخیره سازی ابری” بروید. برای تبدیل txt پرونده به jsonl ، من این اسکریپت ساده را نوشتم تا قالب پرونده را از مثال دنبال کنم. سپس همه را ادغام کنید pos وت neg به یک واحد jsonl پرونده (به عنوان مثال pos وت neg پوشه های زیر train پوشه همه در یک ژنرال ادغام می شوند train.jsonl پرونده)
فرآیند تنظیم دقیق را آغاز کنید
پس از عبور از پارامترهای باقیمانده و روی “تنظیم تنظیم” کلیک کرده اید ، روند تنظیم شروع می شود و مشاهده و پیگیری پیشرفت امکان پذیر است.
پس از انجام روند تنظیم دقیق ، شما باید از طریق ایمیل به شما اطلاع داده شود. متأسفانه برای من ، مدل من روزها طول کشید تا آموزش ببینم و من حتی آن را لغو کردم.
مدل تنظیم شده خوب را مستقر کنید (اختیاری)
هنگامی که از عملکرد مدل راضی هستید ، آن را به یک نقطه پایانی مستقر کنید و آن را برای استنتاج در برنامه های خود در دسترس قرار دهید.
پایان
در این آموزش ، ما به بررسی معنی و روند مدل های پایه تنظیم دقیق با استفاده از راس AI ، نحوه تطبیق مدل های از پیش آموزش داده شده با کارهای خاص مانند تجزیه و تحلیل احساسات با مجموعه داده های بررسی فیلم IMDB را نشان داده ایم.
با رعایت مراحل ذکر شده در این آموزش ، می توانید مدل های بنیادی را به طور موثر تنظیم کنید تا نیازهای منحصر به فرد خود را برآورده کنید ، از قدرت Vertex AI برای ارائه راه حل های AI قوی و سفارشی استفاده کنید.
