سلام بچه ها!
من مدتی است که در ساخت و استقرار پروژه های ML و LLM آزمایش کرده ام و صادقانه ، این یک سفر بوده است.
آموزش مدل ها همیشه احساس ساده تر می کردند ، اما استقرار آنها به راحتی در تولید یک جانور کاملاً جدید بود.
به تازگی ، من با دین پلبان (مدیرعامل @ Dagshub) گفتگوی بسیار خوبی داشتم ، که بر اساس تجربه شخصی که به تیم ها کمک می کند تا از آزمایشات به تولید دنیای واقعی برود ، بینش های فوق العاده عملی را به اشتراک گذاشت. در اینجا چند درس ارزشمند وجود دارد که دین با من به اشتراک گذاشته است که فکر می کنم می تواند به دیگران نیز کمک کند:
-
داده ها بیش از آنچه فکر می کردم اهمیت دارد.
در ابتدا ، من روی معماری های مدل و کمتر روی کیفیت خطوط لوله داده خود تمرکز کردم. عملکرد تولید به شدت به دست زدن به داده های قوی بستگی دارد – مواردی مانند نسخه سازی داده های مناسب ، نظارت و حاکمیت می تواند سردردهای زیادی را برای شما نجات دهد. این امر هنگامی که پروژه اسباب بازی شما به یک پروژه مشترک با دیگران تبدیل شود ، مهمتر می شود. -
LLM ها به قوانین خود نیاز دارند.
کار با مدل های بزرگ زبان ، چالش هایی را که من کاملاً آماده نبودم – مانند توهم ، تعصب و خواسته های منابع. دین چارچوب هایی مانند RAES (استحکام ، تراز ، کارآیی ، ایمنی) را برای کمک به مقابله با این مسائل پیشنهاد کرد و این چیزی است که اکنون به طور جدی سعی می کنم. وی همچنین از “LLM به عنوان قاضی” یاد کرد که به نظر می رسد مفهومی است که اخیراً توجه زیادی را به خود جلب می کند.
برخی از نکات عملی که دین با من به اشتراک گذاشته است:
- ذخیره زنجیره ای از خروجی فکر کنید – شما هرگز نمی دانید چه زمانی ممکن است به آن احتیاج داشته باشید.
- آزمایشات را به طور کامل انجام دهید (پارامترها ، پارامترهای بیش از حد ، مدل های مورد استفاده ، داده های وضوح …).
- با یک نوت بوک Jupyter شروع کنید ، اما به سمت ابزار تولید (تمام ابزارهای ذکر شده در راهنمای زیر) حرکت کنید)
برای کمک به خودم (و امیدوارم دیگران) این درس ها را تجسم و درونی کنم ، من یک راهنمای تعاملی ایجاد کردم که چگونگی ساختار موفقیت آمیز پروژه های ML/LLM را تجزیه می کند. اگر کنجکاو هستید ، می توانید آن را در اینجا کشف کنید:
https://www.rayforagents.com/resource/llm-projects-tructure
من هنوز یک تن یاد می گیرم ، بنابراین من واقعاً از شنیدن تجربیات شما نیز قدردانی می کنم – چه سخت ترین بخش استقرار پروژه های ML & LLM برای شما بوده است؟
منتظر بینش های خود هستید!
