نکاتی از مدل DeepSeek-R1

برای تیم‌های نرم‌افزاری که با هوش مصنوعی کار می‌کنند، چالش همیشه ایجاد تعادل بین قابلیت‌ها و عملی بودن بوده است. به نظر می رسد ایده های اخیر در هر دو طرف بهبود یافته است. در اینجا چند نکته از معرفی دیروز مدل DeepSeek-R1 آورده شده است که دیدگاه های جدیدی را ارائه می دهد.

مدل های استدلال

یادگیری تقویتی (RL)، تکنیکی که در آن مدل‌ها با آزمون و خطا یاد می‌گیرند، می‌تواند سیستم‌های هوش مصنوعی پایه را به حل‌کننده‌های ماهر مسئله تبدیل کند. برخلاف رویکردهای سنتی که بر مجموعه داده‌های از پیش برچسب‌گذاری‌شده تکیه می‌کنند، آموزش پس از آموزش مبتنی بر RL به مدل‌ها اجازه می‌دهد تا از طریق پاداش‌های الگوریتمی خودبهبود شوند.

الگوریتم GRPO (بهینه سازی خط مشی نسبی گروهی) که برای اولین بار با DeepSeekMath معرفی شد و برای DeepSeek-R1 استفاده شد، RL را با حذف یک گلوگاه کلیدی: مدل “منتقد” ساده می کند.

روش‌های سنتی RL مانند PPO به دو شبکه عصبی نیاز دارند – یک بازیگر برای تولید پاسخ‌ها و یک منتقد برای ارزیابی آنها. GRPO مقایسه های آماری را جایگزین منتقد می کند. برای هر مشکل، چندین راه حل نامزد ایجاد می کند، سپس پاداش ها را محاسبه می کند نسبت به میانگین عملکرد گروه.

در اینجا یک مثال از GRPO در عمل آمده است که برای نشان دادن چگونگی ارزیابی و بهبود پاسخ های مدل طراحی شده است:

اعلان: "Solve for x: 2x + 3 = 7"

مرحله 1 – پاسخ های متعدد ایجاد کنید

GRPO چند پاسخ (مثلاً 3) را از مدل فعلی نمونه می گیرد:

مرحله 2 – محاسبه پاداش

GRPO استفاده می کند پاداش های مبتنی بر قانون:

• پاداش دقت: +1 اگر پاسخ درست باشد (2) 0 در غیر این صورت.
• فرمت پاداش: +1 اگر / از برچسب ها به درستی استفاده می شود.

مرحله 3 – محاسبه مزایای نسبی

GRPO محاسبه می کند مزایای نسبی با استفاده از آمار گروهی:

• میانگین: (2 + 1 + 2) / 3 = 1.67
• انحراف معیار: 0.47

مرحله 4 – مدل را به روز کنید

GRPO خط مشی مدل را با استفاده از این مزایا تنظیم می کند:

• تقویت کنید: پاسخ های 1 و 3 (مزیت مثبت) “تقویت می شوند.”
• جریمه کردن: پاسخ 2 (مزیت منفی) “دلسرد” می شود.

پس از به روز رسانی GRPO، مدل یاد می گیرد که:

1. اجتناب از اشتباهات (مانند 2x = 7).
2. ترجیح دادن مراحل صحیح (2x = 4 → x = 2).
3. حفظ قالب بندی مناسب ( و برچسب ها حفظ می شوند).

این مثال نشان می‌دهد که چگونه GRPO مدل‌ها را با استفاده از یک رویکرد سبک وزن اما مؤثر به طور مکرر به سمت خروجی‌های بهتر هدایت می‌کند: مقایسه‌های ساده. بدون مدل انتقادی، کاهش قابل توجهی در حافظه و استفاده محاسباتی وجود دارد.

مدل های کوچک، تاثیر بزرگ

بینش کلیدی دیگر فرضیه «بزرگتر، بهتر» را به چالش می کشد: اعمال RL به طور مستقیم بر روی مدل های کوچکتر (به عنوان مثال، پارامترهای 7B) سود محدودی را به همراه دارد. درعوض، می توانید با موارد زیر به نتایج بهتری دست یابید:

1. آموزش مدل های بزرگ (مثلا با GRPO)

2. تقطیر قابلیت های آنها به نسخه های کوچکتر

مدل 7B تقطیر شده DeepSeek-R1 از بسیاری از مدل های کلاس 32B در کارهای استدلالی بهتر عمل کرد در حالی که به محاسبات بسیار کمتری نیاز داشت. جالب اینجاست که این اصل مهندسی نرم افزار را برای ایجاد یک “پیاده سازی مرجع” قوی و سپس بهینه سازی آن برای تولید منعکس می کند.

آموزش کد اهمیت دارد

با نگاهی به مقاله DeepSeekMath که GRPO را معرفی کرد، یک بینش جالب دیگر وجود دارد: مدل هایی که از قبل روی کد آموزش داده شده اند، استدلال را بهبود می بخشند، به عنوان مثال، برای حل مسائل ریاضی.

به نظر می رسد که نحو ساختاریافته کد، مهارت های قابل انتقال به موضوعات گسترده ای مانند حل معادلات یا معماهای منطقی را آموزش می دهد.

نتیجه گیری

راه اندازی DeepSeek-R1 نشان می دهد که چگونه نوآوری در آموزش هوش مصنوعی می تواند شکاف بین عملکرد و عملی بودن را پر کند. تیم‌ها با جایگزینی «منتقد» سنگین منابع سنتی RL با مقایسه‌های مبتنی بر گروه GRPO، می‌توانند بهینه‌سازی مدل را ساده‌سازی کنند و در عین حال دقت را حفظ کنند.

موفقیت تقطیر مدل‌های بزرگ آموزش‌دیده RL به نسخه‌های کوچک‌تر و کارآمدتر به همان اندازه قانع‌کننده است – استراتژی که منعکس‌کننده شیوه‌های مهندسی نرم‌افزار اثبات‌شده است.

در نهایت، پیوند بین پیش آموزش کد و استدلال، ارزش یادگیری بین رشته ای را برجسته می کند.

این بینش‌ها با هم نقشه‌ای برای توسعه سیستم‌های هوش مصنوعی ارائه می‌دهند که هم توانمند و هم مقرون‌به‌صرفه هستند و نتایج پیشرفته را با محدودیت‌های استقرار در دنیای واقعی متعادل می‌کنند.