با ویژگی ارزیابی مدل Amazon Bedrock به راحتی بهترین مدل پایه را ارزیابی و انتخاب کنید
وقتی نوبت به انتخاب مدل می‌رسد، دقت، استحکام و معیارهای سفارشی عوامل کلیدی تصمیم‌گیری هستند. با ویژگی ارزیابی مدل Amazon Bedrock، می توانید به راحتی چندین مدل فونداسیون را با هم مقایسه و ارزیابی کنید تا بهترین مطابق با نیازهای شما را انتخاب کنید.
چه ارزیابی خودکار باشد – با استفاده از الگوریتم‌های از پیش تعیین شده داخلی برای اندازه‌گیری عملکرد مدل، یا ارزیابی دستی – سفارشی‌سازی معیارهای ذهنی مانند دوستی، سبک و همسویی برند، Bedrock پشتیبانی قدرتمندی ارائه می‌کند. تنها با چند مرحله، می توانید کار ارزیابی خود را شروع کنید و نتایج دقیقی به دست آورید.
🚨 چگونه یک کار ارزیابی خودکار را شروع کنیم؟ قبل از اجرای ارزیابی مدل، باید یک پوشه S3 برای ذخیره نتایج ایجاد کنید. ساده است:
کنسول S3 را باز کنید
سطل خود را پیدا کنید (bedrock-cloudlab-xxxxxx)
پوشه ای به نام result برای ذخیره داده های ارزیابی ایجاد کنید
مرحله 1 – روی Model Evaluation در سمت چپ کلیک کنید و در منوی کرکره ای در زیر Create model ارزیابی در سمت راست، Automatic را انتخاب کنید.
توضیحات تصویر
مرحله 2 – در صفحه جزئیات کار ارزیابی، نام و توضیحات ارزیابی را وارد کنید (اختیاری).
توضیحات تصویر
مرحله 3. نوع وظیفه، با در نظر گرفتن Generation عمومی به عنوان مثال.
توضیحات تصویر
مرحله 4 – در صفحه معیارها و مجموعه داده ها، معیارهای ارزیابی و مجموعه داده ها را در صورت نیاز انتخاب کنید.
در اینجا، ما از معیارهای سمیت، استحکام، و دقت، همراه با مجموعه داده داخلی به عنوان مثال استفاده خواهیم کرد:
توضیحات تصویر
مرحله 5. در صفحه ذخیره نتایج ارزیابی:
الف روی Browse S3 کلیک کنید.
توضیحات تصویر
ب سطل S3 و مسیر نتیجه را انتخاب کنید.
توضیحات تصویر
ج در صفحه مجوزهای IAM، نقش موجود bedrock-exec-role-cloudlab را انتخاب کنید.
توضیحات تصویر
مرحله 6. روی Create کلیک کنید.
مرحله 7. نتایج را مشاهده کنید.
پس از تکمیل کار ارزیابی، می توانید نتایج ارزیابی دقیق را در صفحه جزئیات کار مشاهده کنید.
توضیحات تصویر
**نتیجه گیری
**با ویژگی قدرتمند ارزیابی مدل Amazon Bedrock، می توانید به راحتی مدل های مختلف فونداسیون را ارزیابی و مقایسه کنید تا بهترین مناسب را برای نیازهای خود بیابید. با دنبال کردن چند مرحله ساده – مانند انتخاب معیارهای ارزیابی، انتخاب مجموعه داده‌ها، و پیکربندی مجوزهای IAM – می‌توانید وظایف ارزیابی خودکار را به طور مؤثر تنظیم و اجرا کنید. پس از اتمام کار، به سادگی نتایج را در صفحه جزئیات کار مرور کنید تا بینش ارزشمندی در مورد عملکرد مدل خود به دست آورید. این فرآیند ساده تضمین می کند که می توانید تصمیمات مبتنی بر داده را بگیرید و انتخاب مدل خود را سریع و موثر بهینه کنید.
