MISTRAL-SMALL-3 24B با متعادل کردن عملکرد بالا با راندمان عملیاتی ، یک پیشرفت در AI تولیدی را نشان می دهد. این نام ممکن است نشان دهد که این یک مدل “کوچک” است ، اما در اصل ، اصلاً کوچک نیست. درعوض ، توسعه یافته است تا با مدل های بزرگتر مانند Llama 3.3 70B و Qwen 32B مطابقت داشته باشد. این زبان در حالی که بیش از سه برابر سریعتر روی سخت افزارهای یکسان کار می کند ، توانایی های قوی زبان و آموزش را ارائه می دهد. این مدل با توجه به استقرار محلی در ذهن ، 80 ٪ اصلی از کارهای تولیدی را برطرف می کند ، و دارای پاس های سریع رو به جلو و تأخیر کم و بدون به خطر انداختن دقت است. MISTRAL-SMALL-3 24B به عنوان یک جایگزین باز و شفاف برای مدل های اختصاصی نزدیک ، از توسعه دهندگان و محققان دعوت می کند تا قابلیت های آن را کشف و سفارشی کنند.
در این مقاله ، ما شما را از طریق مراحل نصب mistral-small-3 24b به صورت محلی طی می کنیم و پتانسیل آن را برای پروژه های هوش مصنوعی شما باز می کنیم.
پیش نیازهای
حداقل نیاز سیستم برای این مورد استفاده عبارتند از:
توجه: پیش نیازهای این امر در موارد استفاده بسیار متغیر است. از پیکربندی سطح بالا می توان برای استقرار در مقیاس بزرگ استفاده کرد.
فرآیند گام به گام برای نصب و اجرای MISTRAL-SMALL 3
برای هدف از این آموزش ، ما از یک دستگاه مجازی با GPU توسط Nodeshift استفاده خواهیم کرد زیرا ماشین های مجازی محاسباتی بالا را با هزینه بسیار مقرون به صرفه در مقیاس ارائه می دهد که مطابق با الزامات GDPR ، SOC2 و ISO27001 است. همچنین ، این یک رابط بصری و کاربر پسند را ارائه می دهد ، و شروع کار را برای مبتدیان با استقرار ابر آسانتر می کند. با این حال ، احساس راحتی کنید که از هر ارائه دهنده ابر انتخابی خود استفاده کنید و همان مراحل را برای بقیه آموزش دنبال کنید.
مرحله 1: تنظیم یک حساب Nodeshift
به App.Nodeshift.com مراجعه کرده و با پر کردن جزئیات اصلی ، یا یک حساب کاربری ایجاد کنید ، یا به ثبت نام در حساب Google/GitHub خود ادامه دهید.
اگر قبلاً یک حساب کاربری دارید ، مستقیماً به داشبورد خود وارد شوید.
مرحله 2: یک گره GPU ایجاد کنید
پس از دسترسی به حساب خود ، باید داشبورد را ببینید (به تصویر مراجعه کنید) ، اکنون:
1) به منوی سمت چپ بروید.
2) روی روی کلیک کنید گره های GPU گزینه
3) روی کلیک کنید شروع برای شروع اولین گره GPU خود.
این گره های GPU دستگاه های مجازی با GPU توسط Nodeshift هستند. این گره ها بسیار قابل تنظیم هستند و به شما امکان می دهند تنظیمات مختلف محیطی را برای GPU های مختلف از H100 تا A100s ، CPU ، RAM و ذخیره سازی با توجه به نیازهای خود کنترل کنید.
مرحله 3: انتخاب پیکربندی برای GPU (مدل ، منطقه ، ذخیره سازی)
1) برای این آموزش ، ما از GPU H100 SXM استفاده خواهیم کرد. با این حال ، شما می توانید هر پردازنده ای را بر اساس نیاز خود انتخاب کنید.
2) به طور مشابه ، ما با کشویی نوار ، 500 گیگابایت را انتخاب خواهیم کرد. همچنین می توانید منطقه ای را که می خواهید GPU خود را از موارد موجود ساکن کنید ، انتخاب کنید.
مرحله 4: روش پیکربندی و احراز هویت GPU را انتخاب کنید
1) پس از انتخاب گزینه های پیکربندی مورد نیاز خود ، VM های موجود را در منطقه خود و با توجه به پیکربندی (یا بسیار نزدیک به آن) مشاهده خواهید کرد. در مورد ما ، یک گره GPU 1x H100 SXM با 64VCPUS/129 گیگابایت رم/500 گیگابایت SSD را انتخاب خواهیم کرد.
2) در مرحله بعد ، شما باید یک روش تأیید اعتبار را انتخاب کنید. دو روش در دسترس است: رمز عبور و کلید SSH. توصیه می کنیم از کلیدهای SSH استفاده کنید ، زیرا آنها گزینه ای امن تر هستند. برای ایجاد یکی ، به مستندات رسمی ما بروید.
مرحله 5: یک تصویر را انتخاب کنید
مرحله آخر انتخاب تصویری برای VM است که در مورد ما این است نوت بوک Jupyter، جایی که ما استنباط مدل خود را مستقر و اجرا خواهیم کرد.
همین است! شما اکنون آماده استقرار گره هستید. خلاصه پیکربندی را نهایی کنید ، و اگر خوب به نظر می رسد ، کلیک کنید ایجاد کردن برای استقرار گره.
مرحله ششم: با استفاده از SSH به گره محاسبات فعال وصل شوید
1) به محض ایجاد گره ، در چند ثانیه یا یک دقیقه مستقر می شود. پس از استقرار ، وضعیتی را مشاهده خواهید کرد دویدن به رنگ سبز ، به این معنی که گره محاسباتی ما آماده استفاده است!
2) هنگامی که GPU این وضعیت را نشان می دهد ، به سمت سه نقطه در سمت راست حرکت کنید و روی آن کلیک کنید با SSH ارتباط برقرار کنیدبشر با این کار یک برگه جدید با یک جلسه نوت بوک Jupyter باز می شود که در آن می توانیم مدل خود را اجرا کنیم.
مرحله 7: تنظیم نوت بوک پایتون
با ایجاد یک شروع کنید jepynb نوت بوک با کلیک بر روی پایتون 3 (iPykernel)بشر
بعد ، اگر می خواهید جزئیات GPU را بررسی کنید ، دستور زیر را در سلول نوت بوک Jupyter اجرا کنید:
!nvidia-smi
مرحله 8: وابستگی ها را نصب و تنظیم کنید
1) بسته های وابستگی زیر را برای اجرای مدل نصب کنید.
!pip install torch
!pip install git+https://github.com/huggingface/transformers
!pip install git+https://github.com/huggingface/accelerate
!pip install huggingface_hub
خروجی:
2) برای بغل کردن صورت CLI با خود وارد شوید Write به نشانه دسترسی
(جایگزین کنید
!huggingface-cli login --token
خروجی:
مرحله 9: مدل را بارگیری و اجرا کنید
پس از تکمیل تنظیمات فوق ، می توانیم با بارگیری و وارد کردن مدل به جلو حرکت کنیم. توجه داشته باشید که این مدل به اندازه نامی که پیدا می کند کوچک نیست ، بنابراین بسته به منابع محاسباتی شما ممکن است مدتی طول بکشد.
1) در اینجا قطعه کد برای بارگیری و وارد کردن مدل آورده شده است:
from transformers import pipeline
import torch
messages = [
{"role": "user", "content": "Give me 5 non-formal ways to say 'See you later' in French."},
]
chatbot = pipeline("text-generation", model="mistralai/Mistral-Small-24B-Instruct-2501", max_new_tokens=256, torch_dtype=torch.bfloat16)
chatbot(messages)
خروجی:
2) پس از اتمام بارگیری مدل ، به طور خودکار خروجی را برای سریع در قطعه فوق تولید می کند.
این خروجی تولید شده توسط Mistral-Small برای سریع ما است:
پایان
این مقاله شما را از طریق نصب محلی Mistral-Small-3 24B هدایت کرده است ، مدلی که عملکرد تولید سطح بالا را با راندمان چشمگیر ترکیب می کند تا 80 ٪ اصلی کارهای AI را برطرف کند. توسعه دهندگان با استفاده از طراحی منبع باز و پاسخ سریع خود ، اکنون می توانند از قابلیت های زبان قدرتمند بدون استفاده از مدل های بزرگتر استفاده کنند. علاوه بر این ، Nodeshift یک زیرساخت مقرون به صرفه و مقیاس پذیر را ارائه می دهد که تنظیمات محلی شما را تکمیل می کند ، و اطمینان می دهد که می توانید ضمن حفظ عملکرد بهینه و راندمان هزینه ، به راحتی از توسعه به تولید منتقل شوید.
برای اطلاعات بیشتر در مورد Nodeshift:
