از Ollama + ngrok برای ساخت LLM محلی و آموزش مدل دسترسی از راه دور AI استفاده کنید

مشکلاتی که باید در این مقاله حل شود

ابزارهای هوش مصنوعی مانند chatgpt بسیار مناسب هستند ، اما گاهی اوقات ممکن است داده های کار به عنوان مواد یادگیری مورد استفاده قرار گیرند.

چندی پیش ، من یک Mac Mini جدید خریداری کردم و می خواستم LLM را به صورت محلی نصب کنم و از آن در محل کار استفاده کنم.

پس از نصب LLM به صورت محلی ، لازم است که از راه دور از آن استفاده کنم ، ارسال پورت ارتباطات NAT انجام نشد ، بنابراین من به ساده ترین NGROK تغییر کردم.

نصب و استفاده از اولاما

وب سایت رسمی Ollama: https://ollama.com/.

برای بارگیری و نصب ، روی بارگیری کلیک کنید.

پس از نصب ، می توانید مدل ها را از طریق Ollama ، مانند Llama ، Phi ، Gemma و Mistral بارگیری کنید.

https://ollama.com/search

تست واقعی آگوست ، Mac Mini I خریداری شده است:

• 10 CPU هسته
• 10 GPU اصلی
• حافظه یکپارچه 16 گیگابایتی

اجرای PHI-4 14B کاملاً صاف است ، اما مدل های بزرگتر (مانند Mistral Small3 22B) بدیهی است که QQ لکنت می کنند.

بارگیری مدل ها از URL رسمی فوق العاده است.

دستورالعمل های اولاما به شرح زیر است:

در زیر ترجمه چینی دستورالعمل های اولاما است:

• Ollama Serve – Ollama را شروع کنید
• Ollama Run – مدل اجرا
• لیست اولاما – لیست همه مدل ها
• Ollama RM – مدل حذف
• Ollama ایجاد – یک مدل از Modelfile ایجاد کنید
• نمایش Ollama – اطلاعات مربوط به مدل را نمایش دهید
• Ollama Stop – مدل اجرا را متوقف کنید
• Ollama Pull – مدلی را از مدل های Ollama بکشید
• Ollama Push – مدل ها را به مدل های Ollama فشار دهید
• Ollama PS – لیست مدل های در حال اجرا
• Ollama CP – مدل کپی
• راهنمای اوللاما – نمایش اطلاعات راهنما فرمان

چهار مورد اول متداول ترین هستند.

پس از نصب مدل ، از یک حالت گفتگوی اساسی استفاده خواهید کرد:

برای خروج “/خداحافظ” را وارد کنید.

زیرا اگر می خواهید از شرکتهای از راه دور رایانه ای تهیه کنید ، آنچه شما نیاز دارید حالت API است.

پس از شروع اولما ، از پیش تعیین شده در API نامیده می شود.

API

پرونده: https://github.com/ollama/ollama/blob/main/docs/api.md

پست پایانی:

http: // localhost: 11434/api/تولید

قطعات مشترک برای پارامترهای خروجی:

• مدل: (مورد نیاز) نام مدل
• سریع: کلمه سریع برای تولید پاسخ استفاده می شود
• پسوند: متن اضافی پس از پاسخ مدل
• تصاویر: (اختیاری) لیست تصویر رمزگذاری شده BASE64 (مناسب برای مدل های چند مدلی مانند Llava)
• قالب: قالب پاسخ. قالب می تواند باشد json یا طرح JSON
• گزینه ها: پارامترهای مدل اضافی ، به پرونده modelfile مانند دما مراجعه کنید
• سیستم: پیام سیستم (محتوای تعریف شده در Modelfile را بازنویسی می کند)
• الگوی: الگوی سریع کلمه مورد استفاده (که محتوای تعریف شده در Modelfile را بازنویسی می کند)
• جریان: اگر روی False تنظیم شود ، به جای انتقال به عنوان جریان ، پاسخ به عنوان یک شیء واحد بازگردانده می شود (جریان)
• RAW: در صورت تنظیم صحیح ، کلمه سریع قالب بندی نمی شود. در صورت ارائه یک کلمه سریع با قالب کامل ، می توان از این گزینه هنگام درخواست API استفاده کرد
• Keep_alive: زمان بارگیری مدل در حافظه را کنترل می کند (از پیش تعیین شده: 5 دقیقه)

در اینجا ما از پستچی برای آزمایش استفاده می کنیم:

دریافت پاسخ به معنای موفقیت است.

نصب و استفاده از ngrok

ngrok چه کاری انجام می دهد؟

تصور کنید که ما یک “پایگاه مخفی” را در خانه ساخته ایم ، اما دوستان ما همه به عنوان حیوانات اجتماعی در این شرکت مشغول به کار هستند ، بنابراین ما فقط نمی توانیم راه برویم تا ببینیم پایگاه مخفی چگونه است.

NGROK یک تونل جادویی است که می تواند به اتصال “پایه مخفی” (رایانه یا سرور ما) در خانه به اینترنت کمک کند و به Socialites (Hey) اجازه می دهد تا ما را از طریق این تونل از شرکت (مکان از راه دور) پیدا کنند.

به عبارت ساده ، ما در ابتدا فقط LocalHost را به موارد داخلی متصل می کنیم ، به طوری که بیگانگان خارجی نیز می توانند به هم وصل شوند.

وب سایت رسمی NGROK: https://ngrok.com/.

پس از ثبت نام ، می بینید که روشهای نصب زیادی وجود دارد:

این مقاله روش MACOS را نشان می دهد.

اولین دستور نصب NGROK است.

دستور دوم تنظیم نشانه است.

سپس دستور زیر 11434 از API محلی Ollama ما را به NGROK متصل می کند:

ngrok http 11434 --host-header="localhost:11434"

پس از آزمایش واقعی ، این تنها راه صدور سفارش است.

پس از اجرای ، پیام زیر را در ترمینال مشاهده خواهید کرد:

مهمترین چیز ارسال آن خط است:

https://fb55-118-233-2-60.ngrok-free.app -> http://localhost:11434

LocalHost: 11434 ، که نماینده محلی ما است ، توسط NGROK به عنوان یک URL عمومی https://fb55-118-233-2-60.ngrok-free.app تأسیس شده است.

آزمون پستچی می تواند تست های بعدی را اصلاح کند:

این موفقیت آمیز است ~ شما می توانید از آن در API شرکت استفاده کنید.

لازم به ذکر است که اگر از NGROK استفاده کنید ، URL های عمومی که می یابید هر بار متفاوت خواهد بود ، اگر می خواهید.

منابع مالی من شبیه به منابع شیائو BA است ، و فکر می کنم استفاده از QQ به صورت رایگان آسان است.