با استفاده از AI Offline: بینش در مورد مدل های محلی

LLM های مبتنی بر ابر مناسب هستند ، اما آنها نه تنها ناامن هستند-بسیاری از خدمات آنلاین نیز تعداد اسنادی را که می توانید پردازش کنید محدود می کنند. در حال اجرا مدل های زبان به صورت محلی به شما امکان می دهد کد را تجزیه و تحلیل کنید ، اشکالات را تشخیص دهید و به طور مستقیم در رایانه خود با اسناد داخلی مشورت کنید ، هم خطرات امنیتی و هم محدودیت های پردازش را از بین ببرید

در این یادداشت کوتاه ، من نشان می دهم که راه اندازی چنین سیستمی و شروع استفاده از آن در گردش کار چقدر آسان است

برای کد

1. https://ollama.com/ – ابزاری که هر مدل آموزش دیده محلی را اجرا می کند

2. پس از نصب ترمینال اجرا
   1. ساده ترین مدل را اجرا کنید ollama run codellama
   2. انجام داد ممکن است بدون به اشتراک گذاشتن اطلاعاتی در اینترنت ، از هوش مصنوعی خود استفاده کنید!

$ ollama run codellama
pulling 3a43f93b78ec... 100% ████████████████████████████▏ 3.8 GB
success 

>>> Why the sky is blue?

The sky appears blue because of a phenomenon called Rayleigh bla bla

اگر می خواهید متن بیشتری بنویسید: فقط از سه نقل قول استفاده کنید مانند:

>>> """
... Describe this code, please:
... if (app.Environment.IsDevelopment())
...     app.MapOpenApi();
... """

The code above is a configuration for an API in a .NET Web API bla...

خوب ، این همه نیست!

آیا از کد VS استفاده می کنید؟ نصب این پسوند ادامه دهید. dev و به مدل محلی خود وصل شوید

من یک پروژه جدید API دات نت را ایجاد کردم و از AI خواستم که تست بنویسد:

1. کد را انتخاب کنید
2. مطبوعات +
3. وظیفه خود را بنویسید

به سادگی روی “درج در مکان نما” در پرونده آزمون کلیک کنید و نتایج را بپذیرید
با چند تنظیم ، تست ها کار می کنند و به شما امکان می دهد بدون هیچ هزینه ای از AI استفاده کنید (به جز برق)

برای اسناد

اگر پروژه شما حاوی اسنادی به عنوان پرونده است ، می توانید از هر LLM (مانند Deepseek) استفاده کنید تا در مورد سند یا موضوع خاص آن سؤال کنید

از طرف دیگر ، اگر محتوای شما در وب است ، می توانید ASSANCE صفحه پسوند مرورگر را امتحان کنید
به آرامی کار می کند و به برخی از تنظیمات نیاز دارد ، اما برای کار با مدل های محلی در حال اجرا طراحی شده است. اگر راحت در نصب برنامه افزودنی مرورگر باشید ، این گزینه مفید است. ؛)

حداقل ، این یک روش عالی و بسیار مناسب برای داشتن یک UI کاربر پسند برای ارتباطات است. فقط نگاهی بیندازید:

علاوه بر این ، برخی از مدل ها از کار با اسناد و گسترش پایگاه دانش آنها پشتیبانی می کنند. بیایید سعی کنیم چیز جدیدی بپرسیم:

و تعاریف را به پایگاه دانش اضافه کنید ، سپس نتیجه را بررسی کنید:

برای تحقیق در مورد اطلاعات در مورد ده ها پرونده.

برای کار با مجموعه ای از اسناد ، می توانید کل پروژه را به عنوان زمینه در VS Code تنظیم کنید و به عنوان مثال از آن بخواهید که مواردی را در کد پیدا کنید:

فقط برای تفریح ​​، من repo repo https://github.com/owasp/cheatsheetseries.git را کلون کردم و منتظر هستم که روند نمایه سازی به پایان برسد. سپس از مدل (در سمت چپ) پرسیدم و تمام پرونده های پروژه کلون شده (در سمت راست) را درج کردم. همانطور که در زیر مشاهده می کنید ، سمت راست حاوی اطلاعات مفیدتر است

به طور بالقوه ، شما می توانید این رویکرد را برای تجزیه و تحلیل اسناد خود ، مانند رویه ها ، دستورالعمل ها یا سیاست ها ، برای دریافت توصیه ها بر اساس دوجین سند استفاده کنید. برای من ، این یک فواید بسیار ارزشمند است

PS: در عین حال ، من به طور خاص از مدل کوچک Gemma: 2b در این آزمون استفاده کردم تا به وضوح تفاوت بین پاسخ ها را قبل و بعد از غنی سازی با داده ها مشاهده کنم. به علاوه ، این پاسخ های سریع است ، بر خلاف LRMS مانند deepseek-r1، جایی که شما یک پاسخ سریع دریافت نخواهید کرد. اگرچه ، البته ، من می فهمم که هر مدل متناسب با کار خاص خود و برای کد است ، codellama بهترین کار را در رایانه من انجام داد