من هوش مصنوعی محلی را در Spacemacs یکپارچه کردم – در اینجا نحوه عملکرد آن آورده شده است

یک ماه و نیم پیش ، من به سختی چیزی در مورد هوش مصنوعی می دانستم. حالا من دارم اسطورهبا لاما 3وت بی نظیر همه در حال اجرا به صورت محلی – کاملاً در گردش کار Spacemacs من.

این فقط یک آزمایش سرگرم کننده نیست. این یک سیستم کاری است. من از آن برای فکر کردن ، نوشتن ، ایجاد ایده ها و ساختن یک فیلمنامه استفاده می کنم-همه بدون تکیه بر ابزارهای مبتنی بر ابر ، چت های قفل شده به پایین یا شرایط خدماتی که با آنها موافق نبودم.

و نه – من یک ایستگاه کاری \ 10،000 دلار ندارم.
این تنظیم بر روی یک پردازنده گرافیکی واحد اجرا می شود. و کار می کند.

1. راه اندازی من

مشخصات ماشین:

• 32 گیگابایت رم
• RTX 3070
• نعناع لینوکس

پشته AI محلی:

• اولاما (مدل دونده)
• اسطورهبا لاما 3با بی نظیر
• فضانوردان (Emacs + Vim Hybrid)

این یک دکل هیولا چند GPU نیست.
این یک دسک تاپ منطقی قدرتمند است – و مدل های پارامتر 13B را بسیار خوب اجرا می کند. این سریع چشمگیر نیست ، اما به اندازه کافی سریع است که با آن کار کنید ، با آنها فکر کنید و نتیجه ای را به دست آورید.

چرا محلی می رویم؟

• مالکیت – من مدل ، رابط و روند را کنترل می کنم.
• خلوت – هیچ چیز به Openai ، متا یا هر کس دیگری نمی رود.
• سرعت – بدون تأخیر API. بدون تعادل بار سرور. فقط استنباط خام – سازگار و پاسخگو در دستگاه خودم.

جادو نیست این نرم افزار است. و مال من است.

2. مانند یک Poweruser

اینجاست که Spacemacs می درخشد.

من برگه ها ، کپی کردن چسباندن بین برنامه ها را تغییر نمی دهم ، یا با رفتار پنهان به برخی از API از راه دور متکی هستم. من به یک صفحه کلید ضربه زدم – SPC a iبشر

(AI فضایی)

و اگر هرگز به این فکر نکرده اید که “فضای” در Spacemacs از کجا آمده است …

در اینجا آنچه آن دسته کوچک موسیقی جاز را باز می کند:

• تزریق متن – کل بافر بخشی از سریع می شود.
• بارگیری سریع سیستم – شخص به صورت محلی در تعریف می شوند ~/.config/ai-profile.elبشر

شخصیت چیست؟
این راهی برای تنظیم است فوری سیستم – دستورالعمل های اولیه که نحوه پاسخ مدل را راهنمایی می کند. نه یک حیله ، نه یک پوشش شخصیت – فقط مجموعه ای واضح از قوانین رفتاری.

یک شخصیت لحن ، اولویت ها و سبک کار مدل را تعریف می کند. ویراستار. تحلیلگر نوشتن مربی. طنزپرداز خشک. شما تصمیم می گیرید که چه نقشی باید در نظر بگیرد و مدل از رهبری شما پیروی می کند.

در اینجا یک مثال آورده شده است:

(setq ai/system-prompt
  "You are a blunt, concise editor. Prioritize clarity. Avoid filler.")

این مدل را می گوید: پاسخ های تنگ ، بدون کرک ، روی وضوح تمرکز کنید.

پرونده را تغییر دهید ، سریع را بارگیری کنید و رفتار تغییر می کند. بدون آموزش بدون شروع مجدد
کاربر قوانین را تعیین می کند.
نه سکو. نه فروشنده. شما

• درج خروجی – پاسخ ها در سند ظاهر می شوند ، به وضوح مشخص شده است.
• ورود سریع – ذخیره شده در ~/.ai_prompt_history.org، به 50 ورودی آخر بریده شده است.

به اینترنت وصل نمی شود.
نه اکنون ، و احتمالاً هرگز.

من سعی نمی کنم Openai را خاموش کنم یا با آینده مبارزه کنم. اما اگر کسی نگران این باشد که هوش مصنوعی حساس شود و جهان را به دست بگیرد ، من وظیفه خود را انجام می دهم تا این احتمال را کمتر کند – با کوچک نگه داشتن آن ، محلی و کاملاً تحت کنترل.

و اگر دستگاه من همیشه تهدید به افشای اسرار من کند –
(انگار که من وجود داشته ام) –
من فقط آن را تعطیل می کنم.

ساده

3. هر پرونده یک گپ است – و همه چیز را تغییر می دهد

در بصورت آنلاین تنظیمات هوش مصنوعی ، شما در حال تایپ کردن یک رابط موقت هستید – یک گپ وب ، شاید یک تاریخ شناور. این جلسه مبتنی بر جلسه ، انتزاعی و بیشتر از دست شما است.

در سیستم من؟

هر پرونده است ، یک مکالمه

پیش نویس فیلمنامه. یک طرح تحقیقاتی یک دکتر استراتژی.
هر یک به یک گفتگوی مداوم و قابل ویرایش بین من و مدل تبدیل می شود – من خط را به صورت خط کنترل می کنم.

• آیا می خواهید یک پاسخ بد را قطع کنید؟ آن را حذف کنید.
• آیا می خواهید لحن را تغییر دهید؟ سرب را بازنویسی کنید.
• آیا می خواهید یک ایده جدید را کشف کنید؟ فقط دوباره تایپ و سریع کنید.

من “تاریخ چت را روشن نمی کنم.”
من حافظه را ویرایش کنید.

و منظورم این است که به معنای واقعی کلمه.

پرونده ای که من روی آن کار می کنم است ، حافظه
چند پنجره زمینه نامرئی نیست. یک بافر سمت سرور نیست.
فقط متن روی صفحه من در دستان من

آنچه مدل بعدی می بیند کاملاً مبتنی بر آنچه که من نوشتم – و آنچه را که من کنار گذاشته ام.
اگر نمی خواهم چیزی را به خاطر بسپارم ، آن را حذف می کنم.
اگر می خواهم روی چیزی تمرکز کند ، آن قسمت را نزدیکتر می کنم.
اگر می خواهم لحن یا جهت را تغییر دهم ، خطوط اطراف را تجدید نظر می کنم.

این یک است مفهوم جدید برای همه.

و همه چیز را تغییر می دهد.

چیزهای بیشتری برای کشف وجود دارد – من از آن مطمئن هستم. اما این خیلی واضح است:

افراد بیشتری باید از این طریق استفاده از هوش مصنوعی را شروع کنند.
محلی کنترل کاربر با یک هدف

نه به عنوان سرگرمی. نه به عنوان یک چت بابات.
به عنوان ابزاری که شکل می دهید – چیزی نیست که شما را شکل دهد.

و البته ، با هرگونه استفاده از هوش مصنوعی ، در هر نقطه و به هر دلیلی:

خروجی را تماشا کنید!

به همین دلیل شما آنقدر “نوشتن هوش مصنوعی” را می بینید که بدیهی است که نوشتن هوش مصنوعی است.
چرا بسیاری از ایده های به سبک الگوی رفتاری نیمه پخته شده احساس می کنند-مثل آنها تقریباً کار ، اما نه کاملاً.
این دره فکر ناعادلانه است. هنری ضعیف. گوشه ها را برش دهید. مطالب نوشته شده توسط افرادی که می خواهند نویسنده باشند اما هرگز چیزی ننوشته اند.

ابزار مشکل نیست.
این فقدان کاردستی است.

4. ذهن قابل ویرایش: حافظه قابل نوشتن و شخصیت های قابل تعویض

هوش مصنوعی محلی حافظه ندارد – مگر اینکه آن را به آن بدهید.
و این مزیت است.

پرونده است ، حافظه شما با کنترل آنچه نگه دارید ، آنچه را که حرکت می کنید ، و آنچه را که می خواهید انجام می دهید ، کنترل می کنید.

حتی بهتر – می توانم بارگذاری کنم شخص از یک پرونده eliSp ساده:

;; ~/.config/ai-profile.el
(setq ai/system-prompt
  "You are a blunt, concise editor. Prioritize clarity. Avoid filler.")

پرونده را تغییر دهید – نقش را تغییر دهید.
تحلیلگر منطقی ، شریک روایتگر ، طنزپرداز خشک – هر آنچه که من نیاز دارم.

این نقش آفرینی نیست. این است شکل گیری شخصیت عملکردی – تعریف شده توسط شما ، نه توسط ارائه دهنده.

تفاوت ظریف ، اما قدرتمند است:
من از هوش مصنوعی نمی خواهم وانمود کند که کسی است.
من آن را می گویم چگونه برای رفتار ، چه برای اولویت بندی ، و چرا اینجا است

و مهم نیست که شخصیت کیست ، یا کار چقدر خلاق می شود:

خروجی را تماشا کنید!

زیرا مدل هنوز نمی داند چه اهمیتی دارد – شما انجام

5. یک میلیون کلمه ، سرانجام ابزارهای مناسب

من نویسنده هستم من بیش از یک میلیون کلمه نوشتم – بیشتر ایمیل ها ، مطمئناً ، اما یک میلیون کلمه یک میلیون کلمه است.

من سالهاست که به دنبال یک محیط نوشتن هستم که می توانستم از آن راضی باشم. من سالها پیش با Spacemacs آزمایش کردم – قدرت آشکار بود ، اما پیچیدگی من را از فاصله دور نگه داشت. من یک توسعه دهنده نیستم. من هرگز یاد نگرفتم که کد کنم. من از نظر فنی فکر می کنم ، اما من ویرایشگر صحبت می کنم ، نه مهندس.

سپس AI وارد تصویر شد.

من دیدم که chatgpt-4o می تواند متن را در تصاویر و فکر قرار دهد ، شاید بتوانم کارتون درست کنم؟ یا چیزی شبیه به آن و از آنجا ، من کمی آجیل رفتم. من کبوتر عمیق تر من فقط با اعلان بازی نمی کردم – امکانات را تعقیب می کردم.

من هنوز رمزگذار نیستم.
اما من بیش از 20 سال یک مرد لینوکس-در-دستوپ بوده ام-و من به آن اعتقاد دارم آزادیبشر

و به آرامی ، من شروع به خواب دیدم.
در مورد هوش مصنوعی روی دسک تاپ.
مستقل محلی کنترل کاربر
هیچ تله متری بدون برنامه شرکتی. هیچ API تماشا نمی کند من شانه

من شروع به نوشتن در مورد AI محلی کردم – در مورد نحوه نرم افزار فقط. در مورد اینکه چگونه ما نیاز به متوقف کردن توهم داریم ، نه فقط در خروجی مدل ها بلکه در نحوه فکر کردن در مورد آنها. ما به خدایان AI احتیاج نداریم. ما به ابزارهای خوبی احتیاج داریم. ابزارهایی که می توانیم از آن استفاده کنیم ، درک کنیم و از آن دور شویم.

این همان چیزی است که Spacemacs برای من شد – هنگامی که من در Mythomax سیم کشی کردم. نه فقط یک ویرایشگر. نه فقط یک زمین بازی. مکانی که می توانم فکر کنم. ساخت نوشتن

اکنون من از آن برای نوشتن یک فیلم استفاده می کنم – صحنه به صحنه ، بافر توسط بافر. هوش مصنوعی کمک می کند. اما تصمیم نمی گیرد

و وقتی چیزی را تفکیک می کند؟

من خروجی را تماشا می کنم.
من آن را قطع کردم
من حرکت می کنم

زیرا این همان چیزی است که این است.
دستگاه من
ابزارهای من
کار من

6. حرف آخر

ما به خدایان AI احتیاج نداریم.
گویی این حتی ممکن است.

AI زنده نیست. احساساتی نیست این فقط کد است.
و بله – اطلاعات چیزی است.
اما قطعاً همه چیز نیست.

از مادرتان بپرس

7. بعد از کلمه

(این را در سند قرار دهید به معنای واقعی کلمه من آن را بعداً پر می کنم)

و ، در اینجا من آن را پر می کنم ، بنابراین ، بله ، یک هوش مصنوعی همه را برای من انجام داد …

چگونه؟
نمی دانم ، شما به من می گویید؟
آیا هوش مصنوعی می تواند بدون بازخورد کاربر ، هر چیزی را “بنویسد”؟

“خروجی را تماشا کنید!” باید دستورالعمل و نقد هر کار هوش مصنوعی باشد ، اگر می توانید بگویید که توسط یک هوش مصنوعی ایجاد شده است ، پس از آن – بیش از حد به هر حال آن بود.

Chatgpt با این قطعه به من کمک کرد و این همه چیز است.

و ، این برای چتپ است.

برای من

من باید طبق برنامه خود بایستم ، و این تمرکز بر روی هوش مصنوعی محلی است!

شما ممکن است وقتی این را می گویم باور نکنید ، و اگر این کار را نکردید ، شما را سرزنش نمی کنم ، اما من به معنای واقعی کلمه اشتراک خود را در چتپپ در عرض چند دقیقه پس از تکمیل این کار لغو کردم.

من می خواهم آن را از دست بدهم ، اما چیزهای زیادی برای کشف با هوش مصنوعی محلی وجود دارد ، اکنون باید روی آن تمرکز کنم.

و ، من نمی خواهم کسی باشم که Skynet را در جهان منتشر می کند!