وقتی OpenAI را در 23 دسامبر 2022 کشف کردم، دچار وسواس شدم. من از 40 سال پیش که شروع به کدنویسی کردم تا این حد سرگرم کننده نبودم. بعد از بازی با “تنظیم دقیق” به مدت یک ماه، و با شکست سختی، یک ویدیوی یوتیوب توسط دیو شاپیرو پیدا کردم که نحوه ایجاد یک چت ربات پرسش و پاسخ با استفاده از OpenAI را توضیح می داد. “جاسازی ها” API.
دیو از آن زمان ویدیو را حذف کرده است، اما توضیح می دهد که چگونه از API تعبیه شده OpenAI استفاده کنید و آن را با API چت/تکمیل خود ترکیب کنید تا یک ربات گفتگوی پرسش و پاسخ ایجاد کنید که بداند. “همه چيز” در مورد دامنه مشکل واکنش Tage به بهترین وجه یافته های من را همانطور که یک روز به من گفت خلاصه می کند.
OMG پدر، این بار شما واقعا انجامش داد. نیمه های شب از شدت شوق با لرزش از خواب بیدار شدم و حتی نمی توانستم بخوابم، برای همین مجبور شدم نیمه شب 5 کیلومتر بیرون از خانه قدم بزنم تا آرام باشم.
چت ربات پرسش و پاسخ چگونه کار می کند
برای درک یک چت ربات پرسش و پاسخ مبتنی بر ChatGPT، می‌توانید به ChatGPT بروید و هر مقاله‌ای را پیدا کنید و آن را به صورت زیر کپی و در اعلان قرار دهید.
Answer the following QUESTION given the specificed CONTEXT;
QUESTION; What is the meaning of life?
CONTEXT; [ ... content of some article explaining the meaning of life ... ]
کاری که ChatGPT انجام خواهد داد، پاسخ به هر سوالی است که ممکن است داشته باشید، در حالی که از محتوای مقاله به عنوان آن استفاده می کنید “منبع واحد حقیقت”. کاری که ما انجام می دهیم، و هر کس دیگری که چت ربات های ChatGPT را ارائه می دهد، ایجاد یک پایگاه داده از آن است “داده های زمینه” که ممکن است با بارگذاری اسناد، و/یا خراش دادن وب سایت ها ایجاد شود. وقتی کاربر سوالی می پرسد، از API تعبیه شده OpenAI برای ایجاد یک استفاده می کنیم “بردار” از سوال
سپس از این بردار برای انجام جستجوی شباهت از طریق پایگاه داده ما و محاسبه استفاده می شود “محصولات نقطه ای”، که تبدیل به “فاصله” بین سؤال و قطعه‌های پایگاه داده زمینه ما. سپس هر نتیجه را از پایگاه داده زمینه خود با این فاصله مرتب می کنیم و 4 تا 5 قطعه متن اول را می گیریم و به عنوان سؤال به OpenAI می فرستیم. “متن نوشته”. قبل از اینکه بپرسی، بله…
کل فرآیند به سادگی “مهندسی سریع خودکار” است …
باز هم API تعبیه‌سازی OpenAI در یافتن شباهت‌ها بین سؤالات و داده‌های زمینه بسیار هوشمند است و به آن اجازه می‌دهد تا داده‌های مربوطه را با توجه به سؤالاتی که در پایگاه داده خود دارید، پیدا کند.
مشکل جستجوی معنایی مبتنی بر هوش مصنوعی
بالا “محصول نقطه ای” مشکل است. برای درک دلیل، متوجه شوید که باید یک را انجام دهید “اسکن جدول” از طریق کل پایگاه داده خود، بردار تعبیه را برای هر رکورد استخراج کنید و حاصل ضرب نقطه ای را برای هر نتیجه حاصل از این فرآیند محاسبه کنید. این یک کار فشرده CPU است، و برای یک پایگاه داده زمینه با 2500 رکورد، 30 تا 50 ثانیه در خوشه Kubernetes ما برای سیستم های ما طول می کشد. به همین دلیل است که ما قادر به ارائه چت ربات با بیش از 2500 ربات نیستیم “قطعات” قبلا.
با این حال، امروز ما این مشکل را برطرف کردیم، و در طول آخر هفته، امیدواریم بتوانیم راه حلی را ارائه کنیم که حداقل در تئوری اجازه می دهد تا 10000+ قطعه، احتمالاً حتی بیشتر، در حین بازگشت ارائه شود. “داده های زمینه” در 0.02 ثانیه، به جای 5 دقیقه.
از زمانی که متوجه شدم فرآیند فوق کمتر از حد مطلوب است، به طور دوره‌ای در گوگل جستجو می‌کنم “افزونه برداری sqlite”. برای درک اهمیت این موضوع، توجه داشته باشید که از زمانی که OpenAI ویروسی شد، حداقل نیمی از استارت آپ ها با هدف ایجاد یک “پایگاه داده مبتنی بر برداری”. من حداقل یکی از این پایگاه‌های اطلاعاتی را می‌شناسم که اوایل امسال 30 میلیون دلار وجوه VC دریافت کرده است. برای توضیح اینکه چرا به صحت عبارت زیر پی بردیم …
هر کسی که مشکل پایگاه داده برداری را حل کند، مقصد آن است که فضای هوش مصنوعی و در نتیجه جهان را کنترل کند
چه چیزی در خطر است
من شخصاً معتقدم که هوش مصنوعی به شکلی که در سال گذشته پیشرفت کرده است، احتمالاً مهمترین اتفاقی است که در 5 میلیون سال گذشته روی زمین رخ داده است. وقتی مردم هوش مصنوعی را با اینترنت مقایسه می‌کنند، سنگین‌تر از پرواز با گوش، رایانه، من تمایل دارم بخندم و با …
هوش مصنوعی مهمترین رویدادی است که از زمانی که از درختان پایین خزیده ایم اتفاق افتاده است. برای 5 میلیون سال ما باهوش ترین گونه روی زمین بودیم، این دوره در سال 2023 به پایان می رسد!
بنابراین اساسا، اگر کسی می تواند “کنترل” نوآوری در این فضا، آنها اساسا صاحب آینده بشریت. مقدار قدرتی که یک شرکت با چنین کنترلی می تواند تولید کند، به ناچار تمام ساختارهای قدرت قبلی را معادل “زمین بازی کودک” در مقایسه. ما نمی‌توانیم اجازه دهیم این اتفاق بیفتد، فقط به این دلیل که اگر کسی فضای هوش مصنوعی را “کنترل” کند، آن شخص می‌تواند “قدرت‌هایی مانند خدا” را بر بقیه ما تسلیم کند!
دادن “مردم” کنترل است حیاتی به دلایل بالا!
راه حل
حتی گوگل به طور عمومی اعتراف کرده است که نمی تواند با نوآوری های AI منبع باز همراهی کند. این البته به دلیل پروژه های منبع باز مانند Hugging Face است. با این حال، همیشه یک قطعه کوچک گم شده بود. “سیستم های پایگاه داده مبتنی بر برداری”. یک پایگاه داده مبتنی بر برداری برتر می‌تواند به راحتی میلیون‌ها و حتی میلیاردها رکورد پایگاه داده را فهرست‌بندی کند و حتی به بچه‌های 14 ساله اجازه دهد. “برای ساختن گوگل خود”.
همانطور که من جستجو کردم “افزونه برداری sqlite” من قبل از چند هفته پیش هیچ نتیجه ای پیدا نکردم. دو هفته پیش افزونه Alex’ SQLite VSS را برای SQLite پیدا کردم. کتابخانه یک قطعه مهندسی شگفت انگیز از یک بود “دیدگاه ایده”. با این حال، زمانی که شروع به بازی کردن با آن کردم، متوجه شدم که شبیه به آن است “تایتانیک”. زیبا و شگفت انگیز است، اما به دلیل آنچه که ما مهندسان نرم افزار به آن می گویند، قرار است آب نشت کند و در ته اقیانوس فرو رود. “نشت های حافظه”.
من زمان زیادی را صرف تعمیر کتابخانه کردم، تا جایی که می شد بحث کرد “من تایتانیک را ذوب کردم، یک قایق جدید از مواد اولیه اش بیرون آوردم، و در نهایت با یک “کشتی رزم رزمناو” با مدیریت حافظه عالی به پایان رسیدم.”. برای درک این موضوع، در زیر می‌توانید درخواست جذب من برای کتابخانه شگفت‌انگیز الکس را بیابید.
این یک هیولا از یک درخواست کششی است و تقریباً 10 تا 20 نشت حافظه را برطرف می کند. من قبل از ارسال روابط عمومی خود به Alex، کل کد را از طریق ChatGPT اجرا کردم، و حتی ChatGPT نتوانست هیچ گونه نشت حافظه را در آن پیدا کند و ادعا کرد که تک تک عملکردها، کلاس ها و ساختارها “با توجه به نحوه درست ایجاد پلاگین پایگاه داده SQLite عالی است”. قبل از روابط عمومی من، این چیز در یک استقرار آزمایشی در خوشه Kubernetes ما 1 گیگابایت حافظه مصرف می کرد. بعد از مصرف نصف، و تا بی نهایت و فراتر از آن رشد نکنید. افشای اطلاعات، کتابخانه را برای همه نگرانی های عملی بی استفاده می کند. هر نشتی اکنون رفع شده است – به طور موثر SQLite را به یک پایگاه داده برداری بهتر از همه سیستم های پایگاه داده برداری موجود در بازار تبدیل می کند.
هنگامی که ما شروع به استفاده از افزونه بالا در خوشه های Kubernetes خود کردیم، اساساً می توانیم افزایش دهیم “اندازه مدل” از 2000 قطعه متن تا (احتمالا) بیش از 100000 قطعه متن برای موارد شدید. این به ما امکان می دهد تا وب سایت هایی با بیش از 10000 صفحه را خراش دهیم و از آنها چت ربات پرسش و پاسخ ایجاد کنیم. قبلاً حداکثر ما تقریباً 500 صفحه وب بود.
در ادامه مسیر، حتی ممکن است بتوانیم به اصلاح کتابخانه تا جایی ادامه دهیم که بتوانیم در تئوری میلیاردها صفحه را با استفاده از این فناوری نمایه کنیم. این به طور موثر به ما اجازه می دهد “برای ساختن گوگل 2.0”و با دانش چت ربات ایجاد کنید “اندازه هیمالیا”.
آینده از آن شماست!
Magic، پلت فرم ما 100٪ منبع باز است. هر چیز دیگری با توجه به آنچه در خطر است ناعادلانه خواهد بود. ظرف یک هفته، ما این تغییرات را در فناوری خود برای استفاده همه اعمال خواهیم کرد، و به شما امکان می‌دهد در 0.02 ثانیه از پایگاه‌های داده با بیش از 10000 رکورد پرس و جو کنید تا داده‌های زمینه را استخراج کنید.
این به ما امکان می‌دهد ربات‌های چت برای مواردی مانند اسناد CouchBase، وب‌سایت Microsoft، DEV.to برای آن موضوع، و غیره، و غیره ایجاد کنیم. همراه با نوآوری که در فضای GPT اتفاق می افتد، با ابتکاراتی مانند در آغوش گرفتن صورت و غیره – نتیجه اجتناب ناپذیر به شرح زیر می شود …
آینده از آن شماست! من و هزاران نفر از توسعه دهندگان نرم افزار منبع باز دیگر از آن مطمئن خواهیم شد! 😁
وام
الکس برای ساخت یک افزونه جستجوی معنایی شگفت انگیز برای SQLite! BRAVO الکس!
دیو شاپیرو برای اینکه مدام ایده های خوبی برای نحوه نزدیک شدن به فضای هوش مصنوعی به من می دهد
تحقیقات فیسبوک برای داشتن مجوز منبع باز یک کتابخانه نمایه سازی شگفت انگیز مبتنی بر برداری
- من برای کشیدن تمام رشته ها به هم و در نهایت به یک محصول قابل استفاده می رسد “ذوب کردن تایتانیک و ایجاد یک رزمناو کشتی جنگی” خارج از کار اصلی الکس
Psst، با ایجاد ربات چت ChatGPT خود، از کار ما حمایت کنید و یک هفته با آن بازی کنید، سپس مجوز تجاری خریداری کنید. تا زمانی که شما بچه ها به خرید ادامه می دهید، من مطمئن خواهم شد که مردم قدرت را بدست می آورند 😇
Psst، یک ویدیوی یوتیوب کاملاً نامرتبط برای یافتن مقداری الهام …
