ویژگی جدید برای ذخیره پاسخ LLM با نمونه redis

Summarize this content to 400 words in Persian Lang

برای بهبود عملکرد و کارایی، باید کش برای DocsGPT را پیاده سازی کنیم. اگر سؤال مشابهی پرسیده شود، با استفاده از همان منبع و همان LLM، نتیجه باید از حافظه پنهان بازیابی شود نه اینکه یک فراخوانی API جدید راه اندازی شود.
Redis قبلاً برای وظایف Celery پیکربندی و استفاده شده است، بنابراین سیستم کش باید از Redis برای ذخیره و بازیابی این پاسخ‌های حافظه پنهان استفاده کند.

🎤 چرا این ویژگی مورد نیاز است؟

این ویژگی با اجتناب از فراخوان‌های اضافی API برای درخواست‌های یکسان، عملکرد DocsGPT را بهبود می‌بخشد. زمان پاسخگویی به پرسش‌های مکرر را کاهش می‌دهد، هزینه‌های API را کاهش می‌دهد و تجربه کاربر را بهبود می‌بخشد، مخصوصاً برای سؤالات متداول.
هنگامی که کاربران به طور مکرر با استفاده از منبع داده مشابه سؤالات مشابهی می پرسند، نیازی به اجرای مجدد همان منطق در هر بار (حداقل برای مدتی) نیست. با معرفی کش می توانیم این فرآیند را ساده کنیم.

✌️ چگونه می خواهید به این هدف برسید؟

اجرا شامل موارد زیر خواهد بود:

استفاده از Redis به‌عنوان لایه ذخیره‌سازی برای ذخیره پاسخ‌های LLM، نمایه‌سازی شده با ترکیب سؤال، منبع و LLM مورد استفاده.
قبل از اجرای پرس و جوهای جدید LLM، کش را بررسی کنید تا ببینید آیا یک نتیجه ذخیره شده در حافظه پنهان موجود است یا خیر.
در صورت یافتن سؤالی مشابه در حافظه پنهان، از حافظه پنهان شروع می شود، در غیر این صورت با فرآیند جستجوی معمول ادامه می دهیم و سپس نتیجه را برای استفاده در آینده ذخیره می کنیم.

این یک کار چالش برانگیز است و ما دوست داریم در آن همکاری کنیم. شما می توانید مستقیماً در این شماره مشارکت داشته باشید یا به بحث در Discord (مسائل مشترک) ما بپیوندید.
ما همچنین تقسیم این مشکل را به کارهای کوچکتر و قابل مدیریت تشویق می کنیم، اما لطفاً برای اهداف ردیابی، آنها را به این شماره اصلی پیوند دهید.

🔄️ اطلاعات تکمیلی

بدون پاسخ

👀 آیا مدتی را صرف بررسی کرده اید که آیا این درخواست ویژگی قبلاً مطرح شده است؟

آیا مایل به ارائه روابط عمومی هستید؟

هیچ کدام

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید