نمای کلی: “Infiniretri: تقویت LLMS برای زمینه نامحدود از طریق بازیابی مبتنی بر توجه”

سلب مسئولیت: این گزارشی است که با ابزار من تولید شده است: https://github.com/dteam-top/tsw-cli. آن را به عنوان یک آزمایش مشاهده کنید نه یک تحقیق رسمی ،

خط مقدم

خلاصه

در این مقاله Infiniretri ، یک روش جدید و بدون آموزش که از مکانیسم های توجه ذاتی مدل های بزرگ زبان (LLM) استفاده می کند ، برای دستیابی به بازیابی دقیق در ورودی های طول بی نهایت نظری معرفی می شود. Infiniretri با مشاهده همبستگی بین توزیع توجه و پاسخ های تولید شده ، توجه LLM را به عمل به عنوان یک مکانیسم بازیابی بازگرداند ، به طور قابل توجهی عملکرد را در کارهای طولانی مدت ، به ویژه در پاسخ به سوال بهبود می بخشد. این روش نتایج پیشرفته ای را در آزمون سوزن سوزن در یک حیاط (NIH) نشان می دهد ، و به دقت 100 ٪ نسبت به 1 متر نشانه ها با یک مدل پارامتر 0.5B کوچک دست می یابد و پیشرفت های قابل توجهی در معیارهای دنیای واقعی مانند Longbench نشان می دهد.

اصطلاحات

• LLM (مدل زبان بزرگ): یک مدل یادگیری عمیق که برای درک و تولید متن مانند انسان در یک مجموعه داده عظیم آموزش داده شده است.
• پنجره متن: حداکثر طول متن ورودی که یک LLM می تواند یکباره پردازش کند.
• RAG (نسل بازیابی شده توسط Augmenter): چارچوبی که یک ماژول بازیابی (برای واکشی اسناد مربوطه) را با یک ماژول تولید (LLM) برای بهبود کیفیت پاسخ ترکیب می کند.
• حافظه نهان KV (حافظه نهان کلیدی): یک فروشگاه حافظه مورد استفاده در مدل های ترانسفورماتور برای ذخیره بردارهای کلید و ارزش از لایه های قبلی ، امکان پردازش سریعتر توالی های طولانی را فراهم می کند.
• NIH (سوزن-در-HAYSTACK): وظیفه ای که در آن بخش خاصی از اطلاعات (“سوزن”) باید از یک سند بزرگ بازیابی شود (“یونجه”).
• ترانسفورماتور: یک معماری شبکه عصبی که برای پردازش داده های پی در پی به مکانیسم های خودآگاهی متکی است.
• سینک توجه: پدیده ای که نشانه های اولیه در یک دنباله نمرات توجه نامتناسب را دریافت می کنند ، مانع از توانایی مدل برای تمرکز بر روی اطلاعات مربوطه بعداً در دنباله می شود.

نکات اصلی

نکته 1: مشکل زمینه محدود در LLMS

LLM ها به دلیل محدود بودن اندازه پنجره زمینه ، محدودیت هایی در کنترل زمینه های ورودی طولانی دارند. مقیاس بالا بردن پنجره زمینه از نظر محاسباتی گران است و به دلیل توزیع دم طولانی مدت سند ، بازده کاهش می یابد. رویکردهای موجود ، مانند تنظیمات تعبیه کننده موقعیت و تکنیک های پنجره کشویی ، محدودیت هایی در پردازش و جمع آوری اطلاعات به طور مؤثر در ویندوزهای متن چندگانه دارند.

توضیح:

• نویسندگان تأکید می کنند که به سادگی افزایش اندازه پنجره زمینه LLMS به دلیل هزینه های محاسباتی و نادر بودن اسناد بسیار طولانی ، یک راه حل پایدار نیست.
• آنها همچنین به کاستی های روشهایی مانند برون یابی موقعیتی و پنجره های کشویی اشاره می کنند ، که یا نیاز به آموزش دارند یا نتوانسته اند اطلاعات جهانی را در کل زمینه طولانی ضبط کنند.

نکته 2: مکانیسم بازیابی مبتنی بر توجه Infiniretri

Infiniretri با استفاده از مکانیسم توجه خود LLM به عنوان ابزاری بازیابی ، مشکل طولانی را به وجود می آورد. این روش مشاهده می کند که الگوهای تخصیص توجه در LLMS با قابلیت های بازیابی-آمریكا مطابقت دارد. از یک رویکرد پنجره کشویی ، بخش های پردازش تکراری از متن طولانی و استفاده از یک استراتژی بازیابی توکن جدید بر اساس توزیع نمرات توجه استفاده می کند تا مشخص شود که کدام اطلاعات برای حفظ در حافظه پنهان است.

اجرای:

1. chunking: متن ورودی طولانی بر اساس مرزهای جمله به تکه های کوچکتر و قابل کنترل تقسیم می شود.
2. پردازش تکراری: هر قطعه به صورت متوالی پردازش می شود ، همراه با اطلاعات ذخیره شده از مراحل قبلی.
3. تجزیه و تحلیل توجه: نمرات توجه از آخرین لایه LLM برای تعیین اهمیت هر نشانه در متن مورد تجزیه و تحلیل قرار می گیرد.
4. بازیابی توکن: برای شناسایی عبارات نشانه های مهم ، یک عملیات حلقوی 1D به نمرات توجه اعمال می شود. مهمترین نشانه های Top-K انتخاب شده اند.
5. حافظه پنهان: جملات حاوی این نشانه های برتر K برای استفاده در تکرارهای بعدی ذخیره می شوند.
   • جزئیات اجرای کلیدی: Infiniretri Caches IDS از جملات مربوطه را به جای حالت های ارزش کلیدی نشان می دهد ، که آن را از روش های فشرده سازی حافظه پنهان KV جدا می کند.

نکته 3: عملکرد و کارآیی برتر Infiniretri

Infiniretri با دستیابی به دقت 100 ٪ بیش از 1 متر نشانه ها با یک مدل پارامتر 0.5B ، به نتایج پیشرفته در کار NIH دست می یابد. این همچنین بهبود عملکرد قابل توجهی در معیارهای دنیای واقعی مانند Longbench ، با حداکثر 288 ٪ بهبود در کارهای QA چند مستند نشان می دهد. علاوه بر این ، Infiniretri با پردازش تنها بخش کوچکی از زمینه طولانی اصلی ، تأخیر استنباط و سربار محاسباتی را کاهش می دهد.

توضیح:

• در این مقاله ، مزایای عملی Infiniretri از جمله توانایی آن در رسیدگی به زمینه های بسیار طولانی ، بهبود دقت در کارهای مبتنی بر بازیابی و کاهش هزینه های محاسباتی برجسته شده است.
• این در تضاد Infiniretri با رویکردهای سنتی پارچه ای است که به مدل های تعبیه کننده خارجی متکی است.

پیشرفت و خلاقیت

• این مقاله یک دیدگاه جدید در مورد استفاده از قابلیت های ذاتی LLMS برای پردازش طولانی مدت ارائه می دهد.
• مفهوم “تراز تخصیص توجه با بازیابی-اوج” یک نوآوری کلیدی است که طراحی Infiniretri را راهنمایی می کند.
• این روش بدون آموزش است و می تواند برای هر LLM مبتنی بر ترانسفورماتور استفاده شود و آن را بسیار در دسترس و عملی قرار دهد.
• رویکرد ذخیره نشانه های سطح جمله به جای نشانه های فردی یا حالت های ارزش کلیدی ، عزیمت قابل توجهی از روش های فشرده سازی حافظه پنهان KV موجود است.

بینش

• Infiniretri نشان می دهد که افزایش قابلیت های متن طولانی LLM ها را می توان از طریق رویکردهای متعدد حاصل کرد ، نه فقط با مقیاس کردن پنجره زمینه.
• تقویت قابلیت های داخلی مدل در یک پنجره زمینه کوچکتر ، همراه با مکانیسم Infiniretri ، می تواند منجر به عملکرد بهتر متن شود.
• این مقاله حاکی از آن است که تحقیقات بیشتر باید در بهینه سازی Infiniretri برای کارهای خلاصه متمرکز شود ، که نیاز به درک جامع تری از کل زمینه دارد.
• این روش می تواند با درج مفهوم “بازیابی در توجه” ، امکانات جدیدی را برای توسعه RAG و تکنیک های مرتبط ارائه دهد.

منابع

• منبع 1 – arxiv preprint arxiv: 2303.08774

• منبع 2 – arxiv preprint arxiv: 2308.14508

• منبع 3 – arxiv preprint arxiv: 2502.12962v1

مقاله: بازیابی نامتناهی: توجه LLMS در پردازش طولانی مدت توجه

گزارش تهیه شده توسط TSW-X
بخش سیستم های تحقیقاتی پیشرفته
تاریخ: 2025-03-07 09: 10: 11.649964