راه حل جستجوی Alibaba Cloud AI توضیح داده شده: جستجوی هوشمند هدایت شده توسط مدل های بزرگ زبان ، کمک به شرکت ها در دیجیتال

در یک سال گذشته ، قابلیت های مدل های بزرگ زبان در حال رشد بوده است زیرا فناوری مدلهای بزرگ زبان افزایش یافته است. اینها تکامل سریع فناوری جستجوی ما را به نسل بعدی ، فناوری جستجوی هوش مصنوعی سوق داده است. توسعه سریع مدل های بزرگ زبان نه تنها پایه و اساس فناوری جستجو را تغییر داده است ، بلکه پشتیبانی شدیدی از تحول دیجیتالی صنایع مختلف نیز فراهم کرده است.

فناوری جستجوی هوش مصنوعی ویژگی های قابل توجهی زیر را دارد:

بازسازی: یکی بازسازی جنبه های فنی جستجوی هوش مصنوعی است. فناوری جستجوی هوش مصنوعی در حال حاضر در حال بازسازی جامع بر اساس مدل بزرگ زبان است ، که از طریق آن کل زنجیره ای از قابلیت های جستجو سازماندهی مجدد شده است ، از جمله تعریف مجدد قابلیت های تجزیه متن ، برش و بردار. مورد دیگر بازسازی روش دسترسی به اطلاعات و شکل محصول است. در حالی که جستجوی سنتی به تطبیق کلمات کلیدی متکی است ، اکنون از تعامل پرسش و پاسخ به زبان طبیعی تر استفاده می کند ، که سناریوهای تجاری جدید مانند افراد دیجیتالی مجازی ، پرسش و پاسخ را برای پایگاه های دانش سازمانی و خدمات مشتری هوشمند برای سیستم عامل های تجارت الکترونیکی به ارمغان می آورد.

زیرساخت هوش مصنوعی: فناوری جستجوی هوش مصنوعی به بخش مهمی از برنامه های بومی هوش مصنوعی ، از جمله بازیابی بردار جستجو ، جستجوی معنایی و فناوری های تولید بازیابی تبدیل شده است که زیرساخت های بسیاری از برنامه های هوش مصنوعی را تشکیل می دهد. این امر نه تنها باعث افزایش کارایی پردازش داده ها می شود ، بلکه تجربه تعامل کاربر را با سیستم افزایش می دهد و به شرکت ها کمک می کند تا مدیریت و خدمات اطلاعاتی کارآمد تری را تحقق بخشند.

تقویت اثربخشی: در حال حاضر ، تمرکز روی اثربخشی به سطح بی سابقه ای در دانشگاه و صنعت رسیده است. علاوه بر این از مدل زبان بزرگ ، اثر جستجو را در مقایسه با جستجوی سنتی به یک جهش کیفی تبدیل می کند. کاربران می توانند اطلاعات مربوطه را سریعتر بدست آورند و باعث بهبود کارآیی و صحت تصمیم گیری ، به ویژه در نمایش داده شدگان پیچیده و سناریوهای بازیابی اطلاعات عمیق می شوند.

با این حال ، معرفی مدل های بزرگ زبان نیز برخی از مشکلات را به وجود می آورد ، به ویژه مشکل سرعت فانتوم. در برخی از سناریوهایی که به دقت پاسخ بسیار بالایی نیاز دارند ، اطمینان از صحت پاسخ مدل بزرگ دشوار می شود ، که محدودیت هایی را برای شرکت ها و توسعه دهندگان در فرود خدمات جستجوی هوش مصنوعی تحمیل می کند.

با تکامل دوران AI ، Alibaba Cloud تلاش های متناظر بر روی ابر انجام داده است. محصولات جستجوی Alibaba Cloud از لحاظ تاریخی به دو موتور تقسیم شده است: یکی موتور منبع باز Elasticsearch ، که با الاستیک همکاری می کند و دیگری Havenask ، یک موتور جستجوی خود توسعه یافته بر اساس سالها تجربه است.

2.1 تکامل اکوسیستم منبع باز:

2017: Alibaba Cloud با انتشار Elastic و یک محصول مشترک همکاری استراتژیک دارد. Elasticsearch در Alibaba Cloud همان چیزی است که ما در حال حاضر از آن استفاده می کنیم.

2019: ما همچنان این محصول ES کاملاً مدیریت شده را بر روی ابر هدف قرار می دهیم ، به طور مداوم قابلیت های مدیریت عملکرد و نگهداری را بهبود می بخشیم ، گسترش الاستیک هوشمندانه و انقباض و خدمات نظارت و هشدار را تقویت می کنیم تا اطمینان حاصل شود که مشتریان می توانند در فرآیند استفاده خدمات پایدار و کارآمد کسب کنند. ، و هزینه توسعه را کاهش دهید. علاوه بر این ، Alibaba Cloud برخی از ویژگی های جدید را بر اساس هسته ES ایجاد کرده است. به عنوان مثال: پشتیبانی از خدمات نمایه سازی ساخت و ساز برای دستیابی به شتاب نوشتن. از طریق موتور ذخیره سازی خود توسعه یافته OpenStore ، برای کمک به مشتریان در مورد داده های عظیم ، هزینه های ذخیره سازی ما را کاهش می دهد.

2022: انتشار سرویس بدون سرور ، برای کمک به مشتریان کوچک و متوسط ​​و مشتریان بزرگ در مورد مقادیر زیادی از داده ها برای کاهش 50 ٪ هزینه ها ، بهینه سازی تخصیص منابع.

2023: محصولات Alibaba Cloud به طور کامل با شروع نسخه 8.x وارد زمینه جستجوی AI می شوند. قابلیت جستجوی بردار به طور مداوم افزایش یافته است. ویژگی های توانایی نیز به طور مداوم افزایش یافته است.

2.2 تکامل برنامه خود جستجوی:

2008: Alibaba Cloud شروع به جستجوی خود یک موتور منبع باز داخلی Havenask کرد ، همچنین تاریخچه حمایت ما از Taobao ، Tmall است ، از جمله دو یازده داخلی داخلی بسیاری از این همزمانی بیشتر ، سناریوهای شدیدتر از یک موتور جستجو.

2014: Alibaba Cloud برای کشف تجاری خود در ابر یکی پس از دیگری رفت. سناریو به عنوان اصلی برای کمک به ساخت و ساز در دوره ، برای کمک به مشتریان در ساخت سناریوهای جستجوی هوشمند ، برای ارائه برخی از الگوهای صنعت و برنامه های شخصی. و همچنین در تجارت الکترونیکی ، آموزش محتوا ، بازی ها و سایر صنایع برای انجام برخی از برنامه های شخصی و تقویت تأثیر.

2023: پس از ورود به دوران مدل های بزرگ زبان ، Havenask همچنین اولین محصول هوشمند پرسش و پاسخ یکپارچه در چین و همچنین محصولات پارچه ای چند حالته است. تا امروز ، Alibaba Cloud به طور مداوم قابلیت های جستجوی RAG و AI را بر اساس تجمع عمق داخلی بهینه می کند.

2.3 تمرکز اصلی محصولات جستجو:

از گذشته تا به امروز ، و حتی به آینده ، نگرانی های اصلی محصولات جستجو هنوز هم در سه حوزه اصلی بهینه سازی می چرخد:

هزینه:این همچنین ممکن است نگرانی بسیار شخصی بسیاری از مشتریان باشد. از آنجا که در دوره مدل های بزرگ زبان ، ما تعداد زیادی از این منبع را داریم که عمدتاً بر اساس GPU برای تکمیل GPU به خودی خود نسبتاً گران است ، بنابراین چگونگی کمک به مشتریان برای کاهش هزینه ها ، تکامل بعدی کل محصول مهم است جهت

عملکرد:این عمدتا دو نکته است ، یکی سرعت نوشتن و پردازش داده های عظیم AI. یکی سرعت پاسخ به نمایش داده های آنلاین است. این دو سرعت باید عملکرد تجربه خوب چنین الزامی را درک کنند ، اما همچنین محصولات ابری Alibaba را نیز به شما در حل یک مشکل کمک می کنند.

اثر:Alibaba Cloud و بسیاری از مشتریان مبادلات آنلاین یا آفلاین انجام داده اند. مشتریان برخی از سناریوها را دارند که در آن توانایی تعاملی هوش مصنوعی را می خواهند ، اما همچنین می خواهند اطمینان حاصل کنند که نتایج 100 درصد دقیق است ، و آنها نمی توانند هیچ توهم یک مدل بزرگ را معرفی کنند ، و آنها نمی توانند اجازه دهند مدل بزرگ انجام دهد ساخت ما لینک جستجو را معرفی می کنیم و تحت ضمانت صحت ، ما می توانیم از توانایی هوش مصنوعی در انجام تعامل کامل استفاده کنیم. در مورد اثر خاص بهینه سازی به شرح زیر است:

Alibaba Cloud AI Search Open Platform پنج محصول مبتنی بر سناریو را ارائه می دهد ، از جمله نسخه Q&A هوشمند LLM ، نسخه بدون سرور بازیابی ، نسخه الگوریتم صنعت ، نسخه بازیابی بردار و نسخه بازیابی گراف. لایه پایین بر اساس تعداد بسیار زیادی از موتورهای جستجوی منبع باز ، موتورهایی از جمله نسخه سازمانی ElastCsearch ، موتور خود Alibaba Havenask و Milvus و غیره است. از طریق این محصولات ، کاربران قادر به تحقق یک راه حل جستجوی پایان به پایان هستند تا به سرعت اطلاعات مورد نیاز خود را بدست آورند.

در حال حاضر ، جستجوی Alibaba Cloud AI تمام قابلیت های جستجوی هوش مصنوعی را همانطور که در شکل زیر نشان داده شده است ، در اختیار مشتریان قرار می دهد:

3.1 Alibaba Cloud AI جستجو Open Platform Open Platform Open

AI Search Open Platform ، به عنوان یک محصول پرچمدار تیم جستجوی ابری Alibaba ، میوه ای رسوب شده بیش از 20 سال تجربه است ، که تقریباً تمام خدماتی را شامل می شود که می تواند در همه جنبه های زمینه جستجوی Alibaba Cloud AI مورد استفاده قرار گیرد ، با هدف قابلیت های جستجوی قدرتمند را در اختیار کاربران قرار دهید.

برای مشتریانی که با توسعه آشنا هستند ، با استفاده از تماس های API پلتفرم می توانند به انعطاف پذیری و سرعت بیشتری برسند. و برای مشتریانی که می خواهند به سرعت خدمات را ارائه دهند ، Alibaba Cloud محصولات مبتنی بر سناریو را بر اساس بازخورد ارائه می دهد. این محصولات برای سناریوهای مختلف تجاری طبقه بندی و توسعه می یابند و برای هر سناریو یک نسخه محصول مربوطه وجود دارد. کاربران فقط برای دسترسی مستقیم به نتایج مربوطه باید داده ها را در سیستم بنویسند و تقریباً نیازی به نوشتن کد نیست.

3.2 آشنایی با Alibaba Cloud ES نسخه 8.15 ویژگی ها و سناریوهای برنامه

آخرین نسخه 8.15 Alibaba Cloud ES یک نسخه وکتور تقویت شده بر اساس آخرین هسته است. این نسخه عملکرد بیش از پنج برابر در مقایسه با نسخه 8.9 را بهبود می بخشد ، از کمیت داده ها پشتیبانی می کند و می تواند هزینه های ذخیره سازی حافظه را 75 ٪ کاهش دهد. علاوه بر این ، این نسخه به طور بومی از جستجوی بردار بدون نیاز به افزونه ها پشتیبانی می کند و از الگوریتم مرتب سازی همجوشی چند طرفه پشتیبانی می کند ، که باعث بهبود اثر همجوشی جستجوی بردار و نتایج جستجوی سنتی می شود. این نسخه همچنین از ادغام یکپارچه با سیستم عامل باز AI Search Open پشتیبانی می کند.

از نظر سناریوهای جستجو (RAG) ، ES Alibaba Cloud می تواند به طور گسترده ای در سناریوهای زیر مورد استفاده قرار گیرد:

خدمات مشتری هوشمند: از طریق پردازش زبان طبیعی ، خدمات مشتری هوشمند می تواند به سرعت به پرس و جوهای مشتری پاسخ داده و اطلاعات دقیقی را ارائه دهد. به عنوان مثال ، مشتری می تواند در مورد خط مشی بازپرداخت یا وضعیت تحویل صریح سؤال کند ، و سیستم می تواند فوراً پاسخ های مربوطه را برای بهبود رضایت مشتری ارائه دهد.

بازگرداندن داده های بزرگ: شرکت ها می توانند از فناوری جستجوی هوش مصنوعی برای ساختن یک پایگاه دانش داخلی استفاده کنند تا به کارکنان کمک کنند تا به سرعت اطلاعات مورد نیاز خود را پیدا کنند. این رویکرد نه تنها باعث افزایش کارآیی کار می شود ، بلکه باعث اشتراک دانش می شود.

جستجوی بردار: در سیستم عامل های تجارت الکترونیکی ، کاربران می توانند از طریق جستجوی هوش مصنوعی توصیه های محصول شخصی را دریافت کنند. این سیستم قادر به ارائه پیشنهادات دقیق محصول بر اساس رفتار و ترجیحات تاریخی کاربر است و میزان تبدیل را افزایش می دهد.

پرسش و پاسخ هوشمند: در امور مالی و سایر صنایع ، فناوری جستجوی هوش مصنوعی می تواند نمایش داده های پیچیده را اداره کند ، کاربران می توانند سؤالاتی از قبیل “نحوه درخواست برای رایانه رومیزی” را بپرسند ، این سیستم مبتنی بر داده های تاریخی به شکل یک جدول برای خروج از نتایج مربوطه خواهد بود. این توانایی به کاربران امکان می دهد داده ها را بطور شهودی تر مقایسه و تجزیه و تحلیل کنند ، و از تصمیمات دقیق تر سرمایه گذاری پشتیبانی می کنند.

4.1 یک راه حل کامل برای ساختن یک سیستم RAG بر اساس Elastisearch Cloud Alibaba

این طرح با استفاده از خدمات مدل سازی ارائه شده توسط Alibaba Cloud Elasticsearch و AI Search Open Platform ، نحوه ساخت یک سیستم پارچه ای کامل (بازیابی تولید شده) را نشان می دهد.

اول ، منابع داده مشتری (به عنوان مثال ، PDF ، اسناد Word) به سیستم وارد می شوند و اطلاعات توسط خدمات تجزیه و تحلیل اسناد شناخته می شوند و استخراج می شوند ، و به دنبال آن برش و بردار اسناد و در نهایت این داده های بردار در Alibaba Cloud ذخیره می شوند ES برای ساخت شاخص.

نوشتن داده های آفلاین عمدتاً شامل مشتریانی است که اسناد را وارد می کنند (به عنوان مثال ، Word ، PPT ، PDF) به پلت فرم باز جستجوی هوش مصنوعی و شناخت و استخراج آنها با تماس با سرویس تجزیه و تحلیل سند. برای اسناد طولانی ، سیستم برش داده می شود ، مانند استفاده از زیرنویس ها یا زیرنویس ها و سایر سازه ها برای برش ساختار معنایی یا اسناد. سپس ، متن خرد شده به بردارهای متراکم یا بردارهای پراکنده تبدیل می شود و در Alibaba Cloud ES برای ساخت شاخص ها ، تکمیل ساخت فهرست های متن اصلی و وکتور متراکم و شاخص های داده های پراکنده ذخیره می شود.

هنگام پرس و جو به صورت آنلاین ، کاربر یک سؤال را مطرح می کند ، سرویس داخلی سؤال مشتری را درک و گسترش می دهد ، سپس سرویس درک پرس و جو برای تعیین هدف سؤال و ایجاد چندین نوع سؤال احتمالی معرفی می شود. سپس ، مشکل به داده های بردار تبدیل می شود ، شاخص ها ساخته می شوند ، و فراخوان چند برابر برای بازگشت قطعات دانش N Top N انجام می شود. پس از آن ، پس از تنظیم مجدد مدل ، آن را به روش مهندسی سریع برای پردازش تجمع در مدل بزرگتر ادغام می کند تا پاسخ نهایی مشتری را تشکیل دهد.

علاوه بر این ، با نسخه 8.15 Alibaba Cloud ES ، می توان با استفاده از API تأثیرگذاری ، مدل های جستجوی معنایی AI ایجاد شد. این تظاهرات شامل مراحل مانند انتخاب یک نسخه تجاری عمومی ، پیکربندی کنترل تجسم ، تنظیم دسترسی به لیست سفید ، انتخاب یک سرویس مدل ، به دست آوردن اطلاعات پیکربندی و ایجاد و اشکال زدایی مدل در ES است. این فرآیند نشان می دهد که چگونه می توان یکپارچه خدمات مدل Alibaba Cloud AI را ادغام کرد ، آستانه استفاده از مدل را کاهش داد و عملکردهایی مانند جستجوی معنایی را تحقق بخشید.

4.2 ارزیابی اثربخشی و بهینه سازی

برای اطمینان از اثربخشی راه حل جستجوی AI ، Alibaba Cloud همچنین یک سرویس ارزیابی اثر کامل را ارائه می دهد. این پلتفرم می تواند به مشتریان کمک کند تا ارتباط ، نرخ توهم و اعتبار پاسخ را به روشی سه بعدی ارزیابی کنند. این مکانیسم ارزیابی نه تنها از آزمون اثر یک سرویس واحد پشتیبانی می کند ، بلکه از ارزیابی هماهنگ شده خدمات متعدد نیز پشتیبانی می کند ، که باعث بهبود کارایی تصمیم گیری توسعه دهندگان می شود.

از طریق این ارزیابی ها ، شرکت ها قادر به شناسایی مشکلات و بهینه سازی به موقع برای اطمینان از ثبات و صحت خدمات جستجوی AI هستند ، بنابراین رضایت کاربر را بهبود می بخشند.

Alibaba Cloud AI Search Solution نسخه 8.15 ستون خدمات AI Service Center و عملکرد مدیریت مدل را بر اساس اصلی اضافه می کند ، از ایجاد یک کلیک فضای پلت فرم باز AI و API پشتیبانی می کند و پشتیبانی از تمام عملکردهای نسخه 8.13 را حفظ می کند. 8.15 هسته همچنین بر توانایی بردار و قابلیت جستجوی هوش مصنوعی خود تأکید می کند ، و همچنین از سناریوهای اصلی برنامه مانند ورود به سیستم پشتیبانی می کند ، که برای مشتریان با نیاز به کاهش هزینه ها مناسب است.

از نظر صورتحساب ، انعطاف پذیر از بسته های پرداخت در هر حجم یا سالانه و ماهانه پشتیبانی می کند و پلتفرم هوش مصنوعی به صورت هر تماس صورتحساب می شود و اولین تماس رایگان را ارائه می دهد.

علاوه بر این ، Alibaba Cloud فعالیت های تبلیغاتی عمده ای را برای کمک به شرکت ها در توسعه آغاز کرده است.

Alibaba Cloud Elacticsearch نسخه 8.15 مشخصات کامل 50 ٪ تخفیف در مورد خریدهای جدید پرداخت سالانه پرداخت!

Alibaba Cloud Elacticsearch Non8.15 نسخه ، مشخصات کامل 2 هسته ای/4-CORE خرید جدید پرداخت سالانه از 50 ٪ تخفیف!