استخراج کننده هوش مکالمه – انجمن DEV

این ارسالی برای چالش هوش مصنوعی Cloudflare است.

چیزی که من ساختم

را ماینر هوش محاوره اییک راه حل تخصصی مبتنی بر هوش مصنوعی که برای انجام وظایف مختلف داده کاوی بر روی مکالمات از پیش ضبط شده طراحی شده است. در حال حاضر، این راه حل ویدیوهای YouTube را هدف قرار می دهد. با این حال، به راحتی می‌توان مکالمات ضبط شده را در هر قالبی تنظیم کرد یا مدیریت کرد.

در زیر لیستی از اقداماتی است که می توان به عنوان بخشی از استخراج کننده هوش مکالمه انجام داد.

1. رونوشت دریافت کنید
2. دریافت خلاصه
3. دریافت کلمات کلیدی
4. دریافت موضوعات
5. موارد اقدام را دریافت کنید
6. احساسات را دریافت کنید
7. دریافت توصیه ها
8. روندها را دریافت کنید
9. دریافت جنبه ها
10. دریافت بنر

این Data Miner هوش محاوره ای به همه این امکان را می دهد که به دلیل ماژول ها یا ویژگی های ذکر شده در بالا، درک عمیقی از محتوای خاص داشته باشند، که به انسان کمک می کند تا به راحتی عملیات مورد نیاز را انجام دهد و بینش های مربوطه را در کوتاه ترین زمان به دست آورد.

معماری

نسخه ی نمایشی

نسخه ی نمایشی ماینر هوش محاوره ای

اول از همه، شما باید روی “Transcript” کلیک کنید تا رونوشت ویدیوی YouTube را دریافت کنید. پس از آن، تمام ویژگی های محصول دیگر مانند کلمات کلیدی، جنبه ها، روندها، موضوعات، توصیه ها و غیره فعال می شوند.

رونوشت ها را دریافت کنید

موارد اقدام را دریافت کنید

دریافت جنبه ها

دریافت کلمات کلیدی

دریافت توصیه ها

احساسات را دریافت کنید

دریافت خلاصه

دریافت موضوعات

روندها را دریافت کنید

دریافت بنر

کد من

گفتگو-هوش-منبع

سفر

سفر کلی Cloudflare AI شگفت انگیز بود. من واقعاً به ساختن محصول هوش مصنوعی کارگر “Serverless” در Cloudflare افتخار می کنم. با تشکر از افرادی که با استفاده از تعداد زیادی مدل زبان بزرگ (LLM) یک پلتفرم با کاربرد آسان ایجاد کردند. جالب ترین چیزی که من یاد گرفتم مکانیسم ارتباط آسان با LLM های منبع باز است. چه مدل‌های Hugging Face یا سایر LLM‌های میزبان منبع باز که Cloudflare AI ارائه کرد به من در توسعه محصول مبتنی بر LLM در کمترین زمان کمک کرد. به خصوص، سهولت ادغام و آزمایش با چندین مدل چیزی است که واقعاً به جامعه توسعه کمک می کند تا با مدل های مختلف آزمایش یا تجربه کند.

این چیزی است که امیدوارم در آینده انجام دهم –

• با ثبت نام، ورود به سیستم و غیره یک محصول کامل بسازید.
• توانایی کاربران نهایی برای آپلود رسانه و سپس انجام داده کاوی در مقابل آن.
• تجزیه و تحلیل یا تجزیه و تحلیل داده یا استخراج بیشتر انجام دهید.
• ادغام با گزارش های BI.
• داشبوردهای چندگانه مبتنی بر نقش کاربر را برای کاربران مختلف محصول ارائه دهید.
• پرداختن به رونوشت معقول یا عظیم نیاز به یک LLM با پنجره زمینه 200 هزار یا بیشتر دارد. حداقل برای خلاصه و سایر ویژگی های کلیدی این محصول. تحقیق و توسعه بیشتری باید انجام شود تا به طور موثر ویژگی های محصول را مدیریت کند و همچنین محدودیت های LLM را در نظر بگیرد.

چند مدل و/یا انواع کار سه گانه

این محصول از چندین مدل هوش مصنوعی Cloudflare استفاده می کند.

• lama-2-7b-chat-fp16 – مدل متن تولیدی با دقت کامل (fp16) با 7 میلیارد پارامتر از متا. این برای هدف “خلاصه” استفاده می شود.
• lama-2-7b-chat-int8 مدل متنی تولیدی کوانتیزه (int8) با 7 میلیارد پارامتر از متا. اکثریت داده کاوی مانند: کلمات کلیدی، جنبه ها، روندها، موضوعات، توصیه ها و غیره از این مدل استفاده می کنند.
• m2m100-1.2b مدل رمزگذار-رمزگشای چند زبانه (seq-to-seq) که برای ترجمه چند زبانه Many-to-Many آموزش دیده است. این برای اهداف ترجمه زبان استفاده می شود. ترجمه رونوشت با استفاده از این مدل انجام می شود.
• stable-diffusion-xl-base-1.0 مدل تولید متن به تصویر مبتنی بر انتشار توسط Stability AI. تصاویر را بر اساس درخواست های متنی تولید و اصلاح می کند. این مدل به عنوان بخشی از نسل “Banner” استفاده می شود. متن یا محتوای اولیه با مفهوم خلاصه سازی رونوشت ایجاد می شود. بعداً خلاصه به این مدل برای تولید تصویر بنر داده می شود.

منابع

این محصول بدون مراجعه به منابع در دسترس عموم تکمیل نمی شد.

1. https://js2ts.com/
2. https://github.com/0x6a69616e/youtube-transcript
3. https://github.com/cloudflare/templates
4. https://github.com/cloudflare/templates/blob/main/worker-websocket