فیس بوک والدین متا به نظر می رسد به اندازه گوگل و مایکروسافت در زمینه هوش مصنوعی (AI) صعودی باشد. این شرکت در حال رونمایی، آزمایش و منبع باز آن بوده است شما یک مدل داریدس در جدیدترین توسعه، این شرکت یک مدل جدید هوش مصنوعی منبع باز به نام متا را معرفی کرده است ImageBind، که با ترکیب حواس مختلف – به طور دقیق شش – برای ایجاد تجربیات.
مارک زاکربرگ، مدیر عامل متا، این خبر را در یک کانال اینستاگرامی اعلام کرد و همچنین ویدیویی را به اشتراک گذاشت که عملکرد این مدل را توضیح می دهد.
«امروز ما ImageBind را با منبع باز ارائه کردیم، یک مدل هوش مصنوعی جدید که حس های مختلف را درست مانند مردم ترکیب می کند. تصاویر، ویدئو، صدا، عمق، حرارت و حرکت فضایی را درک می کند. برای نمونه هایی از کارهایی که اکنون می تواند انجام دهد، ویدیو را بررسی کنید، و من مشتاقانه منتظرم ببینم همه شما با آن چه می سازید.» زاکربرگ گفت.
Meta ImageBind چگونه کار می کند؟
یک پروژه تحقیقاتی در این مرحله، این پروژه می تواند از هوش مصنوعی مولد برای ایجاد تجربیات همه جانبه و چندحسی استفاده کند. مدل ImageBind AI می تواند شش نوع اطلاعات را متصل کند: متن، تصویر/ویدئو، صدا، عمق (3D)، حرارتی (تابش مادون قرمز) و واحدهای اندازه گیری اینرسی (IMU). واحدهای حرارتی و اینرسی می توانند حرکت و موقعیت را محاسبه کنند.
این شرکت می‌گوید: «ImageBind ماشین‌ها را به درک جامعی مجهز می‌کند که اشیاء موجود در عکس را با نحوه صدا، شکل سه‌بعدی آنها، میزان گرم یا سرد بودن آنها و نحوه حرکت آنها مرتبط می‌کند.
برای مثال، اگر تصویری از ببر و صدای یک آبشار را به مدل بدهید، این داده‌های ورودی را با هم ترکیب می‌کند تا یک ویدیو با هر دو عنصر بسازد. اگر ورودی مدلی مانند «موجود کوچک» (متن)، «جنگل بارانی» (تصویر)، «باران» (صوتی) و عکسی از یک پرنده (IMU) بدهید، اینها را برای ارائه یک ویدیو ترکیب می‌کند.
«ImageBind بخشی از تلاش‌های متا برای ایجاد سیستم‌های هوش مصنوعی چندوجهی است که از همه انواع داده‌های ممکن در اطراف خود یاد می‌گیرند. با افزایش تعداد مدالیته‌ها، ImageBind دریچه‌هایی را برای محققان باز می‌کند تا سعی کنند سیستم‌های جدید و جامعی را توسعه دهند، مانند ترکیب حسگرهای سه بعدی و IMU برای طراحی یا تجربه جهان‌های مجازی فراگیر.
متا گفت که ImageBind همچنین می تواند راهی برای کاوش خاطرات ارائه دهد – جستجوی تصاویر، فیلم ها، فایل های صوتی یا پیام های متنی با استفاده از ترکیبی از متن، صدا و تصویر.
فیس بوکتوییترلینکدین
