فناوری بزرگ مشتریان خود را می کشد

اخیراً، دنیس شوبرت به‌روزرسانی آتشینی درباره بحران در پروژه «دیاسپورا*» منتشر کرده است. زیرساخت شبکه پلتفرم به دلیل ترافیک سنگین در حال فروپاشی بود. اما چه چیزی باعث این اضافه بار شد؟ به طرز تکان دهنده، 70 درصد درخواست‌ها از ربات‌های LLM (مدل زبان بزرگ) که توسط شرکت‌های بزرگ فناوری اداره می‌شوند، بوده است.. این ربات ها نادیده گرفته شدند robots.txt دستورالعمل‌ها، بی‌وقفه تمام داده‌هایی را که می‌توانستند به دست بیاورند، خراش می‌دهند.

دنیس این را کشف کرد ChatGPT و Amazon ربات ها حتی تا آنجا پیش رفتند که خراشیده شوند کل تاریخ ویرایش صفحات ویکی– هر بازبینی او نتوانست بپرسد:

«آنها برای رسیدن به چه چیزی تلاش می کنند؟ آیا آنها در حال تجزیه و تحلیل چگونگی تکامل متن هستند؟

این انباشت داده به طور قابل توجهی سرورهای دیاسپورا* را تحت فشار قرار داد و پلتفرم را برای کاربران قانونی کند کرد. دنیس چندین اقدام متقابل را امتحان کرد:

1. به روز رسانی robots.txt: بی فایده است، زیرا روبات ها آن را نادیده گرفتند.
2. محدود کننده نرخ: شکست خورد زیرا ربات ها آدرس های IP خود را چرخانده اند.
3. مسدود کردن عوامل کاربر: بی اثر، زیرا ربات ها خود را به عنوان مرورگرهای معمولی پنهان کردند.

دنیس که ناامید شده بود، وضعیت را به الف تشبیه کرد حمله DDoS در کل اینترنت.

چرا فناوری بزرگ به داده های ما نیاز دارد؟

پاسخ در نهفته است اشتهای سیری ناپذیر هوش مصنوعی برای داده های آموزشی.

مجموعه داده‌های باکیفیت ستون فقرات مدل‌های هوش مصنوعی هستند و این صنعت در حال اتمام مواد تازه برای آموزش است. همانطور که مهندس OpenAI جیمز بتکر یک بار نوشت:

از آنجایی که من این ساعت‌ها را صرف مشاهده اثرات بهینه‌سازی پیکربندی‌های مدل و هایپرپارامترهای مختلف کرده‌ام، چیزی که مرا شگفت‌زده کرده است شباهت‌های بین تمام اجراهای آموزشی است.

برای من روشن شده است که این مدل ها واقعاً مجموعه داده های خود را به میزان باورنکردنی تقریب می کنند.

برای ماندن در رقابت تسلیحاتی هوش مصنوعی، غول های فناوری به شدت داده ها را از هر گوشه وب حذف می کنند – وبلاگ های شخصی، ویکی های مستقل و پروژه های کوچک. آنها فقط خراش نمی دهند. آنها اینترنت را خالی کنید.

آیا ما می توانیم مبارزه کنیم؟

Big Tech تیم هایی از متخصصان دارد که بین اسکراپینگ وب و تجربه کاربر تعادل ایجاد می کنند، اما وب سایت های کوچک و پروژه های مستقل فاقد این منابع هستند. برای افراد، این یک نبرد دشوار است.

دنیس دو روش غیر متعارف را برای دفع ربات ها پیشنهاد کرد:

1. استراتژی Tarpit: متن تصادفی بی معنی را برای فریب ربات ها برای هدر دادن منابع در داده های نامربوط ایجاد کنید.
2. تله های جاوا اسکریپت: درخواست‌های شناسایی‌شده توسط ربات را با محتوای سنگین جاوا اسکریپت ارائه می‌کند، اسکریپت‌هایی را جاسازی می‌کند که فقط ربات‌ها اجرا می‌کنند، مانند کد استخراج کریپتو.

اگرچه این رویکردها ممکن است کارساز باشند، اما از نظر فنی گران هستند.

اینترنت صفر کلیک

هدف نهایی Big Tech چیست؟

به کاربران را در داخل اکوسیستم خود به دام بیندازند. با استفاده از هوش مصنوعی برای تولید «بهترین محتوا»، نیاز کاربران به بازدید از وب‌سایت‌های دیگر را از بین می‌برند. دیگر نه پیوندهای خروجی، نه کاوش – هوش مصنوعی آنها همه چیز را مستقیماً با تبلیغات یکپارچه ارائه می دهد.

برای سازندگان فردی، این به این معنی است:

• سئو دیگر مهم نیست.
• محتوای با کیفیت بالا به دست کاربران نمی رسد.
• درآمد خشک می شود

کار شما در این واقعیت جدید چیزی بیش از سوخت برای موتورهای داده Big Tech است.

زوال اجتناب ناپذیر وب باز

Big Tech در حال تغییر شکل اینترنت است و از داده ها بهره برداری می کند و در عین حال ارزش سازندگان مستقل را از بین می برد. مقابله با آن برای وب سایت های کوچک تقریبا غیرممکن است. این تغییر در حال حاضر اتفاق می افتد و غیر قابل برگشت است. از قضا، وب باز در حال مرگ است و شرکت هایی که آن را ساخته اند در حال نابودی آن هستند.

مراجع

این نسخه لحن اصلی را حفظ می‌کند و در عین حال با سبک مکالمه مختصر و مدیوم همسو می‌شود. این ساختار برای خوانایی است و به طور منطقی جریان می یابد تا خوانندگان را درگیر کند.

• لینک طولانی مدت
• اگر وبلاگ من را مفید می دانید، لطفاً از طریق RSS مشترک من شوید
• یا من را در X دنبال کنید
• اگر حساب کاربری مدیوم دارید، من را در آنجا دنبال کنید. مقالات من در اسرع وقت در آنجا منتشر خواهد شد.