Summarize this content to 400 words in Persian Lang
در ابتدا در Tying Shoelaces منتشر شد
من چندین ماه پیش تصمیم گرفتم تا عمیقاً ابزارهای هوش مصنوعی مدرن را درک کنم و با آن درگیر باشم که در حال تحول (یا حداقل هیجان‌انگیز کردن!) دنیای توسعه وب آنگونه که ما می‌شناسیم است. من یک هدف واحد داشتم: ساختن یک سیستم از لحاظ نظری مقیاس پذیر که بتواند از این انبوهی از فناوری های جدید استفاده کند. و یکی که من را در این روند ورشکست نمی کند.
من یک مورد استفاده را انتخاب کردم که مورد علاقه من بود و احساس می کردم برای استفاده از هوش مصنوعی Generative آماده است. این دنیای حریم خصوصی داده ها است. من ابزاری ساختم که می تواند هر URL وب عمومی را اسکن کند، پیمایش کند و تمام درخواست های شبکه را ثبت کند. سپس این درخواست ها را تجزیه و تحلیل می کنیم و اطلاعات را با استفاده از هوش مصنوعی Generative پردازش می کنیم.
Gen AI یک مورد استفاده معتبر است زیرا حریم خصوصی داده ها به این معنا پیچیده است که درک معنی و پیامدهای انطباق دشوار است. من معتقدم که هوش مصنوعی Generative بیشتر به عنوان یک ترکیب کننده داده و یک کاهش دهنده مفید است. بسیاری از ناامیدی فعلی ناشی از استفاده اشتباه از LLMS است که شامل وارد کردن قطعه ای از داده ها و انتظار از ژنرال هوش مصنوعی برای تولید انبوه طلا است. به ناچار زباله ها را بیرون می ریزد. اما اگر غلظت بالایی از داده‌های با کیفیت را وارد کنید و از ژنرال هوش مصنوعی بخواهید که این داده‌ها را به یک چیز مفید تبدیل کند، آن وقت است که خروجی ارزشمندی دریافت می‌کنید.
بنابراین، من می خواهم Gen AI چه کاری انجام دهد؟ واقعاً ساده است، به عنوان کسی که نزدیک به 20 سال است که توسعه وب انجام می دهد، هنوز نمی توانم به سؤالات به ظاهر بی اهمیت پاسخ دهم:
آیا برای ردیابی اطلاعات کاربر به مجوز نیاز دارم؟ کدام انواع؟ به هر حال داده های «کاربر» چیست؟ یک آدرس IP؟من آن PII را ذخیره نمی کنم، بنابراین قانونی است، درست است؟ درست؟چه زمانی می توانم کوکی ها را تنظیم کنم؟اما من از یک کوکی برای ردیابی رضایت کوکی خود استفاده می کنم. این مجاز است، حدس می زنم؟ اما به هر حال یک کوکی “عملکردی” چیست؟چه نوع ردیابی کاربران با رضایت و بدون رضایت مجاز است؟چگونه نیاز به درخواست رضایت دارم؟آیا می توانم رضایت را ذخیره کنم؟ چگونه حتی در رضایت منفی پافشاری کنم؟تفاوت رضایت برای ردیابی و کوکی ها چیست؟ آیا به هر دو نیاز دارم؟ این یک دکمه است یا دو؟عدم رعایت رضایت چه پیامدهایی دارد؟چگونه این بر اساس جغرافیا متفاوت است؟آیا Google Analytics برای استفاده در اروپا قانونی است؟صادقانه بگویم، بسیاری از سردرگمی‌ها در موارد فوق به این دلیل به وجود می‌آیند که رضایت حفظ حریم خصوصی داده‌ها یک منطقه خاکستری با فضایی برای تفسیر است. تفاوت در قوانین بین جغرافیاهای مختلف به این کمک نمی کند. اما نکته کلیدی این است که GPT-4o/Llama 3 در تفسیر حجم وسیعی از داده ها و توضیح آنها با زبان ساده برتری دارد. عالی، ممنون
بنابراین، من تصمیم گرفتم تا آنجایی که می‌توانم شواهد محکمی در مورد آنچه واقعاً در یک پیمایش ساده در یک سند عمومی (یعنی وب‌سایت!) اتفاق می‌افتد جمع‌آوری کنم. ما این شواهد را با درک خود از قوانین ترسیم می کنیم و به سیستمی می رسیم که می تواند جریان پردازش داده هر وب سایت عمومی را آزمایش کند.
ووووو اما شما برای کوکی ها اینجا نیستید، بلکه برای هوش مصنوعی اینجا هستید…
یک سیستم کوچک، یک سطل بار هوش مصنوعی.
OpenAI – GPT-4o / DALL-E 3 ما از این برای تجزیه و تحلیل شرکت هایی استفاده می کنیم که پردازشگر نهایی داده های دریافت شده هستند.Groq – Llama3-70b-8192 ما از این برای تجزیه و تحلیل درخواست هایی استفاده می کنیم که در آن داده ها از سند عمومی منتقل می شوند.Grok – https://developers.x.ai/ ما از این برای تجزیه و تحلیل احساسات و روندها برای اطلاع از استراتژی تولید محتوا استفاده می کنیم.Brave API – https://brave.com/search/api/ ما از این برای تحقیق در مورد اطلاعات عمومی در مورد بازیگران شناسایی شده در سیستم خود استفاده می کنیم.جستجوی Algoria – https://www.algolia.com/ ما از این برای نگاشت هوشمندانه داده های بدون ساختار در یک پایگاه داده SQL دوست داشتنی استفاده می کنیم.گفتی 5 API؟پنج محصول مختلف هوش مصنوعی؟
تجربه من با این مش AI چگونه بود؟ خیلی خیلی سخت…
نزدیک بود مرا بشکند بنابراین، چگونه به پلتفرمی رسیدیم که به هر حال دارای پنج ادغام هوش مصنوعی مختلف است؟ آزمایش، تکرار، و کمی دیوانگی. این یک الگو است. اما زمانی که سیستمی را که ایجاد کرده‌ایم باز می‌کنیم، هر یک از اجزای آن معنا پیدا می‌کند.
اولین معامله Groq در مقابل ChatGPT است. ChatGPT، البته، محصول شاخص OpenAI، اولین کرم از قوطی ضرب المثل است. و مزیت حرکت اول آنها نشان می دهد. API و مدل‌های آنها اصلاح‌تر شده‌اند و این از تفاوت کیفیت خروجی مشخص است. بنابراین من از ChatGPT برای محتوای طولانی استفاده می کنم و کیفیت نتایج غیرقابل انکار است.
ولی.
گران است. چندین بار در هفته با عرق از خواب بیدار می شدم و نگران بودم که چه اتفاقی می افتد اگر کسی، هر کسی، واقعاً از این پلت فرمی که من ساخته بودم استفاده کند. یک آزمایش عالی، اما آزمایشی که حاضرم خودم را به خاطر آن ورشکست کنم؟ محتمل نیست
گروک همه چیز را تغییر داد. API آنها 100 برابر کمتر هزینه دارد. منصفانه است که بگویم اگر Groq را کشف نکرده بودم، احتمالاً هرگز این وبلاگ را منتشر نمی کردم، صرفاً به دلیل ترس از هزینه. کیفیت GPT-4o نسبت به لاما 3 قابل توجه است. اما قیمت Llama 3 در Groq به معنای واقعی کلمه 1٪ قیمت است.
اگر بخواهیم از محتوایی با بالاترین کیفیت استفاده کنیم، از Open AI استفاده می کنم. من زمانی که نیاز به پردازش اطلاعات زیادی دارم از Groq استفاده می کنم.
من یک کلید سوئیچ ساخته ام تا در لحظه همه چیز را به Groq تبدیل کنم. این سوئیچ تفاوت بین امکان راه اندازی یا عدم راه اندازی است.
gpt-4o – 5.00 دلار / 15.00 دلار به ازای هر 1 میلیون توکن.Llama3-7b – 0.05 دلار/0.08 دلار (در هر 1 میلیون توکن، ورودی/خروجی)
بنابراین تعداد هوش مصنوعی ما در بیرون از در دو است…
Brave AI Search از کجا می آید؟
شما به راحتی می توانید این را با هوش مصنوعی Perplexity یا چیزی مشابه جایگزین کنید. من از ارائه API بسیار تحت تاثیر قرار گرفتم. وقتی داشتم خزنده و محقق SERP خودم را می‌ساختم، Brave متوجه شد که به پشته راه یافته است. مال من آشغال بود و زمان زیادی می برد، بریو عالی بود. مال من 50 درصد مواقع کار می کرد. Brave’s 95%. برای اینکه بتوانیم محتوای باکیفیت برای مردم تولید کنیم، باید چندین پازل را حل کنیم. ما نیاز به تحقیق کامل داریم و همچنین باید بدانیم چه چیزی برای کاربر جالب است.
API جستجوی Brave برای انجام تحقیق در مورد محتوای هوش مصنوعی عالی است. پیوندها و مراجع ارائه می دهد و پیشنهادات پربازدید را به کاربران نشان می دهد تا دنباله خرگوش محتوا را دنبال کنند. بدون تحقیق Brave، نتایج ChatGPT و Groq هرزنامه خواهد بود. این یک هوش مصنوعی فوق العاده است که تحقیقات و داده ها را به هوش مصنوعی ما تغذیه می کند. این یک عبارت 2024 است اگر من تا به حال یکی را شنیده باشم.
سه پایین…
به بحث برانگیزترین انتخاب Grok توسط Twitter (x) یک LLM با تفاوت است. این دارای بازیابی رسانه های اجتماعی داخلی است (من تصور می کنم نوعی RAG اختصاصی دارد). این چگونه کمک می کند؟
این به ما کمک می کند مطالب و موضوعاتی را که پرطرفدار و جدید هستند درک کنیم. بنابراین قبل از تحقیق و تولید محتوا، باید موضوعات داغ را درک کنیم.
من هنوز از قابلیت Grok متقاعد نشده‌ام، اما پتانسیل اتصال به احساسات بلادرنگ و استفاده از آن به عنوان یک استراتژی جستجو و تولید محتوا برای من هیجان‌انگیز است. این یکی را به عنوان آزمایشی قرار دهید. به شما خبر خواهم داد.
بنابراین ما به Algolia می رسیم. چرا ما به جستجوی مبتنی بر هوش مصنوعی در کنار تحقیقات مبتنی بر هوش مصنوعی و هوش مصنوعی مولد خود نیاز داریم؟
این به این بستگی دارد که من چگونه پلتفرم خود را ساختار داده ام. ما بعداً در این مقاله به چگونگی و چرایی آن خواهیم پرداخت، اما برای ساختن یک پلتفرم در سطح جهانی، باید برخی از اصول اولیه را پر کنیم. در الگوی قدیمی من، شما نمی توانید بدون یک CMS در سطح جهانی محتوایی در سطح جهانی داشته باشید. CMS کلاس جهانی به داده های تمیز و ساختاریافته نیاز دارد. SQL.
ما از Algolia برای بافتن و نقشه برداری از محتوای سیستم های مختلف خود استفاده می کنیم. تعریف و محدود کردن خروجی از مدل های تولید متن سخت است (شرکت تشخیص داد که می تواند Shopify، Shopify’s App یا Shop App باشد). دریافت خروجی JSON این روزها کم و بیش پایدار است. اما تبدیل خروجی JSON به SQL با ارجاعات بین انواع محتوا به دلیل ماهیت بدون ساختار تولید متن دشوار است. Algolia این شکاف را با متراکم کردن محتوای “مشابه” به داده های SQL منحصر به فرد که می تواند توسط یک وب سایت مصرف شود، پر می کند.
این کامل نیست. اما کار می کند (95٪ مواقع).
بنابراین ما اینجا هستیم، 5 AI در رونق هایپ جعل شده اند، با یک پلت فرم ساده برای کنترل آنها.
سخت بود.نزدیک بود مرا بشکند
ما از نظری به دغدغه های مهندسی می رویم. فراخوانی زنجیره‌ای AI API برای ایجاد یک محصول قابل تحمل. پس چرا استفاده از هوش مصنوعی اینقدر سخت است؟
اساسا یک دلیل ساده وجود دارد. اینترنت در حال حاضر سریع است. ما انتظار داریم که همه چیز سریع باشد. حتی AWS API Gateway HTTP نیز پس از حداکثر 30 ثانیه زمان پایان درخواست می کند.
اما هوش مصنوعی مولد؟
فقط ایجاد یک تصویر با محتوای تحقیق شده و خروجی می تواند به 5 تماس زنجیره ای با API های مختلف نیاز داشته باشد.
شناسایی محتوا (تحلیل احساسات با گروک)
در مورد محتوا تحقیق کنید (جستجوی هوش مصنوعی با شجاعت)
تولید محتوا (Gen AI w/Llama3/GPT-4o)
ایجاد تصویر (Gen AI w/DALL-E 3)
ذخیره محتوا و تصویر در SQL (Algolia)
محتوای مثال: تجزیه و تحلیل حریم خصوصی داده هاتجار در privacytrek.com
زمانی که APIهای زیربنایی بسیار کند هستند، ساختن سریع چیزی بسیار سخت است. شما در کمتر از یک دقیقه خروجی باکیفیت و قابل اعتماد تولید نخواهید کرد، به خصوص که باید APIهای متفاوتی را به هم ببندید تا چیزی شبیه محتوای با کیفیت بسازید.
کمال گرا در من حاضر نیست برای ارائه نتایج در یک وب سایت اینقدر صبر کند. ما خیلی جلو آمده ایم.
راه حل چیست؟ جریان؟ سوکت های وب؟ فرآیندهای پس زمینه؟ پیچیده است…
من تک تک موارد بالا را امتحان کردم. من از تک تک افراد به دلایل مختلف متنفر بودم. می توانیم در مورد هر کدام یک وبلاگ بنویسیم…
من تقریباً یک هفته وقت صرف ساختن و بهینه سازی یک کارگزار Rabbit MQ کردم تا پلتفرم من بتواند در محتوایی از باطن که مسئول مذاکره با این شبکه APIهای هوش مصنوعی است مشترک شود. من بسیار به خود می بالیدم؛ فوق العاده بود این هم یک آشغال مطلق بود. من آن را حذف کردم. این جمله را می‌دانید که «هر فردی یک کتاب در خود دارد. بیشتر باید آن را آنجا نگه دارند. همین امر در مورد مهندسان نرم افزار و ایده های هوش مصنوعی آنها صدق می کند.
بسیار آسان است که بر روی مماس حرکت کنید و مشکلاتی را که در ابزارهای هوش مصنوعی ذاتی هستند ایجاد کنید. من بارها این کار را انجام دادم تا اینکه با اکراه پذیرفتم که شما نمی توانید یک فیل بدوید، و ما به یک رویکرد متفاوت نیاز داشتیم. شما هم باید. مانند ازدحام اسب و کالسکه در اوایل قرن بیستم، در نهایت مشکلی نخواهد بود. اما تا زمانی که نباشد، هست.
کاربران انتظار تجربه وب سریع دارند. یک پاشیدن هوش مصنوعی فقط صبر را برای مدت طولانی خنثی می کند تا اینکه تجربیات وب خسته کننده و خسته کننده شوند. بنابراین، برای استفاده از هوش مصنوعی در مقیاس، باید قبل از رسیدن کاربر، داده های خود را واکشی کنیم. قانون شماره یک برای استفاده از هوش مصنوعی این است که ارزش را از منطق کسب و کار ما خیلی قبل از ورود کاربر استخراج کنیم.
کلید پادشاهی استفاده از هر کلمه و هر تصویری است. با هر تکه محتوای تولید شده گران قیمت باید مانند طلای ضرب المثل رفتار شود. این به معنای کنترل هوشیارانه هر دو ورودی و خروجی است.
بنابراین من هر درخواست API را ذخیره می‌کنم و در مورد هر تماس API که انجام می‌دهم به طور کامل تحقیق می‌کنم. من تست می‌کنم، تغییر می‌دهم، تکرار می‌کنم، و یاد می‌گیرم تا زمانی که بتوانم ابزار را به میل خود خم کنم.
هزینه هوش مصنوعی $$$با تماس های AI API با احترامی که سزاوار آن هستند رفتار کنید.
هوش مصنوعی بسیار گران است. تصور کنید به ازای هر تماس API که با CMS خود می کنید، 5c پرداخت کنید. من شما را به انجام برخی ریاضیات چوب کبریت در پلت فرم مشاهده پذیری خود دعوت می کنم. فقط به گزارش های هر سیستم نرم افزاری مدرن نگاه کنید، درخواست ها به سیستم های مدرن معمولاً در صدها هزار یا میلیون ها اندازه گیری می شوند.
برای ارزشمند کردن هوش مصنوعی در مقیاس، نمی‌توانیم خروجی آن را گذرا یا زودگذر تلقی کنیم. اولین چیزی که در مورد کار با API های هوش مصنوعی یاد گرفتم ذخیره هر پاسخ، خروجی یا تصویر است. بعدا میشه ازش استفاده کرد و یکی از ویژگی های طعنه آمیز خروجی هوش مصنوعی این است که هرچه بیشتر آن را اصلاح و استفاده مجدد کنید (تراکم)، ارزشمندتر و واقعی تر می شود. فقط مطمئن شوید که بلوک های ساختمان را حفظ می کنیم وگرنه شما به معنای واقعی کلمه هزینه را پرداخت خواهید کرد.
خنده دار است که چگونه پرداختن به سیستم خود شما را به اصول اولیه به عنوان یک مهندس بازمی گرداند. هیچ چیز بیشتر از این که درگیر یک تماس API معیوب باشد که ممکن است به طور تصادفی هزاران دلار هزینه داشته باشد، باعث ترس یک توسعه دهنده نمی شود. هیچ چیز مانند ترس از اینکه یک حلقه تصادفی باعث ورشکستگی من شود، باعث بهینه سازی استراتژی بازگشت API خود نمی شود. صادقانه بگویم، ما باید با APIهای معمولی با همان احترام رفتار کنیم، اما ذخیره سازی، پردازش ارزان و تنبلی این رویکرد را اضافی کرده است.
اصل کار با این APIها این است که با هر خروجی یک LLM با احترام برخورد شود. زمانی را صرف در نظر گرفتن ورودی ها و خروجی ها کنید. Prompt Engineering، RAG و Vector DB ها کلمات کلیدی هستند. اصول بسیار ساده تر هستند. هر سوال یا ورودی به یک سیستم هوش مصنوعی ژنرال برای شما دلار واقعی هزینه دارد. آیا آن ورودی را بهینه کرده اید تا اطمینان حاصل کنید که آنچه بیرون می آید واقعاً ارزشمند است؟ یا اینکه به سادگی به یک دستگاه اسلات خراب می کوبید و پول خود را به بیرون می ریزید؟
من مدت زیادی را صرف ساختن هر درخواست کاربر و سیستم کردم، ورودی ها و خروجی ها را بهینه کردم تا اطمینان حاصل کنم که آنچه از LLM بیرون می آید ارزشمند است. من بیشتر از موفقیتم شکست خوردم. زمان زیادی طول کشید تا بتوانم تصاویری از شرکت‌هایم را که به زیبایی ساخته شده‌اند، دریافت کنم. من روزها سعی کردم از ChatGPT برای ایجاد یک کتابخانه نماد استفاده کنم (ایده بد). هرچه بیشتر با این API ها کار کنید، دیدن کرک ها آسان تر است. بدست آوردن خروجی زباله بسیار آسان است. اگر ورودی را به دقت خودکار و مقیاس نکرده اید، محتمل ترین نتیجه است.
اما هنگامی که ربات آن را درست انجام دهد، واقعاً به چیزی بسیار خاص تبدیل می شود.
از ChatGPT بپرسیدفقط از ChatGPT بپرسید؟
در تجربه من، برعکس آن درست است. این LLM ها اصلاً عمومی نیستند بلکه متخصص هستند. نمی دانم چرا این تعجب آور است. الگوریتم‌های یادگیری ماشین همیشه به این شکل بوده‌اند. ما مدل های تشخیص اشیا برای تشخیص اشیا از تصاویر داریم. ما الگوریتم های استخراج داده های ساختار یافته ای برای استخراج داده ها از متن داریم. ما انتظار نداریم الگوریتم تشخیص شی ما داده های ساختار یافته را از متن استخراج کند، درست است؟ اما این دقیقا همان چیزی است که ما از LLM خود انتظار داریم. یک ربات AGI مافوق بشر که بر همه آنها حکومت می کند. بستنی مطلق…
هیچ چیز به اندازه شرکت هایی که یک لفاف برای ChatGPT می سازند و با این فرض که “AI” مشکل آنها را حل می کند، برای من فریاد آماتوری نمی دهد. LLM ها اصلا AGI ندارند، حتی هوش هم ندارند. آنها قادر به پردازش مجموعه داده های بسیار بزرگ هستند. فقط فکر اینکه آنها یک گلوله نقره ای برای هر مشکلی هستند به من نشان می دهد که اصلاً فکر زیادی نشده است.
آنها در چه زمینه ای متخصص هستند؟ متراکم کردن حجم زیادی از اطلاعات در نسخه های ارزشمند، کوچکتر و قابل فهم آن. از قضا، این دقیقا برعکس اکثر موارد استفاده است. به گودال سرخوردگی خوش آمدید.
LLM ها ابزاری در زرادخانه هستند که می توانند مشکلات را به روش های جدید و مبتکرانه حل کنند. آنها درهایی را باز کرده اند که ما حتی نمی دانستیم وجود دارند. پس این آزمایش بزرگ چیست؟
ما در ابتدای راه هستیم.
من حدس می‌زنم که اثبات مفهومی داشته باشم، و هدف من تبدیل آن به یک پلتفرم کاربردی و مدرن است. چالش هایی برای غلبه بر وجود دارد.
معمای میدان رویاها. من آن را ساخته ام. آیا آنها خواهند آمد؟ تجربه به من می گوید که احتمالاً نه.
من باید این پلتفرم را به یک هیولای خودآگاه و سئو بهینه تبدیل کنم. من قصد دارم از هوش مصنوعی و ابزارهایی که با هم ترکیب کرده‌ام برای تولید و مقیاس‌بندی محتوای مصرفی انسان و ارائه تجزیه و تحلیل حریم خصوصی داده‌ها به جهان استفاده کنم…
مطمئن نیستم تا کجا پیش می‌روم، اما به یک ماجراجویی فوق‌العاده تبدیل شده است…
برای سوار شدن همراه باشید
در ابتدا در Tying Shoelaces منتشر شد
من چندین ماه پیش تصمیم گرفتم تا عمیقاً ابزارهای هوش مصنوعی مدرن را درک کنم و با آن درگیر باشم که در حال تحول (یا حداقل هیجان‌انگیز کردن!) دنیای توسعه وب آنگونه که ما می‌شناسیم است. من یک هدف واحد داشتم: ساختن یک سیستم از لحاظ نظری مقیاس پذیر که بتواند از این انبوهی از فناوری های جدید استفاده کند. و یکی که من را در این روند ورشکست نمی کند.
من یک مورد استفاده را انتخاب کردم که مورد علاقه من بود و احساس می کردم برای استفاده از هوش مصنوعی Generative آماده است. این دنیای حریم خصوصی داده ها است. من ابزاری ساختم که می تواند هر URL وب عمومی را اسکن کند، پیمایش کند و تمام درخواست های شبکه را ثبت کند. سپس این درخواست ها را تجزیه و تحلیل می کنیم و اطلاعات را با استفاده از هوش مصنوعی Generative پردازش می کنیم.
Gen AI یک مورد استفاده معتبر است زیرا حریم خصوصی داده ها به این معنا پیچیده است که درک معنی و پیامدهای انطباق دشوار است. من معتقدم که هوش مصنوعی Generative بیشتر به عنوان یک ترکیب کننده داده و یک کاهش دهنده مفید است. بسیاری از ناامیدی فعلی ناشی از استفاده اشتباه از LLMS است که شامل وارد کردن قطعه ای از داده ها و انتظار از ژنرال هوش مصنوعی برای تولید انبوه طلا است. به ناچار زباله ها را بیرون می ریزد. اما اگر غلظت بالایی از داده‌های با کیفیت را وارد کنید و از ژنرال هوش مصنوعی بخواهید که این داده‌ها را به یک چیز مفید تبدیل کند، آن وقت است که خروجی ارزشمندی دریافت می‌کنید.
بنابراین، من می خواهم Gen AI چه کاری انجام دهد؟ واقعاً ساده است، به عنوان کسی که نزدیک به 20 سال است که توسعه وب انجام می دهد، هنوز نمی توانم به سؤالات به ظاهر بی اهمیت پاسخ دهم:
آیا برای ردیابی اطلاعات کاربر به مجوز نیاز دارم؟ کدام انواع؟ به هر حال داده های «کاربر» چیست؟ یک آدرس IP؟
من آن PII را ذخیره نمی کنم، بنابراین قانونی است، درست است؟ درست؟
چه زمانی می توانم کوکی ها را تنظیم کنم؟
اما من از یک کوکی برای ردیابی رضایت کوکی خود استفاده می کنم. این مجاز است، حدس می زنم؟ اما به هر حال یک کوکی “عملکردی” چیست؟
چه نوع ردیابی کاربران با رضایت و بدون رضایت مجاز است؟
چگونه نیاز به درخواست رضایت دارم؟
آیا می توانم رضایت را ذخیره کنم؟ چگونه حتی در رضایت منفی پافشاری کنم؟
تفاوت رضایت برای ردیابی و کوکی ها چیست؟ آیا به هر دو نیاز دارم؟ این یک دکمه است یا دو؟
عدم رعایت رضایت چه پیامدهایی دارد؟
چگونه این بر اساس جغرافیا متفاوت است؟
آیا Google Analytics برای استفاده در اروپا قانونی است؟
صادقانه بگویم، بسیاری از سردرگمی‌ها در موارد فوق به این دلیل به وجود می‌آیند که رضایت حفظ حریم خصوصی داده‌ها یک منطقه خاکستری با فضایی برای تفسیر است. تفاوت در قوانین بین جغرافیاهای مختلف به این کمک نمی کند. اما نکته کلیدی این است که GPT-4o/Llama 3 در تفسیر حجم وسیعی از داده ها و توضیح آنها با زبان ساده برتری دارد. عالی، ممنون
بنابراین، من تصمیم گرفتم تا آنجایی که می‌توانم شواهد محکمی در مورد آنچه واقعاً در یک پیمایش ساده در یک سند عمومی (یعنی وب‌سایت!) اتفاق می‌افتد جمع‌آوری کنم. ما این شواهد را با درک خود از قوانین ترسیم می کنیم و به سیستمی می رسیم که می تواند جریان پردازش داده هر وب سایت عمومی را آزمایش کند.
ووووو اما شما برای کوکی ها اینجا نیستید، بلکه برای هوش مصنوعی اینجا هستید…
یک سیستم کوچک، یک سطل بار هوش مصنوعی.
OpenAI – GPT-4o / DALL-E 3 ما از این برای تجزیه و تحلیل شرکت هایی استفاده می کنیم که پردازشگر نهایی داده های دریافت شده هستند.
Groq – Llama3-70b-8192 ما از این برای تجزیه و تحلیل درخواست هایی استفاده می کنیم که در آن داده ها از سند عمومی منتقل می شوند.
Grok – https://developers.x.ai/ ما از این برای تجزیه و تحلیل احساسات و روندها برای اطلاع از استراتژی تولید محتوا استفاده می کنیم.
Brave API – https://brave.com/search/api/ ما از این برای تحقیق در مورد اطلاعات عمومی در مورد بازیگران شناسایی شده در سیستم خود استفاده می کنیم.
جستجوی Algoria – https://www.algolia.com/ ما از این برای نگاشت هوشمندانه داده های بدون ساختار در یک پایگاه داده SQL دوست داشتنی استفاده می کنیم.
گفتی 5 API؟
پنج محصول مختلف هوش مصنوعی؟
تجربه من با این مش AI چگونه بود؟ خیلی خیلی سخت…
نزدیک بود مرا بشکند بنابراین، چگونه به پلتفرمی رسیدیم که به هر حال دارای پنج ادغام هوش مصنوعی مختلف است؟ آزمایش، تکرار، و کمی دیوانگی. این یک الگو است. اما زمانی که سیستمی را که ایجاد کرده‌ایم باز می‌کنیم، هر یک از اجزای آن معنا پیدا می‌کند.
اولین معامله Groq در مقابل ChatGPT است. ChatGPT، البته، محصول شاخص OpenAI، اولین کرم از قوطی ضرب المثل است. و مزیت حرکت اول آنها نشان می دهد. API و مدل‌های آنها اصلاح‌تر شده‌اند و این از تفاوت کیفیت خروجی مشخص است. بنابراین من از ChatGPT برای محتوای طولانی استفاده می کنم و کیفیت نتایج غیرقابل انکار است.
ولی.
گران است. چندین بار در هفته با عرق از خواب بیدار می شدم و نگران بودم که چه اتفاقی می افتد اگر کسی، هر کسی، واقعاً از این پلت فرمی که من ساخته بودم استفاده کند. یک آزمایش عالی، اما آزمایشی که حاضرم خودم را به خاطر آن ورشکست کنم؟ محتمل نیست
گروک همه چیز را تغییر داد. API آنها 100 برابر کمتر هزینه دارد. منصفانه است که بگویم اگر Groq را کشف نکرده بودم، احتمالاً هرگز این وبلاگ را منتشر نمی کردم، صرفاً به دلیل ترس از هزینه. کیفیت GPT-4o نسبت به لاما 3 قابل توجه است. اما قیمت Llama 3 در Groq به معنای واقعی کلمه 1٪ قیمت است.
اگر بخواهیم از محتوایی با بالاترین کیفیت استفاده کنیم، از Open AI استفاده می کنم. من زمانی که نیاز به پردازش اطلاعات زیادی دارم از Groq استفاده می کنم.
من یک کلید سوئیچ ساخته ام تا در لحظه همه چیز را به Groq تبدیل کنم. این سوئیچ تفاوت بین امکان راه اندازی یا عدم راه اندازی است.
gpt-4o – 5.00 دلار / 15.00 دلار به ازای هر 1 میلیون توکن.
Llama3-7b – 0.05 دلار/0.08 دلار (در هر 1 میلیون توکن، ورودی/خروجی)
بنابراین تعداد هوش مصنوعی ما در بیرون از در دو است…
Brave AI Search از کجا می آید؟
شما به راحتی می توانید این را با هوش مصنوعی Perplexity یا چیزی مشابه جایگزین کنید. من از ارائه API بسیار تحت تاثیر قرار گرفتم. وقتی داشتم خزنده و محقق SERP خودم را می‌ساختم، Brave متوجه شد که به پشته راه یافته است. مال من آشغال بود و زمان زیادی می برد، بریو عالی بود. مال من 50 درصد مواقع کار می کرد. Brave’s 95%. برای اینکه بتوانیم محتوای باکیفیت برای مردم تولید کنیم، باید چندین پازل را حل کنیم. ما نیاز به تحقیق کامل داریم و همچنین باید بدانیم چه چیزی برای کاربر جالب است.
API جستجوی Brave برای انجام تحقیق در مورد محتوای هوش مصنوعی عالی است. پیوندها و مراجع ارائه می دهد و پیشنهادات پربازدید را به کاربران نشان می دهد تا دنباله خرگوش محتوا را دنبال کنند. بدون تحقیق Brave، نتایج ChatGPT و Groq هرزنامه خواهد بود. این یک هوش مصنوعی فوق العاده است که تحقیقات و داده ها را به هوش مصنوعی ما تغذیه می کند. این یک عبارت 2024 است اگر من تا به حال یکی را شنیده باشم.
سه پایین…
به بحث برانگیزترین انتخاب Grok توسط Twitter (x) یک LLM با تفاوت است. این دارای بازیابی رسانه های اجتماعی داخلی است (من تصور می کنم نوعی RAG اختصاصی دارد). این چگونه کمک می کند؟
این به ما کمک می کند مطالب و موضوعاتی را که پرطرفدار و جدید هستند درک کنیم. بنابراین قبل از تحقیق و تولید محتوا، باید موضوعات داغ را درک کنیم.
من هنوز از قابلیت Grok متقاعد نشده‌ام، اما پتانسیل اتصال به احساسات بلادرنگ و استفاده از آن به عنوان یک استراتژی جستجو و تولید محتوا برای من هیجان‌انگیز است. این یکی را به عنوان آزمایشی قرار دهید. به شما خبر خواهم داد.
بنابراین ما به Algolia می رسیم. چرا ما به جستجوی مبتنی بر هوش مصنوعی در کنار تحقیقات مبتنی بر هوش مصنوعی و هوش مصنوعی مولد خود نیاز داریم؟
این به این بستگی دارد که من چگونه پلتفرم خود را ساختار داده ام. ما بعداً در این مقاله به چگونگی و چرایی آن خواهیم پرداخت، اما برای ساختن یک پلتفرم در سطح جهانی، باید برخی از اصول اولیه را پر کنیم. در الگوی قدیمی من، شما نمی توانید بدون یک CMS در سطح جهانی محتوایی در سطح جهانی داشته باشید. CMS کلاس جهانی به داده های تمیز و ساختاریافته نیاز دارد. SQL.
ما از Algolia برای بافتن و نقشه برداری از محتوای سیستم های مختلف خود استفاده می کنیم. تعریف و محدود کردن خروجی از مدل های تولید متن سخت است (شرکت تشخیص داد که می تواند Shopify، Shopify’s App یا Shop App باشد). دریافت خروجی JSON این روزها کم و بیش پایدار است. اما تبدیل خروجی JSON به SQL با ارجاعات بین انواع محتوا به دلیل ماهیت بدون ساختار تولید متن دشوار است. Algolia این شکاف را با متراکم کردن محتوای “مشابه” به داده های SQL منحصر به فرد که می تواند توسط یک وب سایت مصرف شود، پر می کند.
این کامل نیست. اما کار می کند (95٪ مواقع).
بنابراین ما اینجا هستیم، 5 AI در رونق هایپ جعل شده اند، با یک پلت فرم ساده برای کنترل آنها.
سخت بود.
نزدیک بود مرا بشکند
ما از نظری به دغدغه های مهندسی می رویم. فراخوانی زنجیره‌ای AI API برای ایجاد یک محصول قابل تحمل. پس چرا استفاده از هوش مصنوعی اینقدر سخت است؟
اساسا یک دلیل ساده وجود دارد. اینترنت در حال حاضر سریع است. ما انتظار داریم که همه چیز سریع باشد. حتی AWS API Gateway HTTP نیز پس از حداکثر 30 ثانیه زمان پایان درخواست می کند.
اما هوش مصنوعی مولد؟
فقط ایجاد یک تصویر با محتوای تحقیق شده و خروجی می تواند به 5 تماس زنجیره ای با API های مختلف نیاز داشته باشد.
شناسایی محتوا (تحلیل احساسات با گروک)
در مورد محتوا تحقیق کنید (جستجوی هوش مصنوعی با شجاعت)
تولید محتوا (Gen AI w/Llama3/GPT-4o)
ایجاد تصویر (Gen AI w/DALL-E 3)
ذخیره محتوا و تصویر در SQL (Algolia)
محتوای مثال: تجزیه و تحلیل حریم خصوصی داده هاتجار در privacytrek.com
زمانی که APIهای زیربنایی بسیار کند هستند، ساختن سریع چیزی بسیار سخت است. شما در کمتر از یک دقیقه خروجی باکیفیت و قابل اعتماد تولید نخواهید کرد، به خصوص که باید APIهای متفاوتی را به هم ببندید تا چیزی شبیه محتوای با کیفیت بسازید.
کمال گرا در من حاضر نیست برای ارائه نتایج در یک وب سایت اینقدر صبر کند. ما خیلی جلو آمده ایم.
راه حل چیست؟ جریان؟ سوکت های وب؟ فرآیندهای پس زمینه؟ پیچیده است…
من تک تک موارد بالا را امتحان کردم. من از تک تک افراد به دلایل مختلف متنفر بودم. می توانیم در مورد هر کدام یک وبلاگ بنویسیم…
من تقریباً یک هفته وقت صرف ساختن و بهینه سازی یک کارگزار Rabbit MQ کردم تا پلتفرم من بتواند در محتوایی از باطن که مسئول مذاکره با این شبکه APIهای هوش مصنوعی است مشترک شود. من بسیار به خود می بالیدم؛ فوق العاده بود این هم یک آشغال مطلق بود. من آن را حذف کردم. این جمله را می‌دانید که «هر فردی یک کتاب در خود دارد. بیشتر باید آن را آنجا نگه دارند. همین امر در مورد مهندسان نرم افزار و ایده های هوش مصنوعی آنها صدق می کند.
بسیار آسان است که بر روی مماس حرکت کنید و مشکلاتی را که در ابزارهای هوش مصنوعی ذاتی هستند ایجاد کنید. من بارها این کار را انجام دادم تا اینکه با اکراه پذیرفتم که شما نمی توانید یک فیل بدوید، و ما به یک رویکرد متفاوت نیاز داشتیم. شما هم باید. مانند ازدحام اسب و کالسکه در اوایل قرن بیستم، در نهایت مشکلی نخواهد بود. اما تا زمانی که نباشد، هست.
کاربران انتظار تجربه وب سریع دارند. یک پاشیدن هوش مصنوعی فقط صبر را برای مدت طولانی خنثی می کند تا اینکه تجربیات وب خسته کننده و خسته کننده شوند. بنابراین، برای استفاده از هوش مصنوعی در مقیاس، باید قبل از رسیدن کاربر، داده های خود را واکشی کنیم. قانون شماره یک برای استفاده از هوش مصنوعی این است که ارزش را از منطق کسب و کار ما خیلی قبل از ورود کاربر استخراج کنیم.
کلید پادشاهی استفاده از هر کلمه و هر تصویری است. با هر تکه محتوای تولید شده گران قیمت باید مانند طلای ضرب المثل رفتار شود. این به معنای کنترل هوشیارانه هر دو ورودی و خروجی است.
بنابراین من هر درخواست API را ذخیره می‌کنم و در مورد هر تماس API که انجام می‌دهم به طور کامل تحقیق می‌کنم. من تست می‌کنم، تغییر می‌دهم، تکرار می‌کنم، و یاد می‌گیرم تا زمانی که بتوانم ابزار را به میل خود خم کنم.
هزینه هوش مصنوعی $$$
با تماس های AI API با احترامی که سزاوار آن هستند رفتار کنید.
هوش مصنوعی بسیار گران است. تصور کنید به ازای هر تماس API که با CMS خود می کنید، 5c پرداخت کنید. من شما را به انجام برخی ریاضیات چوب کبریت در پلت فرم مشاهده پذیری خود دعوت می کنم. فقط به گزارش های هر سیستم نرم افزاری مدرن نگاه کنید، درخواست ها به سیستم های مدرن معمولاً در صدها هزار یا میلیون ها اندازه گیری می شوند.
برای ارزشمند کردن هوش مصنوعی در مقیاس، نمی‌توانیم خروجی آن را گذرا یا زودگذر تلقی کنیم. اولین چیزی که در مورد کار با API های هوش مصنوعی یاد گرفتم ذخیره هر پاسخ، خروجی یا تصویر است. بعدا میشه ازش استفاده کرد و یکی از ویژگی های طعنه آمیز خروجی هوش مصنوعی این است که هرچه بیشتر آن را اصلاح و استفاده مجدد کنید (تراکم)، ارزشمندتر و واقعی تر می شود. فقط مطمئن شوید که بلوک های ساختمان را حفظ می کنیم وگرنه شما به معنای واقعی کلمه هزینه را پرداخت خواهید کرد.
خنده دار است که چگونه پرداختن به سیستم خود شما را به اصول اولیه به عنوان یک مهندس بازمی گرداند. هیچ چیز بیشتر از این که درگیر یک تماس API معیوب باشد که ممکن است به طور تصادفی هزاران دلار هزینه داشته باشد، باعث ترس یک توسعه دهنده نمی شود. هیچ چیز مانند ترس از اینکه یک حلقه تصادفی باعث ورشکستگی من شود، باعث بهینه سازی استراتژی بازگشت API خود نمی شود. صادقانه بگویم، ما باید با APIهای معمولی با همان احترام رفتار کنیم، اما ذخیره سازی، پردازش ارزان و تنبلی این رویکرد را اضافی کرده است.
اصل کار با این APIها این است که با هر خروجی یک LLM با احترام برخورد شود. زمانی را صرف در نظر گرفتن ورودی ها و خروجی ها کنید. Prompt Engineering، RAG و Vector DB ها کلمات کلیدی هستند. اصول بسیار ساده تر هستند. هر سوال یا ورودی به یک سیستم هوش مصنوعی ژنرال برای شما دلار واقعی هزینه دارد. آیا آن ورودی را بهینه کرده اید تا اطمینان حاصل کنید که آنچه بیرون می آید واقعاً ارزشمند است؟ یا اینکه به سادگی به یک دستگاه اسلات خراب می کوبید و پول خود را به بیرون می ریزید؟
من مدت زیادی را صرف ساختن هر درخواست کاربر و سیستم کردم، ورودی ها و خروجی ها را بهینه کردم تا اطمینان حاصل کنم که آنچه از LLM بیرون می آید ارزشمند است. من بیشتر از موفقیتم شکست خوردم. زمان زیادی طول کشید تا بتوانم تصاویری از شرکت‌هایم را که به زیبایی ساخته شده‌اند، دریافت کنم. من روزها سعی کردم از ChatGPT برای ایجاد یک کتابخانه نماد استفاده کنم (ایده بد). هرچه بیشتر با این API ها کار کنید، دیدن کرک ها آسان تر است. بدست آوردن خروجی زباله بسیار آسان است. اگر ورودی را به دقت خودکار و مقیاس نکرده اید، محتمل ترین نتیجه است.
اما هنگامی که ربات آن را درست انجام دهد، واقعاً به چیزی بسیار خاص تبدیل می شود.
از ChatGPT بپرسید
فقط از ChatGPT بپرسید؟
در تجربه من، برعکس آن درست است. این LLM ها اصلاً عمومی نیستند بلکه متخصص هستند. نمی دانم چرا این تعجب آور است. الگوریتم‌های یادگیری ماشین همیشه به این شکل بوده‌اند. ما مدل های تشخیص اشیا برای تشخیص اشیا از تصاویر داریم. ما الگوریتم های استخراج داده های ساختار یافته ای برای استخراج داده ها از متن داریم. ما انتظار نداریم الگوریتم تشخیص شی ما داده های ساختار یافته را از متن استخراج کند، درست است؟ اما این دقیقا همان چیزی است که ما از LLM خود انتظار داریم. یک ربات AGI مافوق بشر که بر همه آنها حکومت می کند. بستنی مطلق…
هیچ چیز به اندازه شرکت هایی که یک لفاف برای ChatGPT می سازند و با این فرض که “AI” مشکل آنها را حل می کند، برای من فریاد آماتوری نمی دهد. LLM ها اصلا AGI ندارند، حتی هوش هم ندارند. آنها قادر به پردازش مجموعه داده های بسیار بزرگ هستند. فقط فکر اینکه آنها یک گلوله نقره ای برای هر مشکلی هستند به من نشان می دهد که اصلاً فکر زیادی نشده است.
آنها در چه زمینه ای متخصص هستند؟ متراکم کردن حجم زیادی از اطلاعات در نسخه های ارزشمند، کوچکتر و قابل فهم آن. از قضا، این دقیقا برعکس اکثر موارد استفاده است. به گودال سرخوردگی خوش آمدید.
LLM ها ابزاری در زرادخانه هستند که می توانند مشکلات را به روش های جدید و مبتکرانه حل کنند. آنها درهایی را باز کرده اند که ما حتی نمی دانستیم وجود دارند. پس این آزمایش بزرگ چیست؟
ما در ابتدای راه هستیم.
من حدس می‌زنم که اثبات مفهومی داشته باشم، و هدف من تبدیل آن به یک پلتفرم کاربردی و مدرن است. چالش هایی برای غلبه بر وجود دارد.
معمای میدان رویاها. من آن را ساخته ام. آیا آنها خواهند آمد؟ تجربه به من می گوید که احتمالاً نه.
من باید این پلتفرم را به یک هیولای خودآگاه و سئو بهینه تبدیل کنم. من قصد دارم از هوش مصنوعی و ابزارهایی که با هم ترکیب کرده‌ام برای تولید و مقیاس‌بندی محتوای مصرفی انسان و ارائه تجزیه و تحلیل حریم خصوصی داده‌ها به جهان استفاده کنم…
مطمئن نیستم تا کجا پیش می‌روم، اما به یک ماجراجویی فوق‌العاده تبدیل شده است…
برای سوار شدن همراه باشید
