ایجاد «فرآورنده محصول»: شیرجه یک فرد انفرادی به خراشیدن، هوش مصنوعی و اتوماسیون

سلام به توسعه دهندگان و هکرهای مستقل! 👋

من اخیرا Product Fetcher را راه اندازی کردم، یک API که از هوش مصنوعی برای استخراج اطلاعات محصول (مانند قیمت، توضیحات، رتبه بندی و غیره) از هر صفحه وب استفاده می کند. بدون کدنویسی، بدون راه اندازی – فقط کار می کند.

به‌عنوان فردی که ساعت‌ها (شاید روزها؟) را با مشکلات خراشیدن دست و پنجه نرم می‌کند، می‌خواستم فناوری پشت آن و چیزهایی را که در حین ساختن این به عنوان یک توسعه‌دهنده انفرادی آموختم به اشتراک بگذارم.

چرا این را بسازیم؟ 🧐

خراش دادن وب قدرتمند اما کثیف است. نوشتن اسکریپت های سفارشی برای هر وب سایت به سرعت قدیمی می شود و پرداختن به کپچاها، جاوا اسکریپت پویا و تغییر دائمی طرح بندی ها یک کابوس است.

هدف Product Fetcher ساده است:

• سازگاری: API می تواند تقریباً هر صفحه محصولی را مدیریت کند.
• اتوماسیون: بدون نیاز به تنظیمات یا به روز رسانی دستی.
• سهولت استفاده: حتی غیر توسعه دهندگان نیز می توانند از طریق یک تماس ساده API از آن استفاده کنند.

من می‌خواستم چیزی بسازم که شبیه جادو باشد – جایی که شما یک URL ارسال می‌کنید و API بقیه کارها را انجام می‌دهد.

پشته فناوری 🛠️

در اینجا تجزیه فنی است:

Backend:

ساخته شده با Next.js، ادغام Puppeteer و Playwright برای خراشیدن.

چالش های پویا:

• چرخش پروکسی برای دور زدن بلوک های IP.
• رندر جاوا اسکریپت برای صفحات پویا
• حل کپچا برای سایت های محافظت شده
• محدود کردن نرخ برای کارآمد و مودب ماندن.

لایه های هوش مصنوعی:

• یک لایه پیش پردازش که داده های خام را تبدیل و پاک می کند.
• لایه دوم که داده های تمیز را استخراج می کند، با استفاده از نکات متنی (مانند ابرداده های مرتبط) برای تجزیه دقیق تر.

نتیجه؟ یک API که با طرح‌بندی‌های مختلف سازگار می‌شود، موارد لبه را مدیریت می‌کند و با هر تکرار بهبود می‌یابد.

درس هایی از ساختن V0 🚀

این بسیار یک V0 است. موارد بسیار بیشتری وجود دارد که می‌خواهم اضافه کنم: مدیریت بهتر خطا، بهینه‌سازی بیشتر هوش مصنوعی، و شاید حتی الگوهای خراش دادن سفارشی برای موارد استفاده خاص. اما شروع کوچک به من چیزهای زیادی در مورد متعادل کردن ویژگی ها و قابلیت استفاده آموخت.

در حال حاضر، من بر روی بهبود سازگاری و ایجاد آن حتی یکپارچه‌تر تمرکز کرده‌ام. ساختن این انفرادی چالش برانگیز بوده است، اما دیدن کارکرد آن در صفحات دنیای واقعی باعث شده است تا آخر شب ارزشش را داشته باشد.

سفر Indie Maker Journey 🛤️

این برای من فقط یک پروژه فنی نیست – یک سفر است. از انتخاب پشته گرفته تا رفع اشکالات عجیب و غریب در ساعت 2 بامداد، انفرادی بودن یعنی پوشیدن همه کلاه ها، از توسعه دهنده تا بازاریاب و پشتیبانی مشتری.

به اشتراک گذاشتن روند با جامعه باورنکردنی بوده است. اگر شما هم در مسیر مشابهی هستید، من دوست دارم داستان شما را بشنوم!

می خواهید آن را امتحان کنید؟

من به تازگی Product Fetcher را راه اندازی کرده ام و به طور رسمی زنده است! 🎉

به من بگویید چه فکر می کنید، یا فقط سلام کنید – بازخورد انجمن چیزی است که باعث می شود من ادامه دهم!