این ارسالی برای چالش خراش دادن وب داده های روشن است: داده ها را از وب سایت های پیچیده و تعاملی جمع کنید
چیزی که من ساختم
من یک اسکریپت برای استخراج طرح های تلفن همراه از انبار Carphone ایجاد کردم، داده هایی مانند Phone، رنگ ها و ظرفیت های موجود را برداشتم، این داده ها را در s3 ذخیره کردم و با استفاده از پروژه لاراول خود آن را نمایش دادم.
من از Bright Data's Browser برای جلوگیری از هرگونه بلوک استفاده کردم، زیرا وب‌سایت‌های مخابراتی معمولاً پس از یک زمان مشخص مسدود می‌شوند.
برای استخراج داده ها، مجبور شدم از کلیک کردن برای باز کردن صفحه بعدی نتایج استفاده کنم، در تعامل با صفحه، سرعت و پایداری Bright Data را بسیار خوب دیدم.
نسخه ی نمایشی
نمایش نسخه ی نمایشی
چگونه از داده های روشن استفاده کردم
من از ابزار مرورگر Scraping Bright Data استفاده کردم، که برای فعال کردن سبک بودن کدم واقعا مفید بود، از آنجایی که اسکریپت را در داکر بسته بندی کردم، مجبور نبودم مرورگر خودم را اضافه کنم، علاوه بر این، خوب است که بدانم مدیریت کپچا دارم و پروکسی های ساخته شده در
من با یک چالش محدود به پیمایش فقط یک بار در هر جلسه مواجه شدم. من این مشکل را با درخواست یک جلسه جدید برای هر پیمایش صفحه حل کردم. در حالی که راه حل ساده بود، نیاز به تغییر ساختار کد داشت.
چالش BrightData – ماهانه برنامه های تلفن جمع آوری
این پروژه بخشی از چالش BrightData Web Scraper است که هدف آن جمع‌آوری برنامه‌های ماهانه تلفن از Carphone Warehouse، از جمله طرح‌های Vodafone و ID Mobile است. هدف این است که داده های دقیق را به طور کارآمد خراش دهید و آنها را در قالبی کاربرپسند ارائه کنید 🚀 درخواست چالش
Use a Web Scraper API to tackle common business challenges like aggregating product prices, monitoring competitors, or collecting reviews across platforms. Use Bright Data’s Web Scraper API for efficient and scalable data collection
🌟 هدف نمای کلی پروژه
Scrape and aggregate Carphone Warehouse's monthly phone plans.
Collect details such as:
Phone models
Storage capacities
Available colors
Associated monthly plans
نکات برجسته راه حل
Scrape the entire selection of phones and plans available on Carphone Warehouse.
Schedule scraping jobs to run daily or weekly to save costs and keep data fresh.
Use Bright Data’s browser-based scraper to bypass blocking mechanisms.
🛠️ تکنولوژی های مورد استفاده…
خلاصه
من از Bright Data به خاطر انگیزه ای که در نهایت برای کشف Bright Data ایجاد کرد تشکر می کنم، لذت بخش بود و امیدوارم در آینده نزدیک به استفاده از آن ادامه دهم!
