خزیدن وب یک تکنیک قدرتمند است که برای جمع آوری داده ها از وب سایت ها استفاده می شود. چه در حال جمع‌آوری داده‌ها برای تحقیق، نظارت بر قیمت‌ها یا حذف محتوا هستید، ساختن یک خزنده وب می‌تواند فوق‌العاده مفید باشد. در این پست، من شما را از طریق فرآیند ایجاد یک خزنده وب با استفاده از Puppeteer و Bun، دو ابزار محبوب جاوا اسکریپت، راهنمایی خواهم کرد.
مقدمه ای بر عروسک گردان و بان
Puppeteer یک کتابخانه Node.js است که یک API سطح بالا برای کنترل مرورگرهای کروم یا کرومیوم بدون هد ارائه می دهد. این برای خراش دادن وب و خودکار کردن وظایف مرورگر عالی است.
Bun یک زمان اجرا سریع و مدرن جاوا اسکریپت مشابه Node.js است اما برای سرعت و عملکرد بهینه شده است. این برنامه برای کار یکپارچه با کتابخانه های جاوا اسکریپت موجود طراحی شده است.
راهنمای گام به گام ساخت یک خزنده وب
مرحله 1: تنظیم محیط شما
ابتدا مطمئن شوید که Node.js را نصب کرده اید. سپس، Bun را با دنبال کردن دستورالعمل های وب سایت Bun نصب کنید.
بعد، یک فهرست پروژه جدید ایجاد کنید و آن را با Bun مقداردهی کنید:
# Copy code
mkdir web-crawler
cd web-crawler
bun init
گام 2: نصب Puppeteer
Puppeteer را با استفاده از Bun نصب کنید:
# Copy code
bun add puppeteer
bun node_modules/puppeteer/install.js # -> the secret sauce
مرحله 3: نوشتن اسکریپت خزنده وب
یک فایل جاوا اسکریپت جدید با نام crawler.js ایجاد کنید و با وارد کردن Puppeteer شروع کنید:
// Copy code
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
// Extract data
const data = await page.evaluate(() => {
return document.querySelector('h1').innerText;
});
console.log(data);
await browser.close();
})();
در این اسکریپت، ما یک مرورگر بدون هد راه اندازی می کنیم، به یک وب سایت می رویم و متن an را استخراج می کنیم
مرحله 4: اجرای اسکریپت
اسکریپت خود را با استفاده از Bun اجرا کنید:
## Copy code
bun run crawler.js
## You should see data printed in your terminal.
نتیجه
ایجاد یک خزنده وب با Puppeteer و Bun ساده و کارآمد است. Puppeteer اتوماسیون مرورگر را کنترل می کند، در حالی که Bun یک زمان اجرا سریع و مدرن برای کد جاوا اسکریپت شما ارائه می دهد. این ترکیب ابزار قدرتمندی را در جعبه ابزار خراش دادن وب شما ایجاد می کند.
برای موارد استفاده پیشرفته‌تر، می‌توانید اسکریپت خود را برای مدیریت ناوبری، تعامل با عناصر صفحه، و خراش دادن ساختارهای داده پیچیده‌تر گسترش دهید. خزیدن مبارک!
درباره نویسنده
من Ian هستم، یک برنامه نویس کامپیوتر ماهر با علاقه شدید به طراحی وب سایت و اتوماسیون. من به طور گسترده با Web Technologies کار کرده‌ام و همیشه آخرین پیشرفت‌های فناوری را دنبال می‌کنم که به من امکان می‌دهد به دیگران کمک کنم تا برنامه‌های کاربردی مقیاس‌پذیر را ایجاد کنند.
