رشته عامل کاربر GoogleBot چیست؟

GoogleBot به عنوان سنگ بنای دید موتور جستجوی وب سایت شما ، نقش مهمی در کشف ، فهرست بندی و رتبه بندی محتوای شما دارد. این به عنوان پیشاهنگ دیجیتال Google عمل می کند ، و خستگی ناپذیر وب را خز می کند تا اطمینان حاصل شود که صفحات مناسب ترین و با کیفیت بالا به کاربران ارائه می شود.

در این مقاله ، ما همه چیزهایی را که باید در مورد عامل کاربر GoogleBot بدانید ، از جمله اهمیت آن ، نحوه شناسایی و تأیید آن ، نحوه تعامل با آن با استفاده از Robots.txt ، و اینکه چرا نظارت بر GoogleBot برای موفقیت SEO ضروری است ، پوشش خواهیم داد.

GoogleBot چیست؟

GoogleBot خزنده اصلی وب Google است ، مسئول کشف ، نمایه سازی و به روزرسانی صفحات وب برای جمع آوری شاخص جستجوی گسترده آن است. GoogleBot به طور سیستماتیک وب سایت ها را مرور می کند ، و محتوای آنها را تجزیه و تحلیل می کند تا اطمینان حاصل کند که مهمترین و با کیفیت ترین صفحات در نتایج جستجو در دسترس کاربران است.

انواع رباتهای گوگل

Google از انواع ربات های تخصصی برای انجام وظایف خاص نمایه سازی استفاده می کند ، و از پوشش جامع در انواع مختلف محتوا اطمینان می دهد. در اینجا انواع اصلی وجود دارد:

• دسک تاپ Googlebot: یک کاربر را که در مرور وب در یک دستگاه دسک تاپ مرور می کند ، شبیه سازی می کند. تمرکز روی نمایه سازی صفحات که برای کاربران دسک تاپ تهیه می شود.
• Googlebot تلفن همراه: برای فهرست بندی موبایل ، که به دلیل استفاده گسترده از تلفن های هوشمند به اولویت Google تبدیل شده است ، طراحی شده است.
• ویدیوی Googlebot: برای بهبود قابلیت کشف آن در سیستم عامل هایی مانند Google Search و YouTube ، خزنده و نمایه سازی محتوای ویدیویی را کنترل می کند.
• تصویر Googlebot: تخصص در خزیدن و نمایه سازی تصاویر ، و آنها را از طریق تصاویر Google قابل جستجو می کند.

چرا ردیابی GoogleBot مهم است؟

نظارت بر فعالیت GoogleBot می تواند بینش ارزشمندی در مورد چگونگی خزیدن و فهرست بندی وب سایت شما ارائه دهد. با ردیابی رفتار آن ، می توانید:

• فرکانس خزیدن را تعیین کنید: درک کنید که چند بار GoogleBot از سایت شما بازدید می کند و استراتژی های خود را تنظیم می کند تا اطمینان حاصل شود که به روزرسانی های مکرر به سرعت نمایه می شوند.
• مسائل خزنده را شناسایی و رسیدگی کنید: مناطقی را که Googlebot ممکن است با مشکلات روبرو شود ، مانند پیوندهای شکسته یا صفحات غیرقابل دسترسی ، مشخص کنید و آنها را برای بهبود عملکرد سایت برطرف کنید.
• بار سرور را بهینه کنید: تجزیه و تحلیل دوره های فعالیت خزنده بالا برای جلوگیری از فشار بالقوه سرور و اطمینان از عملکرد صاف وب سایت.
• اطمینان حاصل کنید که صفحات بحرانی فهرست بندی می شوند: تأیید کنید که صفحات کلیدی ، مانند صفحات فرود یا محتوای با ارزش بالا ، به طور مؤثر خزیده و نمایه می شوند.

با درک و مدیریت نحوه تعامل GoogleBot با وب سایت شما ، می توانید یک رویکرد پیشگیرانه برای بهبود دید سایت ، تجربه کاربر و عملکرد کلی موتور جستجو انجام دهید.

ساختار رشته عامل کاربر GoogleBot

Googlebot خود را از طریق User-Agent مقدار هدر در درخواست های HTTP. این رشته عامل کاربر حاوی اطلاعات خاصی است که به سرورهای وب کمک می کند GoogleBot را تشخیص دهند و بر این اساس پاسخ دهند.

GoogleBot از رشته های خاص کاربر برای کارهای مختلف استفاده می کند ، مانند خزیدن دسک تاپ ، خزیدن موبایل ، نمایه سازی تصویر-در اینجا رایج ترین موارد است.

رشته های مشترک عامل کاربر GoogleBot

رشته های عامل کاربر GoogleBot بر اساس نوع محتوای خزنده متفاوت است. در زیر یک جدول به روز شده از عامل کاربر GoogleBot ، از جمله خزنده های اضافی که توسط Google برای اهداف تخصصی مستقر شده است:

نام

رشته عامل کاربر

دسک تاپ Googlebot

Mozilla/5.0 (سازگار ؛ Googlebot/2.1 ؛ +http: //www.google.com/bot.html)

گوشی هوشمند Googlebot

Mozilla/5.0 (Linux ؛ Android 6.0.1 ؛ Nexus 5x Build/MMB29p) Applewebkit/537.36 (KHTML ، مانند Gecko) Chrome/41.0.2272.96 Safari Mobile/537.36 (سازگار ؛ GoogleBot/2.1 ؛ +HTTP: .com/bot.html)

تصویر Googlebot

GoogleBot-Image/1.0

ویدیوی Googlebot

GoogleBot-Video/1.0

اخبار Googlebot

GoogleBot-News/2.1

Adsbot Google-Mobile

adsbot-google-mobile

adsbot google-web

adsbot-google

خوراکی

فیدفچر

Andsbot Adsbot Android

ADSBOT-Google-Mobile-Apps

گوگل با صدای بلند بخوانید

با صدای بلند گوگل

ربات Google Cloud Vertex

Google-Cloudvertexbot

با بررسی رشته های عامل کاربر ، می توانید:

• بین GoogleBots اصلی و محاصره کننده تفاوت قائل شوید.
• رفتار سایت خود را به طور خاص برای رباتها تنظیم کنید (به عنوان مثال ، برای ارائه محتوای مبتنی بر جاوا اسکریپت).
• برای درک رفتار آنها در وب سایت خود ، Googlebots خاص و الگوهای خزنده آنها را کنترل کنید.

تجزیه رشته های عامل کاربر GoogleBot

برای تشخیص یا تجزیه رشته های عامل کاربر به صورت برنامه ای ، می توانید از ابزار و کتابخانه های موجود در JavaScript یا Python استفاده کنید. این به شما امکان می دهد تأیید کنید که آیا یک بازدید کننده یک GoogleBot است و در این صورت ، نوع خاص آن را شناسایی کنید.

نمونه جاوا اسکریپت

در اینجا یک مثال ساده برای بررسی اینکه آیا بازدید کننده GoogleBot است با استفاده از JavaScript است:

const userAgent = navigator.userAgent;
if (userAgent.includes("Googlebot")) {
  console.log("Googlebot detected");
} else {
  console.log("Not a Googlebot");
}

این روش برای تشخیص کاربر GoogleBot در سمت مشتری به خوبی کار می کند. به عنوان مثال ، اگر می خواهید برخی از کد های تجزیه و تحلیل را برای GoogleBot غیرفعال کنید ، می توانید از این اسکریپت برای تشخیص آن استفاده کنید.

مثال پایتون

با استفاده از پایتون ، می توانید از کتابخانه هایی مانند user_agents استفاده کنید تا رشته Googlebot عامل کاربر را تجزیه کنید:

from user_agents import parse

user_agent = parse("Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)")
if "Googlebot" in user_agent.browser.family:
    print("Googlebot detected")
else:
    print("Not a Googlebot")

این مثال به شما کمک می کند تا به صورت برنامه ای GoogleBot را در برنامه های سمت سرور شناسایی کنید.

تأیید GoogleBot: اطمینان از اصالت

از آنجا که رشته های عامل کاربر را می توان توسط هر مشتری HTTP بر روی هر مقدار تنظیم کرد ، تأیید کنید که آیا یک درخواست واقعاً از GoogleBot نیاز به بررسی های اضافی دارد.

برای تأیید اینکه یک درخواست از GoogleBot است ، انجام دهید جستجوی DNS معکوس و نتیجه را با a تأیید کنید جستجوی DNS به جلوبشر

از دستور زیر استفاده کنید تا بررسی کنید که آیا یک آدرس IP به یک دامنه متعلق به Google حل می شود:

$ host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

اگر خروجی حاوی باشد googlebot.com، IP متعلق به Google است.

سرانجام ، برای جلوگیری از کلاهبرداری ، تأیید کنید که نقشه های میزبان حل شده به IP اصلی باز می گردند:

$ host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

اگر هر دو جستجوی مطابقت داشته باشند ، درخواست واقعاً از GoogleBot است!

تأیید GoogleBot به جلوگیری از رباتهای جعلی ، بهبود امنیت سایت و تضمین خزیدن و نمایه مناسب توسط ربات های مشروع کمک می کند.

مسدود کردن Googlebot با استفاده از Robots.txt

در robots.txt پرونده ابزاری ساده و در عین حال قدرتمند است که به شما امکان می دهد کنترل کنید که بخش هایی از وب سایت شما Googlebot (یا سایر خزنده ها) به آن دسترسی پیدا کنید. با درج دستورالعمل های خاص ، می توانید GoogleBot را از خزیدن دایرکتوری ها یا صفحات خاص محدود کنید.

چرا پیگیری GoogleBot برای SEO ضروری است

برای جلوگیری از دسترسی Googlebot به یک پوشه خاص ، می توانید موارد زیر را به خود اضافه کنید robots.txt پرونده:

User-agent: Googlebot
Disallow: /private-folder/

در robots.txt پرونده کنترل دقیقی را در مورد آنچه GoogleBot می تواند و نمی تواند خزنده باشد ، فراهم می کند و آن را به ابزاری اساسی برای مدیریت دید و امنیت سایت شما تبدیل می کند.

GoogleBot در SEO: چرا ردیابی مسائل

نظارت بر فعالیت GoogleBot بخش مهمی از هر استراتژی موفق SEO است. شما می توانید فرصت هایی را برای بهبود دید ، نمایه سازی و عملکرد کلی وب سایت خود در رتبه بندی موتور جستجو کشف کنید.

چرا پیگیری GoogleBot برای SEO ضروری است

ردیابی GoogleBot به شما امکان می دهد:

• بودجه خزیدن را بهینه کنید: Google مقدار محدودی از منابع خزنده (بودجه خزیدن) را به وب سایت شما اختصاص می دهد. با نظارت بر GoogleBot ، می توانید اطمینان حاصل کنید که روی مهمترین صفحات خود تمرکز کرده و منابع خود را در محتوای کم اولویت هدر نمی دهد.
• نمایه سازی را بهبود بخشید: نظارت منظم تضمین می کند که صفحات بحرانی به درستی فهرست بندی شده و در نتایج جستجو ظاهر می شوند ، که برای رشد ترافیک ارگانیک بسیار مهم است.
• مسائل خزنده را در اوایل مشاهده کنید: سیاههها می توانند به شما در شناسایی مشکلاتی مانند صفحات غیرقابل دسترسی ، پیوندهای شکسته یا خطاهایی که مانع از خزیدن Googlebot به طور مؤثر می شود ، کمک کند.
• الگوهای خزنده را درک کنید: دانستن اینکه GoogleBot در سایت شما فعال ترین است می تواند به شما در بهینه سازی عملکرد سرور و به روزرسانی های زمان کمک کند تا همزمان با خزنده ها باشد.

مزایای ردیابی GoogleBot

ردیابی فعالیت GoogleBot برای حفظ یک وب سایت سالم و به حداکثر رساندن دید آن در نتایج جستجو ضروری است.

• مسائل مربوط به بودجه خزیدن را شناسایی و حل کنید: با درک چقدر زمان GoogleBot در خزیدن به سایت شما ، می توانید ساختار سایت خود را بهینه کرده و اطمینان حاصل کنید که صفحات اولویت دار بیشتر خزنده می شوند.
• نمایه سازی صفحه را تقویت کنید: اگر متوجه شدید صفحات بحرانی خزیده یا فهرست بندی نشده اند ، ردیابی GoogleBot به شناسایی مشکل و ایجاد تنظیمات لازم کمک می کند (به عنوان مثال ، رفع پیوندهای شکسته یا به روزرسانی نقشه های سایت).
• بازده خزیدن را بهبود بخشید: نظارت بر GoogleBot به شما امکان می دهد پیوند داخلی را بهینه کرده و تله های خزنده غیر ضروری را از بین ببرید (به عنوان مثال ، محتوای تکراری یا صفحات یتیم).

ردیابی GoogleBot بینش عملی در مورد نحوه تعامل سایت شما با الگوریتم های جستجوی Google ارائه می دهد.

تقلید از عامل کاربر GoogleBot در خراش وب

برخی از وب سایت ها با GoogleBot متفاوت رفتار می کنند و به آن امکان دسترسی به محتوایی را می دهند که در غیر این صورت ممکن است برای بازدید کنندگان منظم مسدود شود. در نتیجه ، Scrapers وب ممکن است سعی کنند رشته عامل کاربر خود را برای مطابقت با GoogleBot برای دور زدن چنین محدودیت ها یا به سادگی مشاهده صفحه ای که گوگل آن را مشاهده می کند ، تنظیم کنند.

تنظیم یک عامل کاربر GoogleBot در Scraping وب

Scrapers Web می توانند با تنظیم رشته کاربری خود برای مطابقت با خزنده Google ، از GoogleBot تقلید کنند. از این روش می توان برای مشاهده یک صفحه وب به عنوان GoogleBot برای اهداف اشکال زدایی یا آزمایش استفاده کرد.

مثال پایتون

اسکریپت پایتون زیر با استفاده از کتابخانه درخواست ها در حالی که وانمود می کند Googlebot است با اصلاح کردن ، درخواست را به وب سایت ارسال می کند User-Agent هدر:

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
}

url = "https://web-scraping.dev/"

response = requests.get(url, headers=headers)
print(response.text)

این به شما امکان می دهد یک صفحه وب را با یک عامل کاربر GoogleBot واکشی کنید ، اما این سایت ممکن است دسترسی را بر اساس تأیید IP یا سایر تکنیک های ضد بوته مسدود کند.

نمونه جاوا اسکریپت

به همین ترتیب ، برای تنظیم درخواست های API جاوا اسکریپت خود می توانید تنظیم کنید User-Agent هدر Googlebot:

fetch("https://web-scraping.dev/", {
    method: "GET",
    headers: {
        "User-Agent": "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    }
})
.then(response => response.text())
.then(data => console.log(data))
.catch(error => console.error("Error:", error));

این کار هنگام درخواست به URL مشخص شده ، رشته کاربر را به GoogleBot تنظیم می کند.

مثال مرورگر بدون سر

برای ابزارهای اتوماسیون مرورگر وب مانند Puppeteer همچنین می توانید رشته های عامل کاربر خروجی را برای مطابقت با GoogleBot تنظیم کنید:

const puppeteer = require("puppeteer");

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  await page.setUserAgent(
    "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
  );

  await page.goto("https://web-scraping.dev/");
  const content = await page.content();
  console.log(content);

  await browser.close();
})();

این اسکریپت یک مرورگر بدون سر را راه اندازی می کند ، عامل کاربر را به GoogleBot تنظیم می کند و محتوای صفحه را بازیابی می کند. با این حال ، مانند مثال پایتون ، وب سایت هایی که آدرس IP GoogleBot را تأیید می کنند ، هنوز این را به عنوان یک درخواست جعلی تشخیص می دهند.

چرا این کار نخواهد کرد

در حالی که تنظیم یک رشته کاربر Agent GoogleBot ممکن است به شما امکان دهد در بعضی موارد یک سایت متفاوت را مشاهده کنید ، هر وب سایت به راحتی می تواند آدرس IP را تأیید کند. بنابراین ، تنظیم رشته عامل کاربر در GoogleBot بعید است از هرگونه محدودیت دور شود.

گفته می شود ، هنوز هم می تواند قوطی با برخی از وب سایت ها کار کنید که فقط رشته کاربر را بررسی می کنند و نه آدرس IP ، به خصوص اگر چک در قسمت جلوی وب سایت انجام شود که اغلب به آدرس IP مشتری دسترسی ندارد.

قدرت با Scrapfly

Scrapfly برای جمع آوری داده ها در مقیاس ، اسکریپت های وب ، تصویر و استخراج API را فراهم می کند.

به صورت رایگان امتحان کنید!

اطلاعات بیشتر در مورد Scrapfly

پرسش

برای بسته بندی این راهنما ، در اینجا پاسخ برخی از سؤالات متداول درباره عامل کاربر GoogleBot آورده شده است.

٪ HTML

آیا می توانم نماینده کاربر GoogleBot را فریب دهم؟

بله ، اما در بیشتر موارد کار نخواهد کرد. وب سایت ها می توانند به راحتی آدرس IP درخواست ورودی را تأیید کنند تا مشخص شود که آیا واقعاً از GoogleBot است یا خیر. با این حال ، اگر وب سایت فقط رشته کاربر را بررسی کند و نه آدرس IP ، ممکن است بتوانید صفحه را به عنوان GoogleBot مشاهده کنید.

آیا GoogleBot IP می تواند فریب خورده باشد؟

نه ، مگر اینکه سرور DNS شما به خطر بیفتد ، نمی توانید آدرس IP GoogleBot را فریب دهید. آدرس های IP GoogleBot کاملاً مشهور است و با استفاده از جستجوی DNS معکوس قابل تأیید است.

چگونه می دانم GoogleBot در حال خزیدن سایت من است؟

مطمئن ترین روش استفاده از کنسول جستجوی Google است که گزارش های مفصلی در مورد فعالیت GoogleBot در سایت شما ارائه می دهد. همچنین می توانید گزارش های سرور خود را برای درخواست های Agents User GoogleBot بررسی کنید ، اما حتماً تأیید کنید که آدرس های IP با Google مطابقت دارند تا از جعل کاربر استفاده کنند.

خلاصه

در این مقاله کوتاه ما نگاهی به این موضوع انداختیم که Googlebots چیست و چگونه می توان آنها را شناسایی کرد:

• تجزیه User-Agent رشته برای تشخیص بسیاری از هویت های GoogleBot.
• تأیید صحت GoogleBot با استفاده از جستجوی DNS معکوس و رو به جلو.

علاوه بر این ، ما نگاهی بیندازیم که چگونه می توان رشته عامل کاربر GoogleBot را با تقلید از User-Agent رشته در موارد استفاده در خراش وب و نحوه کار بعید به دلیل تأیید DNS بعید است.