مشکل
صفحات وب‌سایت شخصی من که با NextJs v14.xx میزبانی شده توسط Vercel ساخته شده‌اند، اصلاً برای سنین پایین ایندکس نشده بودند … بسیار تکان دهنده…
جزئیات در کنسول جستجوی گوگل
وقتی از صفحه نقشه سایت بازدید می کنید، می گوید Couldn't fetch.
وقتی از صفحه بازرسی URL بازدید کردم، می گوید Site-wide availability issues.
فرآیند بررسی
با این حال من می توانستم محتوا را ببینم https:mypage/sitemap.xml در مرورگر
curl -I https:mypage/sitemap.xml وضعیت پاسخ 200 را به درستی نشان می دهد.
سپس جزئیات بیشتری را در آن بررسی کردم Site-wide availability issues در https://support.google.com/webmasters/answer/9012289#will_i_be_indexed&zippy=%2Csite-wide-availability-issues
و بعد این یکی را پیدا کردم:
Robots.txt غیرقابل دسترسی است: اگر فایل robots.txt موجود باشد اما در دسترس نباشد، گوگل وب سایتی را نمی خزند. در گزارش Crawl Stats می توانید در دسترس بودن robots.txt خود را بررسی کنید.
بعد متوجه شدم کهhttps:mypage/robots.txt با وجود اینکه robots.txt را در پوشه NextJS خود آماده نکردم، وضعیت 500 را برمی گرداند.
اجرای حالت تولید در NextJS جزئیات خطا را پنهان می کند در حالی که حالت dev جزئیات را به شما نشان می دهد.
Voila، مدیریت خطای ضعیف من برمی گردد 500 وضعیت حتی اگر /robots.txt وجود نداشته باشد که به نوبه خود Google Indexer را گیج کرده و آن را برچسب Not Indexable Page.
پرونده بسته شده است.
