علت ایندکس نشدن سایت در گوگل

موضوعاتی که در این مقاله به آنها پرداخت خواهند شد:

• دلیل عدم نمایش سایت در سرچ کنسول چیست؟
• ایندکس نشدن سایت به دلیل خطاهای سایت
• ایندکس نشدن سایت به دلیل خطاهای URL

دلیل عدم نمایش سایت در سرچ گوگل چیست؟

بخش ارورهای ایندکس سرچ کنسول با نام coverage در پیشخوان این ابزار قرار گرفته است. در این بخش ارورهای وب سایت به صورت کلی به نمایش گذاشته می شوند. error هایی که در گزارش coverage می توانید مشاهده نمایید در واقع ارورهایی هستند که روی عملکرد وب سایتتان به صورت کلی تاثیر می گذارند. در بخش coverage سرچ کنسول گوگل می توانید موارد مربوط به 90 روز گذشته که باعث ایندکس نشدن سایت می شوند را به صورت کامل بررسی نمایید.

بهتر است که هر روز به سرچ کنسول خود مراجعه کرده و به بررسی ارورهای موجود در گزارش coverage بپردازید. در ادامه نیز اقدام به رفع آنها نمایید. ممکن است در ابتدا همه چیز خوب به نظر برسد و برایتان یکنواخت باشد. اما این کار باعث می شود که ارورهای مهم و تاثیرگذار وب سایت خود را خیلی سریع پیدا کرده و درصدد حل آن ها برآیید. اگر فرصت بررسی روزانه سرچ کنسول خود را ندارید نیز می توانید در کمتر از 90 روز برای این کار اقدام کنید. بدین ترتیب قبل از از دست رفتن اطلاعات 90 روز پیشین؛ می توان به رفع ارورهای حاضر اقدام کرد.

همانطور که پیش تر گفته شد دسته بندی ارورهای موجود در بخش coverage سرچ کنسول گوگل مشخص هستند. در ادامه به معرفی و نحوه رفع هر یک از آنها خواهیم پرداخت.

ارورهایی که در این دسته قرار می گیرند تمام وب سایتتان را تحت تاثیر قرار می دهند. به همین دلیل از خطاهای سایت به عنوان خطاهایی با اهمیت بالا یاد می شود. در ادامه انواع خطاهایی که می توانند عملکرد کل سایت را تحت تاثیر قرار دهند را به شما معرفی خواهیم نمود.

خطای DNS

ارورهای DNS برای مدیریت یک وب سایت از اهمیت بسیار زیادی برخوردارند و می توانند روی ایندکس نشدن سایت در گوگل نقش مهمی را ایفا کند. DNS مخفف عبارت Domain Name System به معنای سیستم نام دامنه است. خطاهای dns اولین و مهم ترین خطایی هستند که می توان به آن ها اشاره نمود.

داشتن مشکل dns به این معنا است که ربات گوگل به دلیل dns timeout یا مشکل dns lookup نمی تواند به دامنه شما متصل شود. همه دامنه ها به طور قطع توسط یک شرکت ارائه دهنده خدمات هاستیگ میزبانی می شوند. اگر با چنین مشکلی مواجه شدید، باید سریعا برای رفع آن اقدام کنید. چرا که در واقع اولین مرحله دسترسی ربات های گوگل به وب سایتتان همین مرحله است.

رفع خطای dns

به منظور رفع خطای dns که نتیجه آن ایندکس نشدن سایت است، باید به تریتب زیر پیش بروید:

خطاهای سرور (server errors)

یکی دیگر از دلایل ایندکس نشدن سایت خطای سرور است. این خطا اغلب به این معنا است که زمان پاسخگویی سرور بیش از اندازه طولانی می شود. به همین دلیل با خطای سرور رو به رو می شوید. ربات های گوگل در هنگام خزیدن در وب سایت می توانند تنها یک بازه زمانی مشخص را برای بارگذاری سایت صبر کنند. اگر زمان بارگذاری بیش از اندازه طولانی شود، ربات گوگل دست از تلاش برای crawl کردن وب سایتتان برمی دارد.

خطاهای سرور با خطاهای dns تفاوت دارد. خطای dns به این معنا است که ربات های گوگل به دلیل مشکلات موجود حتی امکان پیدا کردن URL شما را نیز ندارد. در حالی که در خطاهای سرور، ربات های گوگل می توانند به یک وب سایت متصل شوند اما به دلیل وجود مشکلات نمی توانند صفحه را بارگذاری کنند. یکی از دلایل بروز خطای سرور ورود ترافیک بیش از اندازه به وب سایتتان است. برای جلوگیری از وقوع چنین اتفاقی باید اطمینان حاصل کنید که سرویس ارائه دهنده میزبانی وب شما می تواند در هنگام ورود ترافیک بالا، آنها را مدیریت نماید.

رفع خطای سرور

در هنگام بروز چنین اتفاقی در وب سایت خود باید از ابزار URL inspection استفاد کنید تا متوجه شوید که ربات های گوگل می توانند وب سایتتان را crawl کنند یا نه. اگر گوگل سرچ کنسول توانست بدون هیچ مشکلی صفحه اصلی وب سایت را پیدا کند، می توانید اطمینان پیدا کنید که گوگل امکان دسترسی به سایتتان را دارد. در غیر این صورت علت ایندکس شدن سایت خطای سرور است.

خرابی robots

در این حالت ربات گوگل نمی تواند فایل robots.txt را بازیابی کند و این امر منجر به ایندکس نشدن سایت می شود. شاید برایتان جالب باشد که بدانید تنها زمانی استفاده از فایل robots.txt ضرورت پیدا می کند که قصد داشته باشید دسترسی گوگل به برخی از صفحات خود را محدود کنید. اگر قصد دارید موتورهای جستجو تمامی اطلاعات موجود در وب سایتتان را ایندکس کند، نیازی به فایل robots.txt ندارید.

رفع خطای robots

اطمینان حاصل کنید که فایل robots.txt به شکل درستی پیکربندی شده باشد. بررسی کنید که در این فایل دسترسی گوگل به کدام یک از صفحات را محدود کرده اید. تمامی خطوط /:Diwallow نوشته شده در فایل robots.txt خود را بررسی نمود و اطمینان حاصل کنید که دسترسی همه لینک های تعیین شده به خواست خودتان محدود شده است.

خطاهایی که در این دسته قرار می گیرند با خطاهای سایت تفاوت دارند. چرا که این خطاها تنها یک صفحه مشخص وب سایت را تحت تاثیر قرار می دهند و همانند ارورهای سایت به تمام وب سایت کاری ندارند. بسیاری از سایت ها ممکن است با حجم بسیار بالایی از ارورهای URL رو به رو شوند و همین امر باعث نگرانی آنها شود. اما خبر خوب این است که می توان با استفاده از بخش coverage سرچ کنسول جدید گوگل ارورهای این بخش را به صورت دسته بندی شده مشاهده و اقدام به رفع آنها نمایید. بعد از رفع آن نیز می توان با استفاده از اعتبارسنجی آن در خصوص رفع این ارورها اطمینان حاصل کنید.

خطای 404

این ارور در واقع یکی از گیج کننده ترین خطاهایی است که در بحث crawl و ایندکس نشدن سایت وجود دارد. زمانی که ربات های گوگل تلاش می کنند تا صفحه ای که آدرس آن دیگر معتبر نیست را crawl کنند، با ارور 404 مواجه می شوند. حال با توجه به اینکه یک عامل نرم افزاری سبب این اتفاق شده است یا اینکه صفحه مورد نظر دیگر وجود ندارد، می توان این ارور را به دو دسته soft و hard تقسیم کرد.

خطای 404 hard

این خطا یکی از پیچیده ترین و در عین حال ساده ترین اروری است که می توان با آن رو به رو شد. خطای 404 زمانی اهمیت خود را بیشتر نشان می دهد که برای صفحات مهم وب سایت به نمایش گذاشته شود. این خطا زمانی خود را نشان می دهد که صفحه مورد نظر دیگر وجود خارجی نداشته باشد. در نتیجه زمانی که کاربر یا ربات های گوگل وارد آن صفحه می شوند با این ارور مواجه می شوند.

رفع خطای hard 404

به منظور رفع این خطا باید به طریق زیر عمل کنید:

در ساده ترین حالت باید گفت که اگر صفحه مرده است، باید دوباره آن را زنده کنید. اگر هم نمی خواهید جان دوباره ای به آن صفحه بدهید، پس لازم است که آن را روی یک صفحه مناسب دیگر redirect کنید.

خطای soft 404

خطای soft 404 زمانی رخ می دهد که اعتبار آدرس یک صفحه به خاطر عاملی نرم افزاری اعتبار خود را از دست بدهد. این عامل می تواند رول هایی که در htaccess تعریف شده اند، افزونه ها یا هر مورد مشابه دیگر باشد. زمانی که یک کاربر با پیغام 404 رو به رو می شود، متوجه این نکته خواهد شد که آن صفحه دیگر وجود ندارد. اما در خطای soft 404 ماجرا کمی متفاوت است.

رفع خطای soft 404

به منظور رفع مشکل مربوط به صفحاتی که دیگر وجود ندارند، باید موضوعات زیر را در نظر داشته باشید:

• اگر صفحه ای از بین رفته است و هیچ ترافیک یا لینک مهمی را دریافت نمی کند، اجازه دهید ارور 404 یا 410 نمایش داده شود. البته باید اطمینان حاصل کنید که پاسخی که ارور 404 یا 410 ارائه می شود و کد 200 نشان داده نمی شود.
• صفحات قدیمی را با استفاده از ریدایرکت 301 به صفحات مرتبط در سایت خود redirect کنید.
  آشنایی با ریدایرکت سایت
• توجه داشته باشید تعداد زیادی از این صفحات مرده را به صفحه اصلی خود ریدایرکت نکنید. این صفحات یا باید خطای 404 را نشان دهند یا اینکه به یک صفحه مرتبط مناسب ریدایرکت شوند.
  می توانید به کمک آموزش ساخت صفحه ۴۰۴ در وردپرس یک صفحه اختصاصی برای خود طراحی کنید تا در چنین مواقعی نمایش داده شود.

اگر صفحات شما زنده هستند اما خطای 404 را نشان داده می شود، باید اقدامات زیر را داشته باشید:

• اطمینان حاصل کنید که محتوای کافی در صفحه مورد نظر وجود داشته باشد. چرا که در برخی از موارد صفحاتی که محتوایی ندارند یا محتوای آنها کم است، خطای soft 404 ارائه می دهند.
• همچنین باید مطمئن شوید که در حین نشان دادن کد 200، صفحه به صورت 404 نشان داده نمی شود.

شناخت و درک خطای soft 404 کمی دشوار است. چرا که صفحات دارای این خطا به نوعی میان یک صفحه عادی بودن و یک صفحه با خطای 404 گیر افتاده اند. به همین دلیل باید اطمینان حاصل کنید که صفحات مهم و اصلی سایت شما خطای soft 404 را نشان نمی دهند.

خطای Access denied

زمانی با خطای دسترسی رد شد رو به رو می شوید که ربات گوگل به دلیل نداشتن مجوز دسترسی نتواند صفحه وب سایتتان را crawl کند. دلایلی که سبب بروز این خطا می شوند، عبارتند از:

• کاربران برای اینکه بتوانند URL سایتتان را مشاهده نمایند، باید ابتدا در سایت ثبت نام کنند. به همین دلیل ربات گوگل نیز نمی تواند به آن دسترسی پیدا کند.
• از طریق فایل robots.txt دسترسی گوگل به یک URL، فولدر یا کل سایت بلاک شده است.
• سرویس ارائه دهنده میزبانی وب، دسترسی ربات گوگل به وب سایتتان را بلاک کرده است یا سرور نیاز دارد که کاربران توسط پروکسی اعتبار خود را تایید کنند.
• و…

مطمئنا زمانی که دسترسی ربات های گوگل به وب سایتتان محدود شده باشد، در زمینه ایندکس شدن محتوا دچار مشکل خواهید شد. به همین دلیل بررسی این موضوع و حل آن امری مهم است.

رفع خطای Access denied

به منظور رفع خطای access denied برای از بین بردن مشکل ایندکس نشدن سایت باید تمامی عواملی که دسترسی googlebot را محدود کرده اند، حذف نمایید. این عوامل عبارتند از:

• صفحاتی که می خواهید گوگل آنها را crawl کند را از حالت نیاز به ثبت نام خارج کنید.
• فایل robots.txt را بررسی کنید تا اطمینان حاصل کنید که صفحات مورد نظرتان در لیست بلاک آن قرار نگرفته اند.
• با استفاده از URL inspection می توانید بررسی کنید که آیا موتور جستجو گوگل می تواند وب سایتتان را نمایش دهد یا نه.

مشکلات مربوط به access denied می تواند روی رتبه سایت شما تاثیر بگذارد. به همین دلیل بررسی ارورهای مربوط به مجوز دسترسی از اهمیت بسیار بالایی برخوردار است.

خطای Not followed

نباید این خطا را با ارور «nofollow» در بحث لینک دهی اشتباه بگیرید. مورد «not followed» در واقع به این معنا است که گوگل نمی تواند یک URL مشخص را دنبال کند. بیشتر اوقات این خطا به این دلیل پیش می آید که گوگل هنوز با خواندن محتوای Flash، کدهای Javascript و مقوله ریدایرکت شدن مشکل دارد. به همین دلیل اگر صفحات اصلی دچار مشکل not followed شده اند، باید برای رفع آن ها اقدام نمایید.

رفع خطای Not followed

گوگل ویژگی هایی را که موتورهای جستجو در هنگام crawling با آنها مشکل دارند را مشخص نموده است. این ویژگی ها عبارتند از:

• JavaScript
• Cookies
• Session IDs
• Frames
• DHTML
• Flash

اگر صفحه ای که با مشکل مواجه شده است یکی از ویژگی های بالا را دارد، پس دلیل خطای موجود را پیدا کرده اید. زمانی که محتوا و لینک های قرار گرفته در یک صفحه قابل دیدن نباشد، ربات های گوگل نیز نمی توانند آن صفحه را crawl کرده و همین امر سبب ایندکس نشدن سایت می شود. پس در خصوص حذف عامل مربوطه اقدام نمایید. مورد دیگری که به عنوان عامل خطای not followed به آن اشاره شد ریدایرکت شدن صفحه بود. در این خصوص باید کارهای زیر را انجام دهید:

• زنجیرهای ریدایرکت را بررسی کنید. اگر این زنجیر دارای هاپ یا جهش زیادی باشد، گوگل آن ها را دنبال نمی کند.
• در صورتی که فرصت کافی داشتید، به جای استفاده از redirect سعی کنید معماری وب سایت خود را بروز رسانی کنید.
• URL های ریدایرکت شده خود را در نقشه سایت قرار ندهید. در سایت مپ تنها باید URL نهایی قرار گرفته باشد.

خطاهای dns و server

در زیر مجموعه خطاهای URL می توان خطاهای dns و سرور را نیز دوباره در نظر گرفت. البته روش حل و مدیریت این دسته از ارورها برای یک URL مشخص با تمام یک وب سایت یکی است. به همین دلیل روش رفع این خطاها که باعث ایندکس نشدن سایت می شوند را در قسمت جداگانه ای توضیح نمی دهیم. اما تفاوت هایی که در این زمینه وجود دارد که باید آنها را در نظر گرفت. اگر شما یک پیکربندی مجزا برای URL های خاص دامنه خود دارید باید آنها را در دسته خطاهای URL قرار دهید.

منبع :میزبان فا