تصور کنید محصول جدیدی را با وسواس زیاد در فروشگاه خود بارگذاری کردهاید. عکسهای خوب گذاشتهاید، توضیحات کافی نوشتهاید و لینکسازیهای داخلی را هم انجام دادهاید. حالا منتظر هستید گوگل صفحه را ببیند و کمکم بازدید و فروش شروع شود؛ اما روزها میگذرد و خبری از ایندکسشدن صفحه نمیشود.
این اتفاق یکی از رایجترین مشکلات فروشگاههای اینترنتی است و دلایل مختلفی دارد؛ از کیفیت پایین محتوای صفحه یا تکراریبودن آن گرفته تا مشکلات فنی! اما نکته مهم این است که گوگل همیشه همه صفحات را ایندکس نمیکند. گاهی عمدا بعضی صفحات را اصلاً وارد فهرست خود نمیکند، انگار که وجود ندارند.
در این مقاله دقیقاً بررسی میکنیم چرا بعضی صفحات فروشگاهی ایندکس نمیشوند، چه خطاهایی پشت پرده وجود دارد، چطور میتوان آنها را تشخیص داد و برطرف کرد.
ایندکس نشدن یعنی چه و چرا باید جدی گرفته شود؟
قبل از اینکه گوگل بتواند یک صفحه را در نتایج جستجو نمایش دهد، ابتدا باید آن را پیدا کند. وظیفه این کار برعهده رباتهای گوگل (Googlebot) است. این رباتها وارد سایتها میشوند، صفحات را بررسی و اطلاعات آنها را جمعآوری میکنند. در دنیای سئو اصطلاحا به این کار رباتها خزیدن (crawl) گفته میشود.
وقتی ربات گوگل در صفحهای میخزد، تمام لینکهایی را که داخل آن صفحه قرار دارند دنبال میکند تا به صفحات جدید برسد. این کار آنقدر تکرار میشود تا تمام صفحات سایت بررسی شوند. بعد از اینکه ربات گوگل صفحه را خزید و بررسی کرد، تصمیم میگیرد که آیا آن صفحه ارزش ایندکسشدن دارد یا نه.
پس ایندکس شدن در گوگل یعنی Googlebot صفحه شما را دیده، بررسی کرده و آن را در دیتابیس گوگل ذخیره کرده است تا در صورت مرتبطبودن، در نتایج جستجو نمایش دهد. با این وجود، اگر صفحهای ایندکس نشود، حتی اگر بهترین محتوا را داشته باشد، در نتایج جستجو ظاهر نمیشود. این یعنی عملاً هیچ شانسی برای جذب ترافیک ارگانیک ندارد.
نکته: ایندکسشدن با رتبهبندی در صفحه سرچ گوگل فرق دارد
بسیاری از فروشگاهها تصور میکنند ایندکس همان رتبهبندی صفحه برای نمایش در گوگل است؛ اما ایندکسنشدن یک مرحله قبل از رتبهگرفتن است. صفحهای که ایندکس نشده باشد، حتی وارد میدان رقابت با سایتهای دیگر هم نمیشود. برای همین بعد از راهاندازی فروشگاه اینترنتی خود باید به صورت مرتب بررسی کنید و مطمئن شوید که صفحات مهم سایت شما ایندکس شدهاند؛ چگونه؟ با کمک گوگل سرچ کنسول که بعدا مفصل درباره آن صحبت میکنیم.
چرا گوگل همیشه همه صفحات را ایندکس نمیکند؟ دلیل ایندکس نشدن صفحه
کمی عجیب است؛ اما باید بدانید که گوگل موظف نیست تمام صفحات سایت شما را ایندکس کند. گوگل منابع محدودی دارد و همیشه تلاش میکند بهترین صفحات را انتخاب کند. اگر تشخیص دهد صفحهای ارزش نمایش ندارد، آن را نادیده میگیرد یا دیرتر بررسی میکند.
این موضوع به خصوص در فروشگاههای اینترنتی بیشتر دیده میشود. چون فروشگاهها معمولاً تعداد زیادی صفحه مشابه دارند. مثلاً محصولات یک برند که فقط رنگشان فرق دارد یا صفحات فیلترشده که محتوای تکراری تولید میکنند. از نگاه گوگل، این صفحات ارزش خاصی ندارند و فقط وقت رباتهایش را هدر میدهند.
از آن طرف، بعضی از صفحات نیازی نیست که به همه نمایش داده شوند؛ مثل صفحات سبدخرید یا حساب کاربری که حاوی اطلاعات حساسی هستند. این صفحات عمدا با برچسب "noindex" مسدود میشوند تا موردخزش قرار نگیرند.
بنابراین ایندکس نشدن همیشه به این معنی نیست که یک خطای فنی در سایت شما وجود دارد. ممکن است گوگل خیلی ساده تصمیم گرفته باشد صفحه شما را فعلاً یا برای همیشه وارد فهرست نکند.
حالا که مقدمات لازم را گفتیم، وقت آن است که به سراغ اصل مطلب برویم: چرا بعضی از صفحات فروشگاهی اصلا ایندکس نمیشوند؟
دلیل اول: صفحه توسط robots.txt مسدود شده است
احتمالا میدانید که فایل robots.txt چیست؛ این فایل به گوگل میگوید کدام صفحات سایت را بررسی کند و کدام بخشها را نادیده بگیرد. اگر مسیر صفحات محصول یا دستهبندی به اشتباه در این فایل مسدود شده باشد، گوگل اصلاً نمیتواند وارد این صفحات شود؛ چه برسد به این که آنها را ایندکس کند.
این مشکل معمولاً زمانی اتفاق میافتد که تنظیمات پیشفرض فروشگاهساز یا قالب درست نباشد. همچنین، ممکن است در زمان طراحی، سایت را برای گوگل بسته و بعد از انتشار فراموش کرده باشید، این محدودیت را بردارید.
برای بررسی این موضوع باید از Google Search Console و بخش robots.txt Tester کمک بگیرید. اگر صفحه در حالت Blocked قرار گرفته باشد، باید مسیر مربوطه را از robots.txt حذف یا اصلاح کنید.
دلیل دوم: تگ noindex روی صفحه فعال است
دومین دلیل رایجی که باعث ایندکس نشدن صفحات فروشگاهی میشود، وجود تگ noindex در کد صفحه است. این تگ به گوگل میگوید: «این صفحه را بررسی (crawl) کن؛ اما در نتایج گوگل نمایش نده.»
حالا کاربرد این تگ نوایندکس چیست؟ بعضی از صفحات سایت مثل سبدخرید، ورود کاربران و غیره نیازی نیست که در نتایج گوگل ظاهر شوند. به همین دلیل اگر گوگل آنها را ایندکس کند؛ فقط وقت خود را هدر داده است. تگnoindex به این صفحات اضافه میشود تا گوگل بفهمد که نیازی به بررسی آنها نیست. مشکل زمانی ایجاد خواهد شد که این تگ اشتباها در صفحات مهمی مثل محصول، دستهبندی و غیره فعال میشود. اگر به این موضوع شک دارید، باید سورس صفحه را ببینید و به دنبال این کد بگردید:
<meta name="robots" content="noindex">
اگر این تگ وجود داشته باشد، باید تنظیمات افزونه سئو یا سیستم مدیریت محتوای سایت خود را اصلاح کنید تا صفحه از حالت نوایندکس خارج شوند.
دلیل سوم: سیستم مدیریت محتوا صفحات کمارزش تولید میکند
بعضی سیستمهای مدیریت محتوا بهصورت خودکار صفحات زیادی میسازند؛ مثل آرشیو برند، آرشیو تگ، نتایج جستجوی داخلی و موارد مشابه. اگر از این صفحات غافل شوید، سایت پر از URLهایی میشود که محتوای کافی ندارند یا تکراری هستند.
وقتی گوگل وارد چنین سایتی میشود، نظر منفی نسبت به آن پیدا میکند. در نتیجه، زمان کمتری برای ایندکس صفحات آن میگذارد. در این حالت، حتی صفحات خوب سایت هم روزها طول میکشد تا ایندکس شوند.
به همین دلیل است که تاکید میکنید سایت خود را فقط با پلتفرمهای حرفهای راهاندازی کنید. یک پلتفرم حرفهای مثل فروشگاه ساز شاپفا به شما اجازه میدهد صفحات بیارزش را کنترل کنید و ساختار URL تمیز و منطقی بسازید. در صورت تمایل میتوانید این امکانات شاپفا را به صورت رایگان تست کنید:
دلیل چهارم: صفحه Canonical اشتباه دارد
تگ کنونیکال چیست؟ وقتی چند صفحه در سایت شما محتوای تکراری و مشابه دارند، تگCanonical به گوگل میگوید نسخه اصلی کدام است. حالا اگر این تگ اشتباها در صفحهای تنظیم شده باشد، ممکن است گوگل آن را اصلاً ایندکس نکند.
مثلاً فرض کنید شما صفحه محصولی دارید که در کد صفحه آن تگ canonical به یکآدرس دیگر اشاره کرده باشد. در این حالت گوگل فرض را بر این میگیرد که صفحه فعلی نسخه تکراری است و صفحه اصلی نیست. بنابراین آن را کنار میگذارد.
این مشکل در فروشگاههای اینترنتی بسیار پیش میآید؛ چون یک محصول ممکن است از چند مسیر قابل دسترسی باشد. مثلاً از دستهبندیهای مختلف. در چنین صفحاتی اگر تگ کنونیکال درست استفاده نشود، گوگل صفحه را به عنوان نسخه تکراری تشخیص میدهد. برای حل این مشکل باید تگ canonicalرا دقیقا با آدرس نسخه اصلی آن تنظیم کنید.
دلیل پنجم: محتوای صفحه ضعیف یا تکراری است
یکی از بزرگترین دلایل ایندکس نشدن صفحات محصول، این است که محتوای ضعیف یا تکراری دارند. اگر توضیحات محصول را از سایتهای دیگر کپی کرده یا فقط چند خط کوتاه درباره آن نوشته باشید، احتمالا گوگل صفحه را بیارزش تشخیص میدهد.
اگر میخواهید صفحات شما سریعتر ایندکس شوند، باید برای هر محصولی توضیحات اختصاصی بنویسید. مشخصات فنی، مزایا و سوالات متداول را به صفحه اضافه کنید. وقتی محتوای صفحه مفید باشد، شانس ایندکسشدن آن چندبرابر میشود.
دلیل ششم: سایت با صفحات فیلتر و پارامترهای URL شلوغ شده
بیشتر سایتهای فروشگاهی قابلیت فیلترگذاری برای محصولات از نظر رنگ، سایز، برند و غیره را دارند. حتما دقت کردهاید که هر فیلتر یک صفحه با URL پارامتردار تولید میکند؛ مثل: example.com/shoes?color=black&size=42
اگر تعداد این صفحات زیاد باشد گوگل با حجم بالایی از صفحات مشابه روبهرو میشود. به همین دلیل سایت را شلوغ و بینظم میداند و ممکن است تعدادی از صفحات آن را نادیده بگیرد.
حتی اگر صفحات فیلتر noindex باشند، باز هم بودجه خزش سایت را هدر میدهند. چون گوگل انرژی خود را روی این صفحات فیلتر میگذارد و دیرتر به سراغ صفحات اصلی محصول میرود. پس باید فقط فیلترهای مهم و ارزشمند را سئو کرده و بقیه را noindex یا block کنید. همچنین باید پارامترها را در Google Search Console مدیریت کنید تا گوگل بداند کدامیک اهمیت ندارند.
دلیل هفتم: بودجه خزش هر سایت محدود است
سر رباتهای گوگل بسیار شلوغ است. به همین دلیل برای هر سایت فقط مدت زمان مشخصی اختصاص میدهند. بودجه خزش یا Crawl Budget یعنی تعداد صفحاتی که گوگل در یک بازه زمانی از سایت شما بررسی میکند.
اگر فروشگاه شما صفحات بیارزش زیادی داشته باشد، گوگل بخش زیادی از بودجه خزش را صرف بررسی آنها میکند. در نتیجه صفحات اصلی مثل محصولات جدید، دیرتر خزیده میشوند یا اصلاً نوبتشان نمیرسد. این یکی از مهمترین دلایل اصلی است که بعضی محصولات تا هفتهها ایندکس نمیشوند.
برای مدیریت Crawl Budget باید:
- صفحات کمارزش را حذف یا نوایندکس کنید؛
- لینکسازی داخلی را تقویت کنید؛
- نقشه سایت درست بسازید
- و سرعت سایت را بالا ببرید.
با این کارها رباتهای گوگل در فرصتی که دارند، میتوانند تعداد صفحات بیشتری را ایندکس کنند.
دلیل هشتم: صفحه در سایتمپ وجود ندارد یا سایتمپ مشکل دارد
سایت مپ (sitemap) همانطور که از نامش پیداست، نقشهای از ساختار صفحات سایت است. گوگل با کمک این نقشه ارتباط بین صفحات سایت شما را بهتر درک میکند.
در بعضی از فروشگاهها سایتمپ فقط صفحات دستهبندی را نشان میدهد و محصولات جدید دیر به آن اضافه میشوند. حتی گاهی ممکن است سایتمپ بهصورت اشتباه ساخته شود و لینکهای 404 یا ریدایرکتشده داخل آن باشند. در این مواقع گوگل به اشتباه میافتد و طبیعی است که صفحاتی را ایندکس نکند. البته اگر صفحهای در سایتمپ نباشد، گوگل باز هم آن را پیدا میکند؛ اما با تاخیر زیاد.
بنابراین، اگر برای ایندکسشدن صفحات سایت خود عجله دارید، باید سایتمپ را مرتب بررسی کنید. مطمئن شوید که:
- صفحات مهم داخل آن هستند؛
- URLها درست درج شدهاند؛
- صفحات noindex نیستند
- و سایتمپ در Google Search Console ثبت شده است.
دلیل نهم: لینکسازی داخلی ضعیف است
همانطور که گفتیم رباتهای گوگل با دنبالکردن لینکهای داخلی، صفحات سایت را کشف میکنند. بنابراین، اگر صفحه شما هیچ لینک داخلی نداشته باشد، گوگل آن را پیدا نمیکند یا خیلی دیر به آن میرسد. اگر در فروشگاه شما محصولات فقط از طریق جستجوی داخلی یا فیلترها قابل دسترسی هستند، احتمال وجود این مشکل بیشتر است.
برای حل آن باید:
- محصولات را در دستهبندی درست قرار دهید؛
- از بخش «محصولات مرتبط» استفاده کنید؛
- از صفحات بلاگ به محصولات لینک بدهید
تا گوگل راحتتر آنها را پیدا کند.
دلیل دهم: سرعت پایین سایت یا خطاهای سرور مانع خزش میشود
اگر سایت کند باشد یا خطا بدهد، گوگل بودجه خزش را محدود میکند. چون دلیلی نمیبیند که منابعش را صرف سایتهایی کند که پاسخ درست نمیدهند. فروشگاههایی که:
- روی هاست ضعیف قرار دارند؛
- از تصاویر سنگین استفاده میکنند؛
- سرعت پایینی دارند و صفحات آنها دیر بارگذاری میشوند؛
- کدنویسی آنها مشکلدار است و فایلهای جاوااسکریپت سنگینی دارند؛
- با خطاهای 500، 502، 503 یا حتی تایماوت شدن صفحات همراه هستند؛
به مرور توسط گوگل کنار گذاشته میشوند.
اگر دوست ندارید که سایت شما هم جز این دسته باشد، باید به فکر افزایش سرعت لود صفحات، بهینهسازی تصاویر، فعالکردن کش و استفاده از یک هاست قوی باشید.
دلیل یازدهم: صفحه جدید است و گوگل هنوز آن را بررسی نکرده
گاهی هیچ مشکلی وجود ندارد و فقط صفحه به تازگی ساخته شده است. گوگل همیشه بلافاصله صفحات جدید را ایندکس نمیکند؛ به خصوص اگر سایت شما نوپا یا کماعتبار است باید چند هفته به گوگل فرصت بدهید.
بعد از این مدت اگر صفحه همچنان ایندکس نشد، باید بررسی کنید که مشکل دیگری وجود نداشته باشد. میتوانید با ثبت سایتمپ، لینکسازی داخلی، انتشار محتوا در شبکههای اجتماعی و گرفتن بکلینک سرعت ایندکس را بیشتر کنید. همچنین میتوانید در Google Search Console درخواست ایندکس دستی بدهید.
دلیل دوازدهم: صفحه دارای ریدایرکت یا خطای 404 است
این قانون گوگل است که صفحات ریدایرکتشده یا دارای خطای 404 را ایندکس نمیکند. از آن طرف، بسیاری از فروشگاهها بدون اینکه متوجه شوند، محصولات را حذف میکنند یا URLها را تغییر میدهند.
مثلا ممکن است یک محصول موجود باشد؛ اما نامک یا دستهبندی آن را تغییر دهید. در این حالت، احتمال دارد سایت URL قبلی را حفظ نکند و صفحه جدید بسازد. در صورتی که گوگل URL قبلی را میبیند و خطا میگیرد. URL جدید هم ممکن است دیر ایندکس شود.
برای جلوگیری از این مشکل:
- اگر URL را تغییر میدهید، باید حتما به صفحه جدید ریدایرکت 301 بدهید.
- اگر محصول را حذف میکنید، بهتر است به محصول مشابه یا دستهبندی مرتبط ریدایرکت کنید.
دلیل سیزدهم: اعتبار دامنه پایین است و گوگل اعتماد کافی ندارد
گوگل در برابر سایتهای تازهتاسیس یا کماعتبار سختگیرتری بیشتر دارد. سایتهای قدیمیتر که پر از محتواهای آموزشی هستند، زودتر توسط رباتهای گوگل بررسی خواهند شد. در مقابل، اگر سایت شما بکلینکهای قوی و مقالات و محتواهای مفید نداشته باشد، صفحات آن دیرتر از حدمعمول توسط گوگل ایندکس میشوند.
بنابراین، اگر میخواهید همه صفحات سایت شما بلافاصله ایندکس شوند، باید قدرت دامنه خود را افزایش دهید؛ چگونه؟ در وبلاگ سایت خود راهنمای خرید و محتواهای آموزشی و مفید بارگذاری کنید و به فکر برندسازی فروشگاه آنلاین خود باشید.
دلیل چهاردهم: صفحه تکراری است و گوگل نسخه دیگری را ایندکس کرده
گاهی ممکن است گوگل صفحه شما را تکراری تشخیص داده و نسخه دیگری را به عنوان صفحه اصلی ایندکس کرده باشد. در فروشگاهها این مشکل میتواند به دلیل URLهای مختلف برای یک محصول ایجاد شود. مثلاً فرض کنید یک محصول هم از منوی دستهبندی و هم از گزینه برند قابل دسترسی باشد یا نسخههای مختلف URL آن با www و بدون www وجود داشته باشند.
اگر این موارد مدیریت نشوند، گوگل این صفحات را تکراری تشخیص میدهد و تنها یکی را انتخاب میکند. در نتیجه، بعضی صفحات اصلا ایندکس نمیشوند یا صفحهای انتخاب میشود که اهمیت کمتری دارد.
برای جلوگیری از این مشکل باید:
- ساختار URL سایت را یکپارچه کنید؛
- ریدایرکتهای 301 را درست انجام دهید؛
- تگcanonical را برای مشخصکردن صفحات اصلی تنظیم کنید
- و صفحات تکراری را حذف یا ادغام کنید.
در مقاله زیر بیشتر درباره این مشکلات و نحوه رفع آنها توضیح دادهایم.
چگونه بفهمیم دقیقاً دلیل ایندکس نشدن یک صفحه در سایت چیست؟
گوگل سرچ کنسول سریعترین راه برای دیدن وضعیت صفحات سایت شما است. در این ابزار میتوانید آدرس صفحه موردنظرتان را وارد کنید و ببینید که آیا ایندکس شده یا نه و اگر نشده دلیل احتمالی آن چیست. همچنین، میتوانید لیست خطاهای مربوط به index صفحات را ببینید. در ادامه آموزش میدهیم که چگونه در گوگل سرچ کنسول این اطلاعات طلایی را پیدا کنید:
- اول از همه وارد گوگل سرچ کنسول شوید.
- در نوار سمت چپ بخش indexing (ایندکسکردن) را پیدا کنید.
- روی تب pages (صفحات) کلیک کنید.
- حالا در بالای صفحه بازشده، میتوانید تعداد صفحات ایندکسشده و نشده را بینید.
- یک نمودار هم مشاهده میکنید که باید شیب صعودی ملایمی (نسبت به تعداد محتواهای جدیدی که منتشر کردهاید) داشته باشد. اگر این نمودار افت یا صعود شدیدی را نشان میدهد، احتمالا مشکلی وجود دارد که باید بیشتر بررسی کنید.
- در پایین این نمودار و در قسمت Why pages aren’t indexed میتوانید ببینید چرا بعضی از صفحات سایت شما ایندکس نشدهاند. بعضی از این پیامها واضح هستند و بعضی دیگر مبهم. با این حال، نگران نباشید در ادامه کامل خطاهای رایج این بخش را توضیح میدهیم.
اگر میخواهید وضعیت صفحه خاصی در سایت خود را مشاهده کنید، باید به سراغ ابزار URL Inspection در این صفحه بروید:
- در بالای صفحه pages، کادری را پیدا کنید که علامت ذرهبین دارد؛ (در این کادر نوشته شده inspect any URL)
- آدرس دقیق صفحه موردنظرتان را در این کادر وارد کنید و اینتر بزنید؛
- حالا گزارشی از وضعیت صفحه به شما نمایش داده میشود؛ این که آیا ایندکس شده، در انتظار بررسی است یا ایندکس نشده.
اگر صفحه ایندکس نشده باشد، خطایی که باعث بروز این مشکل شده است، به شما نمایش داده میشود. در ادامه خطاهای رایجی را که ممکن است در گوگل سرچ کنسول ببینید، توضیح میدهیم.
خطاهای رایج ایندکسنشدن صفحه در Google Search Console + راهکارهای عملی
حالا که با دلایل کلی ایندکس نشدن صفحات سایت آشنا شدید، آمادگی دارید تا سراغ مطلب تخصصیتری برویم: شناخت خطاهای ایندکس نشدن صفحه در گوگل سرچ کنسول.
قبل از شروع باید یادآوری کنیم که همه خطاهایی که در این بخش میبینید، نگرانکننده نیستند. بعضی از آنها طبیعی هستند و حتی ثابت میکنند که سایت شما بهدرستی مدیریت شده است؛ اما بعضی دیگر باید سریع بررسی و اصلاح شوند.
* خطای سرور؛ Server error (5xx)
این خطا یعنی ربات گوگل هنگام بازکردن صفحه با خطای سرور روبهرو شده است. حالا یا فشار زیادی روی سرور بوده یا سایت شما موقتاً از دسترس خارج شده یا تنظیمات هاست دچار مشکل شده است.
در بسیاری از مواقع، این خطا موقتی است و بعد از چند ساعت یا چند روز خودبهخود برطرف میشود. با این حال، اگر این خطا زیاد تکرار شود، گوگل به سایت شما کمتر سر میزند و صفحات جدید دیرتر ایندکس میشوند.
برای حل این مشکل باید با پشتیبانی هاست خود مشورت کنید تا ریشه اصلی مشخص شود. حتی شاید نیاز باشد هاست خود را تقویت کنید.
* خطای ریدایرکت؛ Redirect Error
این پیام نشان میدهد گوگل هنگام دنبالکردن ریدایرکتهای یک صفحه، دچار مشکل شده است. این مشکل معمولاً در چند حالت اتفاق میافتد:
- زنجیره ریدایرکتها خیلی طولانی و چند مرحلهای شده است؛
- ریدایرکت حلقهای باشد و به همان صفحه برگردد؛
- یک صفحه مشکلدار یا خالی در زنجیره ریدایرکت وجود داشته باشد؛
اگر چنین خطای رخ داد، باید مسیر ریدایرکتها را بررسی کنید تا منشا اصلی پیدا شود. بهتر است ریدایرکتها را کوتاه کنید و مطمئن شوید URL نهایی بدون خطا باز میشود. بهترین حالت این است که هر صفحه فقط یک ریدایرکت مستقیم (301) به مقصد نهایی داشته باشد.
* خطای تگ نوایندکس؛ URL marked “noindex”
این پیام مشخص است، خود سایت با تگ noindex به گوگل دستور داده است که این صفحه را وارد نتایج نکند. حالا یا خود شما این تگ را با تنظیمات افزونه سئو به سایت اضافه کردید یا به صورت پیشفرض در صفحه بوده است.
برای اطمینان آدرس صفحه را باز کنید. اگر صفحه خاصی نبود و نیازی به دیدنشدن در نتایج گوگل نداشت؛ باید روی همین حالت نوایندکس بماند؛ (مثل صفحه سبدخرید، ورود و غیره). در غیر این صورت، اگر صفحه محصول یا دستهبندی یا یکی از صفحات مهم سایت بود، باید این تگ را از صفحه حذف کنید.
* خطای خزش صفحه؛ Submitted URL has a crawl issue
این پیام یعنی شما صفحه را برای ایندکسشدن معرفی کردهاید (مثلاً از طریق سایتمپ)؛ اما گوگل هنگام خزیدن در صفحه با مشکل روبهرو شده است.
این مشکل میتواند به دلایل مختلفی رخ دهد؛ مثل: کندبودن سایت، خطای سرور، مشکل در بارگذاری تصاویر یا فایلهای جاوااسکریپت و حتی مسدودبودن منابع صفحه. گاهی هم صفحه در مرورگر باز میشود؛ اما گوگل به دلیل ساختار فنی صفحه نمیتواند آن را کامل پردازش کند.
در این حالت صفحه را باز کنید تا ببینید به درستی باز میشود یا نه. اگر مشکل بهخودی خود برطرف شده بود، دوباره درخواست ایندکس مجدد بدهید. در غیر این صورت، در ابزار URL Inspection آدرس صفحه را وارد کنید تا ببینید گوگل دقیقا چه مشکلی را گزارش کرده است. سپس آن را برطرف کرده و برای ایندکس دوباره درخواست دهید.
* خزیده شده، اما فعلاً ایندکس نشده؛ Crawled – currently not indexed
این مورد یکی از رایجترین پیامها در سایتهای فروشگاهی است. معنی آن مشخص است: گوگل صفحه را دیده و بررسی کرده؛ اما تصمیم گرفته فعلاً آن را وارد نتایج نکند.
اغلب این خطا به دلیل ضعف محتوا یا تکراریبودن صفحه اتفاق میافتد. برای رفع آن باید محتوای صفحه را بازنویسی کنید. بهتر است توضیحات کاملتری بنویسید و مشخصات فنی دقیق و سولات متداول را هم اضافه کنید. یادتان باشد در مواقع نیازی نیست که درخواست ایندکس بدهید، کافی است منتظر بمانید تا دوباره گوگل به صفحه سر بزند.
* خطای کشف صفحه بدون ایندکس،Discovered
این پیام یعنی گوگل URL را پیدا کرده؛ اما هنوز آن را کراول (crawl) نکرده است. به زبان سادهتر، صفحه در صف بررسی قرار گرفته؛ اما هنوز نوبتش نشده است.
این اتفاق معمولاً زمانی رخ میدهد که سایت شما صفحات زیادی داشته باشد یا گوگل حس کند خزیدن کامل سایت ممکن است به سرور فشار بیاورد. در فروشگاههایی که محصولات زیاد دارند، این پیام بسیار رایج است.
برای حل این مشکل باید صفحات بیارزش و تکراری را مدیریت کرده، سرعت سایت را افزایش دهید و لینکسازی داخلی سایت را تقویت کنید. همچنین با پشتیبانی هاست خود تماس بگیرید تا مطمئن شوید مشکل از آن سمت نیست.
* مسدود شده توسط فایل ربات تی ایکس تی؛ Blocked by robots.txt
این پیام یعنی فایل robots.txt اجازه خزیدن به این صفحه را نداده است. در نتیجه گوگل نتوانسته محتوا را بررسی کند.
در چنین شرایطی باید فایل robots.txt را بررسی کنید و مطمئن شوید صفحه مسدودشده صفحه مهمی در سایت (مثل صفحه محصول یا دستهبندی) نیست. اگر هدف شما این است که صفحه اصلاً در نتایج دیده نشود، بهتر است به جای robots.txt از noindex استفاده کنید؛ چون robots.txt فقط جلوی خزش را میگیرد و ممکن است گوگل اطلاعات صفحه را از طریق دیگری پیدا کرده و آن را ایندکس کند.
* درخواست غیرمجاز؛ Blocked due to unauthorized request (401)
این خطا یعنی صفحه برای نمایش نیاز به ورود یا رمزعبور دارد. گوگل نمیتواند وارد حساب کاربری شود، بنابراین صفحه را ایندکس نمیکند.
اگر صفحه مربوط به پنل مشتریان یا بخش مدیریت فروشگاه باشد، این کاملاً طبیعی است و نیازی به اقدام ندارد؛ اما اگر به اشتباه صفحه محصول یا دستهبندی محدود شده باشد، باید دسترسی آن را عمومی کنید.
البته یک احتمال دیگر هم وجود دارد؛ ممکن است در مراحل اولیه طراحی سایت لینکسازیهای تستی روی آن انجام داده و بعد از راهاندازی سایت بهروزرسانی این لینکها را فراموش کرده باشید. در این حالت باید تنظیمات امنیتی را بررسی و لینکها را آپدیت کنید.
* دسترسی ممنوع است؛ Blocked due to access forbidden (403)
این خطا شبیه 401 است؛ اما در این حالت سرور بهطور کامل دسترسی گوگل را رد کرده است. یعنی حتی امکان مشاهده صفحه با شرایط خاص هم وجود ندارد.
این مشکل میتواند به دلیل تنظیمات امنیتی، فایروال، یا مسدودکردن IPهای خارجی رخ دهد. بعضی سرویسهای امنیتی ممکن است به اشتباه Googlebot را ربات مخرب تشخیص دهند.
اگر میخواهید این صفحه ایندکس شود، باید اجازه دسترسی به Googlebot را بدهید. در غیر این صورت صفحه برای همیشه از نتایج گوگل حذف خواهد شد.
* بروز خطای غیرعادی در خزیدن؛ Crawl anomaly
این پیام یعنی گوگل هنگام بررسی صفحه با یک مشکل غیرعادی روبهرو شده؛ اما نوع مشکل را دقیق مشخص نکرده است. در بسیاری از موارد، علت اصلی این پیام یکی از این موارد است: صفحه حذف شده یا به صفحهای ریدایرکت شده است که خطای 404 میدهد.
برای حل این مشکل باید URL را بررسی کنید، مطمئن شوید صفحه وجود دارد، خطای 404 نمیدهد و ریدایرکتهای آن درست هستند. ابزار URL Inspection در اینجا بسیار کمککننده است، چون به شما نشان میدهد گوگل دقیقاً چه خطایی دریافت کرده است.
* صفحه جایگزین با تگ کانونیکال مناسب؛ Alternate page with proper canonical tag
این پیام یعنی گوگل صفحه را تکراری تشخیص داده؛ اما شما canonical را درست تنظیم کردهاید و گوگل هم همان نسخه اصلی را پذیرفته است. در این موارد نیازی به اقدام خاصی نیست.
* صفحه تکراری بدون canonical مشخص؛ Duplicate without user-selected canonical
گاهی سرچ کنسول اعلام میکند صفحههای مشابه وجود دارند؛ اما شما canonical تعیین نکردهاید. در نتیجه، گوگل خودش نسخه اصلی را انتخاب کرده است.
این مورد میتواند خطرناک باشد، چون ممکن است گوگل نسخهای را انتخاب کرده باشد که مدنظر شما نیست. برای رفع این مشکل، باید نسخه اصلی را مشخص کرده و در صفحات مشابه، canonical را برای URL اصلی تنظیم کنید.
* گوگل canonical متفاوتی انتخاب کرده؛ Duplicate, Google chose a different canonical than user
این پیام یعنی شما canonical را مشخص کردهاید؛ اما گوگل به آن اعتماد نکرده و URL دیگری را به عنوان نسخه اصلی انتخاب کرده است.
این اتفاق معمولاً زمانی رخ میدهد که canonical روی صفحهای قرار دارد که به آدرس دیگری ریدایرکت شده است. در این حالت باید canonicalها، ریدایرکتها و ساختار URL را بررسی کنید و مطمئن شوید که همهچیز درست و اصولی است.
* صفحه یافت نشد؛ Page not found (404)
این پیام یعنی گوگل یک URL را پیدا کرده؛ اما صفحه وجود ندارد. این مشکل معمولاً زمانی رخ میدهد که محصولی حذف شده یا URL تغییر کرده؛ ولی ریدایرکت نشده است.
در فروشگاه اینترنتی بهتر است صفحه محصولات حذفشده را رها نکنید. اگر محصول مشابهی دارید، بهتر است یک ریدایرکت 301 به محصول مشابه یا دستهبندی مربوطه ایجاد کنید. البته اگر محصول برای همیشه حذفشده و جایگزینی ندارد، چارهای جز رهاکردن خطای 404 نیست؛ اما بهتر است تا جای ممکن این خطاها را برطرف کنید.
* صفحه ریدایرکتشده؛ Page with redirect
این پیام یعنی صفحه موردنظر به صفحه دیگری هدایت میشود، بنابراین گوگل آن را ایندکس نکرده است.
اگر عمدا صفحه را ریدایرکت کردهاید، نیاز به اقدام خاصی نیست؛ اما اگر این ریدایرکت اشتباه باشد، آن را اصلاح کنید تا URL درست در نتایج نمایش داده شود.
* خطای Soft 404
Soft 404 یعنی صفحه از نظر محتوا شبیه یک صفحه «یافت نشد» است؛ اما از نظر فنی خطای 404 نمیدهد. مثلاً صفحهای که فقط نوشته «محصول موجود نیست»؛ ولی همچنان کد 200 برمیگرداند.
گوگل چنین صفحاتی را بیارزش میداند و ایندکس نمیکند. در فروشگاهها این اتفاق زمانی رخ میدهد که محصول ناموجود شده و صفحه خالی یا ناقص باقی مانده است.
برای رفع این مشکل باید یا صفحه را به محصول مشابه ریدایرکت کنید، یا محتوا را کامل نگه دارید (مثلاً معرفی محصول، توضیحات و پیشنهاد جایگزین)، یا اگر واقعاً باید حذف شود، کد 404 یا 410 واقعی برگردانید.
* صفحه در صف خزش است؛ Queued for crawling
این وضعیت یعنی گوگل صفحه را برای بررسی در صف گذاشته؛ اما هنوز آن را کامل بررسی نکرده است. این پیام معمولاً جای نگرانی ندارد و بهمرور زمان حل میشود.
*آدرس ارسالشده حذف شد؛ Submitted URL dropped
این پیام یعنی درخواست ایندکسشدن این URL ارسال؛ اما بدون هیچ دلیل مشخصی از فهرست گوگل حذف شده است. دلیل این اتفاق میتواند کاهش کیفیت محتوا، تکراریبودن صفحه یا تغییرات ساختاری سایت باشد.
برای حل مشکل باید محتوای صفحه را تقویت کنید، ساختار صفحه را بهبود دهید و مطمئن شوید صفحه از نظر فنی بدون مشکل است. در صورت نیاز میتوانید بعد از اصلاح، درخواست ایندکس مجدد ثبت کنید.
با شاپفا، فروشگاه خود را حرفهای مدیریت کنید
ایندکس نشدن بعضی از صفحات فروشگاه همیشه به معنی وجود مشکل جدی نیست. گاهی گوگل عمداً بعضی URLها را کنار میگذارد، چون تکراری، کمارزش یا غیرضروری هستند. البته در بسیاری از مواقع، دلیل ایندکس نشدن به مشکلاتی مثل noindex، robots.txt، خطاهای سرور، ریدایرکتهای اشتباه، محتوای ضعیف یا ساختار نامناسب صفحات برمیگردد.
بهترین راه این است که ابتدا وضعیت صفحه را در گوگل سرچ کنسول ببینید، دلیل اصلی را پیدا کرده و سپس مشکل را برطرف کنید.
در نهایت، اگر تمایل دارید صفحات سایت شما بدون دردسر در نتایج گوگل نمایش داده شوند، باید قبل از هر چیز فروشگاهی حرفهای داشته باشید. با فروشگاه ساز شاپفا شما میتوانید بدون نیاز به هیچ مهارتی یک سایت فروشگاهی اصولی راهاندازی کنید؛ چون مسئولیت مسائل فنی سایت شما برعهده تیم پشتیبانی شاپفاست. بهعلاوه، امکانات شاپفا آنقدر کامل است که میتوانید بهراحتی صفحات سایت خود را مدیریت کنید. در صورتی که نیاز به مشاوره رایگان دارید، با 02167954 تماس بگیرید یا فرم مشاوره را پر کنید.
