نوایندکس (Noindex) چیست و چگونه باید یک صفحه را نوایندکس کرد؟

قبل از هر چیزی بهتر است با خود ایندکس آشنا شویم.

ایندکس (Index) چیست؟

افرادی که در زمینه وب‌سایت فعالیت می‌کنند، بارها با این موضوع برخورد کرده‌اند و این اصطلاح را شنیده‌اند که فلان مطلب در گوگل ایندکس شده است. برخی از افراد هم آگاهی چندانی از این موضوع ندارند. ایندکس در حقیقت، به‌معنای فهرست شدن می‌باشد. عبارت «مطالبی که در گوگل ایندکس شده است»، یعنی آن مطلب توسط گوگل یافت می‌شود و قابل‌خواندن می‌باشد.

اگر وب‌سایتی به‌روزرسانی روزانه نداشته باشد، این مسئله می‌تواند در ایندکس شدن مطالب و خدمات آن‌ها تأثیرگذار باشد. هنگامی که مطالب توسط گوگل ایندکس نمی‌شوند، باید به دنبال علت مشکل به وجود آمده باشید تا بتوانید مشکل را برطرف کنید و وب‌سایت خود را تقویت کنید و رتبه و جایگاه مناسبی در نتایج گوگل به دست آورید.

در ادامه به موضوع اصلی مقاله یعنی نوایندکس و تمامی نکات مربوط به آن می‌پردازیم.

Noindex چیست؟

Noindex مقداری است که می‌تواند در تگ robots در کد HTML در هر صفحه از سایت استفاده شود. وقتی موتورهای جست‌وجو با مقدار Noindex در برچسب‌های متا برخورد می‌کنند، در فهرست موتور جست‌وجو، آن صفحه را برای کاربران نمایش نمی‌دهند.

درواقع، Noindex تگ پیغامی است که به موتورهای جست‌وجو هشدار می‌دهد که این صفحه از وب‌سایت نباید ایندکس شود. تمام وب‌سایت‌ها دارای صفحات مختلفی هستند و شما به‌عنوان صاحبان وب‌سایت تلاش نموده‌اید تا سئوی سایت موفقی داشته باشید تا رتبه و جایگاه مناسبی در نتایج جست‌وجوی گوگل کسب نمایید. صفحات وب‌سایت می‌تواند از دیدگاه موتورهای جست‌وجوی کاربری و غیرکاربری مشخص شود. مجموعه صفحات سایت شما با صفحاتی که به وب‌سایت شما لینک داده‌اند، موجب می‌شود سایت شما یک سایت ارزشمند یا بی‌ارزش شناخته شود.

Indexing طرف مقابل Noindex می‌باشد که اجازه Index شدن صفحه را به موتور جست‌وجو می‌دهد. Index شدن صفحه به معنای این می‌باشد که محتوای آن در فهرست موتورهای جست‌وجو ثبت شود.

نحوه اجرای Noindex

برای حذف یک صفحه خاص از indexing یا به عبارتی فهرست موتورهای جست‌وجو، اضافه کردن Noindex به متاتگ robots در هدر صفحه پیشنهاد می‌شود.

برای انجام این کار باید به‌صورت خودکار یا دستی قطعه کد زیر را به صفحه موردنظر اضافه کنید:

=noindex content- robots=meta name

اجرای Noindex به‌صورت خودکار

اگر بخواهید روش خودکار را به کار بگیرید، باید از افزونه SEO Yoast استفاده نمایید. برای نصب و فعال کردن افزونه، ابتدا باید Yoast SEO را از مخزن وردپرس دانلود کنید.

Yoast SEO برای هر صفحه که ایجاد شود، قسمتی را اضافه کنید که از آن برای بهینه‌سازی محتوا استفاده می‌شود.

زمانی که محتوا را می‌نویسید، به پایین ویرایشگر مراجعه کنید. در تب Advanced گزینه‌ای وجود دارد که صفحه موردنظر را از دید موتورهای جست‌وجو پنهان می‌کند که همان Noindex می‌باشد.

اجرای Noindex به‌صورت دستی

هر سایتی فایلی به نام robots.txt دارد که وبمسترها می‌توانند آن را به‌صورت دستی ویرایش کنند. این فایل در Root هاست قرار دارد.

پس از آدرس دامنه، اولین مسیر Root می‌باشد که در فضای هاست‌ها public – html گفته می‌شود. امکان خارج شدن دسته‌جمعی صفحات از فهرست موتور جست‌وجو با استفاده از robots.txt فراهم می‌شود. این صفحات عبارت‌اند از: صفحه سبد خرید، صفحات جست‌وجو، صفحه پروفایل کاربران، صفحه پشتیبانی یا چت و صفحه از خرید شما سپاسگزاریم.

چه صفحاتی را در سایت Noindex کنیم؟

بعضی از صفحات برای هدف خاصی در سایت ایجاد شده‌اند؛ اما هدف آن‌ها این نیست که در موتورهای جست‌وجو رتبه بگیرند یا ترافیک به دست آورند. این صفحات را معمولاً نمی‌توان حذف کرد؛ زیرا بخش‌هایی از سایت از طریق آن‌ها به یکدیگر متصل شده‌اند یا به خاطر اطلاعاتی که به کاربر می‌دهند، باید در سایت باقی بمانند.

در حالت کلی، هر سایتی دارای صفحاتی است که نیازی به ایندکس شدن ندارند. این صفحات شامل موارد زیر است:

آرشیو نویسندگان در یک بلاگ تک نویسنده‌ای

اگر فقط خودتان هستید که برای وبلاگتان مطلب می‌نویسید، نود درصد صفحه آرشیو نویسندگان سایت شما مشابه صفحه اصلی سایت می‌باشد. به همین دلیل، کاربردی برای گوگل ندارد و یک محتوای تکراری در نظر گرفته می‌شود. برای جلوگیری از چنین اتفاقی، آرشیو نویسندگان را غیرفعال کنید. اگر به هر دلیلی می‌خواهید این صفحه در سایت باشد، باید آن را Noindex کنید که در نتایج صفحات جست‌وجو مشاهده نشود.

انواع پست سفارشی

گاهی یک افزونه یا پلاگین به‌طور خودکار، پست‌های سفارشی به سایت اضافه می‌کند که نیازی به ایندکس شدن آن‌ها نیست. به‌طور مثال، وب‌سایتی هستید که فروشگاه آنلاین حساب نمی‌شوید و به‌جای اینکه محصولی بفروشید، خدمات ارائه می‌دهید. در این صورت، در صفحه خرید و معرفی آن‌ها نیازی به تصویر محصول، ابعاد و سایر ویژگی‌های آن ندارید. در چنین حالتی، می‌توانید تمام صفحات پیش‌فرض محصولات را Noindex کنید و به‌جای آن یک صفحه محصول سفارشی بسازید.

صفحات تأیید و تشکر

برخی از صفحات در سایت به غیر از ارسال پیغام تأیید و تشکر، هدف دیگری ندارند. این‌گونه صفحات معمولاً محتواهای خاصی هم ندارند و ارزشی برای موتورهای جست‌وجو و کاربران ایجاد نمی‌کنند؛ بنابراین بهتر است در صفحه نتایج دیده نشوند.

صفحات ورود و ادمین

اغلب، صفحات ورود به سایت نباید در گوگل دیده شوند. با استفاده از Noindex می‌توان این صفحات را از دید گوگل پنهان نمود. این مورد مربوط به صفحات ورود به سایتی است که به یک جامعه سرویس می‌دهند.

نتایج جست‌وجوی داخلی

صفحات نتایج جست‌وجوی داخلی، بدترین چیزی می‌باشد که گوگل بخواهد به کاربرانش نشان دهد. اگر یک صفحه جست‌وجو را به صفحه جست‌وجوی دیگری لینک بدهید، نتیجه مطلوبی نمی‌گیرید.

هدف کاربر از جست‌وجو، رسیدن به صفحه نتیجه و دریافت اطلاعات باارزش می‌باشد. به همین دلیل، باید تمام صفحات جست‌وجوی داخلی را Noindex کنید.

نتایج جستجوی داخلی

صفحاتی که به خاطر رعایت برخی قوانین در سایت درج شده‌اند.

برخی از صفحات سایت، مانند صفحات اعلام شکایات، صفحه قوانین و مقررات یا فرضیات قوانین و عودت وجه فقط برای پیروی از قوانین در سایت شما قرار دارند. تصمیم‌گیری دربارهٔ Noindex شدن این‌گونه صفحات، بر عهده شخص می‌باشد و کاربران نیازی ندارند با سرچ در موتورهای جست‌وجو به این صفحات دسترسی پیدا کنند. بنابراین، بهتر است این صفحات را Noindex کنید و از نمایان شدن آن‌ها در نتایج جست‌وجو جلوگیری کنید تا دسترسی به این صفحات فقط از طریق مراجعه به خود سایت امکان‌پذیر باشد.

صفحات ویژه اعضا

اگر قسمتی از وب‌سایت خود را به اعضا یا کارمندان سازمان اختصاص داده‌اید و نمی‌خواهید در دسترس عموم قرار گیرند، دستورالعمل Noindex را برای این صفحات اعمال کنید.

دلایل مهم ایندکس نشدن سایت

گاهی اوقات ممکن است سایت شما ایندکس نشود. ایندکس نشدن سایت به چند دلیل اتفاق می‌افتد که در ادامه به شرح این دلایل می‌پردازیم.

ریسپانسیو نبودن سایت

اگر سایت شما در تبلت یا تلفن همراه ظاهر مناسبی نداشته باشد، ممکن است گوگل سایت شما را در لیست نتایج صفحه نخست خود index نکند.

سرعت پایین سایت

از نظر گوگل، پایین بودن سرعت سایت مهم می‌باشد؛ زیرا کاربر اگر با سرعت پایین مواجه شود، بلافاصله سایت را می‌بندد و به سراغ سایت دیگری می‌رود.

خطاهای احتمالی سایت

ابزارهای گوگل نظیر سرچ کنسول کمک بسیاری به شما می‌کند تا خطاهای مربوط به ایندکس نشدن را مشاهده کنید. پس از آن، باید به بررسی و رفع ایرادات بپردازید. در سرچ کنسول، امکان نمایش خطاها تا ۹۰ روز اخیر وجود دارد که برخی از این خطاها، خطای سرور، خطای ربات، خطای دسترسی ردشده و … می‌باشند.

محتوای نسبتاً طولانی و قوی

باید در نظر داشته باشید که تعداد کلمات متن موردقبول گوگل حداقل ۳۰۰ کلمه می‌باشد و هرچه از این تعداد بیشتر باشد، محتوا مفیدتر و باارزش‌تر خواهد بود؛ اما به این معنا نمی‌باشد که با نوشتن مطالب غیرضروری به یک متن طولانی برسیم. بارها دیده شده است که بعضی سایت‌ها، صدها محتوای کمتر از ۳۰۰ کلمه دارند که دیده نمی‌شوند؛ دلیل آن هم کم بودن تعداد کلمات از حداقل تعداد موردنظر گوگل می‌باشد. سایت‌هایی که متن آن‌ها ۳۰۰ کلمه است در جایگاه یک و دو قرار می‌گیرند.

کاربرد Noindex در سئو

یکی از پرکاربردترین تگ‌های سئو Noindex می‌باشد که اگر برای صفحات به‌درستی از آن‌ها استفاده شود، تأثیر بسزایی در سئوی سایت می‌گذارد.

محتوای تکراری

معمول‌ترین دلیل استفاده از تگ Noindex جلوگیری از محتوای تکراری می‌باشد. هنگامی که بیش از یک نسخه از صفحه توسط موتورهای جست‌وجو ایندکس شود، محتوای تکراری در سایت ایجاد می‌شود که آن صفحه با افت رتبه مواجه خواهد شد.

محتوای ضعیف

برخی از صفحات وب هیچ سودی برای ایندکس شدن ندارند. این‌گونه صفحات، نه اطلاعات مفیدی برای کاربر دارند و نه حاوی کلیدواژهٔ خاصی هستند. به‌طور مثال، هدف صفحه تشکر که پس از خرید نمایش داده می‌شود، برقراری رابطه دوستانه با کاربر می‌باشد که کسب رتبه و ایندکس شدن آن به‌دلیل محتوای غیرمفید، باعث افت رتبه سایت می‌شود.

چگونه از تگ Noindex در فایل robots.txt استفاده کنیم؟

فایل robots.txt نوعی فایل متنی است که دارای نقشه سایت و یک سری دستورات برای خزنده‌ها است. زمانی که خزنده‌ها به یک سایت می‌رسند، فایل را چک می‌کنند و بر اساس دستورات آن عمل می‌کنند.

با قرار دادن دستورات Noindex در فایل robots.txt می‌توانید به خزنده‌ها اطلاع‌رسانی کنید که کدام صفحات نباید ایندکس شوند.

همچنین، می‌توان با استفاده از فایل robots.txt تصویر یا فایل را به حالت نوایندکس در آورد. در این فایل، دستور robots.txt را بنویسید و سپس در گوگل کنسول ثبت کنید.

کدام خطاهای سایت باعث ایندکس نشدن سایت می‌شود؟

چند خطای مهم سایت که باعث نوایندکس شدن سایت می‌شود، به شرح زیر است:

خطاهای DNS

هنگامی که سعی داریم به صفحه‌ای دسترسی پیدا کنیم، اما ارتباط با سرور DNS برقرار نمی‌شود، خطای DNS  ایجاد می‌شود. دلیل این خطا می‌تواند از کار افتادن سرور یا مشکلی در مسیریابی DNS  به دامنه باشد. این ارورها اهمیت زیادی دارند و باید در اولین فرصت به رفع آن‌ها بپردازید؛ زیرا وجود این خطاها باعث می‌شود ربات‌های گوگل نتوانند به سایت دسترسی داشته باشند.

آموزش رفع خطاهای DNS

برای رفع این خطا وارد صفحه وبمستر شوید. از منوی crawl روی گزینه Fetch as Google کلیک کنید. در کادر جست‌وجو، URL صفحه موردنظر را وارد کنید و گزینه FETCH AND RENDER را بزنید. سپس، گوگل نتایج بررسی را به شما نمایش می‌دهد. اگر مشکلی داشته باشد، در مقابل URL صفحه‌ای که وارد کرده‌اید، یک تیک قرمز زده می‌شود. توجه داشته باشید که اگر گوگل بدون مشکل با صفحه اول سایت ارتباط برقرار کرد، نشانه این است که هیچ مشکلی در این وب‌سایت وجود ندارد.

خطاهای DNS  معمولاً دو نوع می‌باشند:

خطای Timeout: این خطا هنگامی رخ می‌دهد که سرور DNS  قادر به پاسخگویی به درخواست گوگل در یک زمان خاص نباشد.

خطای Lookup: هنگامی که سرور DNS  قادر به شناسایی نام میزبان نباشد، این خطا رخ می‌دهد.

وجود خطاهای سرور

هنگامی که سرور برای پاسخگویی به یک درخواست زمان زیادی صرف کند و مهلت درخواست پایان یابد، خطای سرور اتفاق می‌افتد. این خطا اصولاً زمانی رخ می‌دهد که ترافیک سایت بیش از اندازه باشد که سرور بتواند آن را مدیریت کند.

خطاهای سرور شش نوع هستند:

• Timeout: زمان انتظار برای یک درخواست به پایان می‌رسد.
• Truncated headers: گوگل می‌تواند به سرور متصل شود؛ اما اتصال را قبل از ارسال header قطع کرده‌اند.
• Connection: سرور درخواست گوگل را پردازش کرده است و به‌دلیل اینکه ارتباط با سرور ریست شده است، هیچ محتوایی را بر نمی‌گرداند.
• Truncated response: قبل از اینکه گوگل بتواند پاسخ کاملی دریافت کند، سرور قطع شده است.
• Connection failed: گوگل نمی‌تواند به سرور متصل شود؛ زیرا شبکه از کار افتاده است یا غیرقابل‌دسترس شده است.
• No response: گوگل می‌تواند قبل از ارسال داده‌های موردنیاز به سرور متصل شود.

راهکارهایی برای رفع خطاهای سرور

• بارگذاری صفحات را کاهش دهید.
• از پارامترهای URL کمتری استفاده کنید و آن‌ها را کوتاه نگه دارید.
• هنگامی که با مشکل اتصال برخورد نمودید، با ارائه‌دهنده هاست مشورت کنید و توانایی سایت را برای مدیریت ترافیک افزایش دهید.
• اطمینان داشته باشید که هاست به‌طور صحیح کار می‌کند و پهنای باند آن تمام نشده است.

رفع خطاهای موجود در فایل Robots.txt

این خطا یعنی گوگل نمی‌تواند به فایل Robots.txt دسترسی پیدا کند. خزنده‌های گوگل حداقل یک بار فایل Robots.txt را بازبینی می‌کنند تا از ایندکس کردن صفحات و خزیده شدن وب‌سایت اطلاع یابند. در فایل Robots.txt می‌توانید رفتار خزنده‌های موتور جست‌وجو را درباره سایت خود معین کنید و به آن‌ها بفهمانید که کدام قسمت از صفحات را نباید ایندکس و جست‌وجو کنند. برای این کار از متاتگ Noindex استفاده کنید.

نداشتن سایت مپ

برای وب‌سایت خود نقشه سایت داشته باشید و آن را به‌درستی بارگذاری و معرفی کنید. نداشتن نقشه سایت مانعی برای ایندکس شدن سایت در گوگل می‌باشد. پس از آنکه سایت مپ آپلود شد، درخواست خزیدن گوگل را به‌منظور ایندکس شدن سایت به گوگل ارسال نمایید تا گوگل پس از بررسی، برای ایندکس کردن سایت اقدام کند.

سایت مپ

خطاهای URL

خطاهای URL یکی از انواع زیر می‌باشند:

خطای ۴۰۴

هنگامی که کاربر آدرس صفحه‌ای از سایت را بدهد که وجود خارجی نداشته باشد، سرور صفحه‌ای با عنوان خطای ۴۰۴ به کاربر نمایش می‌دهد و به او و موتورهای جست‌وجو می‌گوید که چنین صفحه‌ای در این سایت موجود نیست. بنابراین، محتوای آن صفحه به‌وسیله موتورهای جست‌وجو می‌تواند ایندکس یا بررسی شود.

رفع خطای ۴۰۴

برخی از خطاهای ۴۰۴ به رتبه‌بندی سایت آسیب نمی‌رساند و نیازی به رفع خطا نمی‌باشد. اگر صفحه‌ای از روی سایت پاک شده است، استفاده از صفحه با خطای ۴۰۴ را می‌توانید انجام دهید.

اما اگر لینک‌هایی به صفحه ۴۰۴ در GSC پیدا کردید:

• اگر محتوا را به صفحه دیگری انتقال داده‌اید، ریداکت انجام دهید.
• اگر صفحه دارای تعداد زیادی از ترافیک ورودی است، ترافیک را به سطح بالاتر هدایت کنید.
• لینک‌های اشتباه را بررسی کنید تا بدانید از چه سایت و صفحه‌ای لینک شده‌اند.
• می‌توانید از خطاهای ۴۰۴ چشم‌پوشی کنید؛ زیرا مشکل چندانی برای سایت ایجاد نمی‌کنند.

خطای Access denied

گوگل همه محتواهایی را که در نت موجود هستند، به کمک لینک‌هایی که بین صفحات وجود دارد، بررسی می‌کند. اگر ربات گوگل بخواهد صفحه‌ای را بررسی کند، باید به آن دسترسی داشته باشد. وجود خطاها به این معنی می‌باشد که امکان دسترسی به لینک موردنظر برای ربات گوگل وجود ندارد. عدم دسترسی‌ها به دلایل مختلفی می‌باشد که در زیر توضیح داده می‌شود.

• ربات گوگل نمی‌تواند مطلب را ببیند؛ زیرا فقط کاربرانی که در سایت ثبت‌نام کرده‌اند و رمز عبور دارند، می‌توانند به مطلب دسترسی پیدا کنند.
• ممکن است فایل txt دسترسی ربات گوگل به بعضی از فایل‌ها یا کل سایت را مسدود کند.
• ممکن است سرور سایت یک سری موارد امنیتی برای کاربر در نظر گرفته باشد و به‌طور کلی دسترسی به ربات گوگل را مسدود کند.

رفع خطای Access denied

• امکان لاگین کردن را از صفحاتی که می‌خواهید گوگل در آن crawl کند، بردارید.
• وب‌سایت خود را با screaming اسکن نمایید.
• فایل txt را بررسی کنید تا مطمئن شوید که صفحات ذکرشده در آن به‌منظور جلوگیری از crawl مسدود نشده باشد.
• از یکی از ابزارهای گوگل مانند fetch استفاده کنید تا ببینید سایت شما در Googlebot چگونه ظاهر می‌شود.

به‌طور کلی، همان‌طور که مشاهده کردید Noindex به عوامل مختلفی بستگی دارد. برای انجام این کار، به دو سؤال باید پاسخ دهید: یکی اینکه آیا می‌خواهید صفحه شما در نتایج جست‌وجوی گوگل مشاهده شود یا خیر و دوم اینکه آیا قصد دارید موتورهای جست‌وجو لینک‌هایی را که در این صفحه وجود دارند، دنبال کند یا نه.

در این مقاله به Noindex چیست و نحوه Noindex کردن صفحات پرداخته‌ایم. امیدواریم توانسته باشیم مطالب مفیدی را در اختیار شما قرار داده باشیم.