ایندکس چیست؟

افرادی که در زمینه وب سایت فعالیت می کنند، بارها با این موضوع برخورد کرده اند و این اصطلاح را شنیده اند که فلان مطلب در گوگل ایندکس شده است.

برخی از افراد هم آگاهی چندانی از این موضوع ندارند. ایندکس در حقیقت، به معنای فهرست شدن می باشد. عبارت «مطالبی که در گوگل ایندکس شده است»، یعنی آن مطلب توسط گوگل یافت می شود و قابل خواندن می باشد.

اگر وب سایتی به روزرسانی روزانه نداشته باشد، این مسئله میتواند در ایندکس شدن مطالب و خدمات آن ها تاثیرگذار باشد. هنگامی که مطالب توسط گوگل ایندکس نمی شوند، باید به دنبال علت مشکل به وجود آمده باشید تا بتوانید مشکل را برطرف کنید و وب سایت خود را تقویت کنید و رتبه و جایگاه مناسبی در نتایج گوگل به دست آورید. برای اینکه بخواهید بدانید Noindex چیست، ابتدا باید با مفهوم ایندکس آشنا شوید که در بالا برای شما عزیزان توضیح داده شد.

ایندکس چیست؟

ایندکس چیست؟

Noindex چیست؟

Noindex مقداری است که میتواند در تگ robots در کد HTML در هر صفحه از سایت استفاده شود. وقتی موتورهای جستجو با مقدار Noindex در برچسب های متا برخورد می کنند، در فهرست موتور جستجو، آن صفحه را برای کاربران نمایش نمی دهند.

درواقع، Noindex تگ پیغامی ای است که به موتورهای جستجو هشدار می دهد که این صفحه از وب سایت نباید ایندکس شود. تمام وب سایت ها دارای صفحات مختلفی هستند و شما به عنوان صاحبان وب سایت تلاش نموده اید. تا سئوی سایت موفقی داشته باشید تا این که رتبه و جایگاه مناسبی در نتایج جستجوی گوگل کسب نمایید. صفحات وب سایت از دیدگاه موتورهای جستجوی کاربری و غیرکاربری می تواند مشخص شود. مجموعه صفحات سایت شما با صفحاتی که به وب سایت شما لینک داده اند، موجب می شود سایت شما یک سایت ارزشمند یا بی ارزش شناخته شود.

Indexing طرف مقابل Noindex می باشد که اجازه Index شدن صفحه را به موتور جستجو می دهد. Index شدن صفحه به معنای این می باشد که محتوای آن در فهرست موتورهای جستجو ثبت شود.

Noindex چیست؟

Noindex چیست؟

نحوه اجرای Noindex

برای حذف یک صفحه خاص از indexing یا به عبارتی فهرست موتورهای جستجو، اضافه کردن Noindex به متاتگ robots در هدر صفحه پیشنهاد می شود.

برای انجام این کار باید به صورت خودکار یا دستی قطعه کد زیر را به صفحه مورد نظر اضافه کنید:

  • noindex content- robots=meta name

اجرای noindex به صورت خودکار

اگر بخواهید روش خودکار را به کار بگیرید، باید از افزونه Yoast استفاده نمایید. برای نصب و فعال کردن افزونه، ابتدا باید yoast seo را از مخزن وردپرس دانلود کنید.

Yoast seoقسمتی را اضافه کنید که از آن برای بهینه سازی محتوا استفاده می شود.

زمانی که محتوا را می نویسید، به پایین ویرایشگر مراجعه کنید. در تب Advanced گزینه ای وجود دارد که صفحه مورد نظر را از دید موتورهای جستجو پنهان می کند که همان Noindex می باشد.

اجرای noindex به صورت دستی

هر سایتی فایلی به نام robots.txt دارد که وبمسترها می توانند آن را به صورت دستی ویرایش کنند. این فایل در Root هاست قرار دارد.

پس از آدرس دامنه، اولین مسیر Root می باشد. ودر فضای هاست ها امکان خارج شدن دسته جمعی صفحات از فهرست موتور جستجو با استفاده از robots.txt فراهم می شود.

این صفحات عبارتند از: صفحه سبد خرید، صفحات جستجو، صفحه پروفایل کاربران، صفحه پشتیبانی یا چت و صفحه از خرید شما سپاسگزاریم.

چه صفحاتی را در سایت Noindex کنیم؟

بعضی از صفحات برای هدف خاصی در سایت ایجاد شده اند؛ اما هدف آن ها این نیست که در موتورهای جستجو رتبه بگیرند یا ترافیک به دست آورند.

این صفحات را معمولا نمی توان حذف کرد؛ زیرا بخش هایی از سایت از طریق آن ها به یک دیگر متصل شده اند یا به خاطر اطلاعاتی که به کاربر می دهند، باید در سایت باقی بمانند.

Noindex چیست؟

Noindex چیست؟

نحوه Noindex کردن صفحات

نحوه Noindex کردن صفحات به شرح زیر می باشد:

آرشیو نویسندگان در یک بلاگ تک نویسنده ای

 

اگر فقط خودتان هستید که برای وبلاگتان مطلب می نویسید، نود درصد صفحه آرشیو نویسندگان سایت شما مشابه صفحه اصلی سایت می باشد. به همین دلیل، کاربردی برای گوگل ندارد و یک محتوای تکراری در نظر گرفته می شود.

برای جلوگیری از چنین اتفاقی، آرشیو نویسندگان را غیرفعال کنید. اگر به هر دلیلی می خواهید این صفحه در سایت باشد، باید آن را Noindex کنید که در نتایج صفحات جستجو مشاهده نشود.

انواع پست سفارشی

گاهی یک افزونه یا پلاگین به طور خودکار، پست های سفارشی به سایت اضافه می کند که نیازی به ایندکس شدن آن ها نیست. به طور مثال، وب سایتی هستید که فروشگاه آنلاین حساب نمی شوید و به جای اینکه محصولی، بفروشید، خدمات ارائه می دهید. در این صورت، در صفحه خرید و معرفی آن ها نیازی به تصویر محصول، ابعاد و سایر ویژگی های آن ندارید. در چنین حالتی، می توانید تمام صفحات پیش فرض محصولات را Noindex کنید و به جای آن یک صفحه محصول سفارشی بسازید.

صفحات تایید و تشکر

برخی از صفحات در سایت به غیر از ارسال پیغام تایید و تشکر، هدف دیگری ندارند. این گونه صفحات معمولا محتواهای خاصی هم ندارند و ارزشی برای موتورهای جستجو و کاربران ایجاد نمی کنند؛ بنابراین بهتر است در صفحه نتایج دیده نشوند.

صفحات ورود و ادمین

اغلب، صفحات ورود به سایت نباید در گوگل دیده شوند. با استفاده از Noindex می توان این صفحات را از دید گوگل پنهان نمود. این مورد مربوط به صفحات ورود به سایتی است که به یک جامعه سرویس می دهند.

نتایج جستجوی داخلی

صفحات نتایج جستجوی داخلی، بدترین چیزی می باشد که گوگل بخواهد به کاربرانش نشان دهد. اگر یک صفحه جستجو را به صفحه جستجوی دیگری لینک بدهید، نتیجه مطلوبی نمی گیرید.

هدف کاربر از جستجو، رسیدن به صفحه نتیجه و دریافت اطلاعات باارزش می باشد. به همین دلیل، باید تمام صفحات جستجوی داخلی را Noindex کنید.

نتایج جستجوی داخلی

نتایج جستجوی داخلی

صفحاتی که به خاطر رعایت برخی قوانین در سایت درج شده اند

برخی از صفحات سایت، مانند صفحات اعلام شکایات، صفحه قوانین و مقررات یا فرضیات قوانین، و عودت وجه فقط برای پیروی از قوانین در سایت شما قرار دارند.

تصمیم گیری درباره ی noindex شدن این گونه صفحات، بر عهده شخص می باشد و کاربران نیازی ندارند با سرچ در موتورهای جستجو به این صفحات دسترسی پیدا کنند.

بنابراین، بهتر است این صفحات را Noindex کنید و از نمایان شدن آن ها در نتایج جستجو جلوگیری کنید تا دسترسی به این صفحات فقط از طریق مراجعه به خود سایت امکان پذیر باشد.

صفحات ویژه اعضا

اگر قسمتی از وب سایت خود را به اعضا یا کارمندان سازمان اختصاص داده اید و نمی خواهید در دسترس عموم قرار گیرند، دستورالعمل Noindex را برای این صفحات اعمال کنید.

عوامل مهم ایندکس نشدن سایت

ریسپانسیو نبودن سایت

اگر سایت شما در تبلت یا تلفن همراه ظاهر مناسبی ندارد، ممکن است گوگل سایت شما را در لیست نتایج صفحه نخست خود index نکند.

سرعت پایین سایت

از نظر گوگل، پایین بودن سرعت سایت مهم می باشد؛ زیرا کاربر اگر با سرعت پایین مواجه شود، بلافاصله سایت را بسته و به سراغ سایت دیگری می رود.

رفع خطاهای احتمالی سایت ابزارهای گوگل نظیر سرچ کنسول کمک بسیاری به کاربر می کند تا خطاهای ایندکس نشدن را مشاهده کند. پس از آن، به بررسی و رفع ایرادات پرداخته می شود. در سرچ کنسول، خطاها را تا 90 روز اخیر به نمایش در می آورد که برخی از خطاها، خطای سرور، خطای روبوت، خطای دسترسی رد شده و … می باشند.

سرعت پایین سایت

سرعت پایین سایت

محتوای نسبتا طولانی و قوی

باید در نظر داشته باشید که تعداد کلمات متن مورد قبول گوگل حداقل 300 کلمه می باشد و هرچه از این تعداد بیشتر باشد، محتوا مفیدتر و با ارزش تر خواهد بود. اما به این معنا نمی باشد که با نوشتن موارد غیرمهم به یک متن طولانی بپردازیم.

بارها دیده شده است که بعضی سایت ها، صدها محتوای کمتر از 300 کلمه دارند که دیده نمی شوند. دلیل آن هم کم بودن تعداد کلمات از حداقل تعداد موردنظر گوگل می باشد. سایت هایی که متن آن ها 300 کلمه است در جایگاه یک و دو قرار دارند.

 کاربرد Noindex در سئو

یکی از پرکاربردترین متاتگ های سئو Noindex می باشد که اگر برای صفحات به درستی از آن ها استفاده شود، تاثیر بسزایی در سئوی سایت می گذارد.

محتوای تکراری

معمول ترین دلیل noindex جلوگیری از محتوای تکراری می باشد. هنگامی که بیش از یک نسخه از صفحه توسط موتورهای جستجو ایندکس شود، محتوای تکراری در سایت ایجاد می شود که آن صفحه با افت رتبه مواجه خواهد شد.

محتوای ضعیف

برخی از صفحات وب هیچ سودی برای ایندکس شدن ندارند. این گونه صفحات، نه اطلاعات مفیدی برای کاربر دارند و نه حاوی کلیدواژه ی خاصی هستند. به طور مثال، هدف صفحه تشکر که پس از خرید نمایش داده می شود، برقراری رابطه دوستانه با کاربر می باشد که کسب رتبه و ایندکس شدن آن به دلیل محتوای غیرمفید، باعث افت رتبه سایت می شود.

چگونه از تگ Noindex در فایل robots .txt استفاده کنیم؟

فایل robots. txt نوعی فایل متنی است که دارای نقشه سایت و یک سری دستورات برای خزنده ها است. زمانی که خزنده ها به یک سایت می رسند، فایل را چک می کنند و بر اساس دستورات آن عمل می کنند.

با قرار دادن دستورات Noindex در فایل robots. txt می توانید به خزنده ها اطلاع رسانی کنید که کدام صفحات نباید ایندکس شوند.

همچنین، می توان با استفاده از فایل robots. txt تصویر یا فایل را به حالت نوایندکس در آورد. دراین فایل، دستور robots. txt را بنویسید و سپس در گوگل کنسول ثبت کنید.

کدام خطاهای سایت باعث ایندکس نشدن سایت می شود؟

خطاهای Dnc

هنگامی که سعی داریم به صفحه ای دسترسی پیدا کنیم اما ارتباط با سرور dnc برقرار نمی شود، خطاهای dnc ایجاد می شود. دلیل این خطا می تواند از کار افتادن سرور یا مشکلی در مسیریابی dnc به دامنه باشد. این ارورها اهمیت زیادی دارند و باید در اولین فرصت به رفع آن ها بپردازید. زیرا وجود این خطاها باعث می شود ربات های گوگل نتوانند به سایت دسترسی داشته باشند.

آموزش رفع خطاهای Dnc

برای رفع این خطا وارد صفحه وبمستر شوید. از منوی crawl روی گزینه Fetch as google کلیک کنید. در کادر جستجو، url صفحه مورد نظر را وارد کنید و گزینه Fetch ano render را بزنید. سپس، گوگل نتایج بررسی را به شما نمایش می دهد. اگر مشکلی داشته باشد، در مقابل url صفحه ای که وارد کرده اید، یک تیک قرمز زده می شود. توجه داشته باشید که اگر گوگل بدون مشکل با صفحه اول سایت ارتباط برقرار کرد، نشانه این است که هیچ مشکلی در این وب سایت وجود ندارد.

خطاهای dnc معمولا دو نوع می باشند:

  • خطای Timeout: این خطا هنگامی رخ می دهد که سرور dnc قادر به پاسخگویی به درخواست گوگل در یک زمان خاص نباشد.
  • خطای lookup: هنگامی که سرور dnc قادر به شناسایی نام میزبان نباشد، این خطا رخ می دهد.
خطاهای Dnc

خطاهای Dnc

وجود خطاهای سرور

هنگامی که سرور برای پاسخگویی به یک درخواست زمان زیادی صرف کند و مهلت درخواست پایان یابد، خطای سرور اتفاق می افتد. این خطا اصولا زمانی رخ می دهد که ترافیک سایت بیش از اندازه باشد که سرور بتواند آن را مدیریت کند.

خطاهای سرور شش نوع هستند:

  • Timeout: زمان انتظار برای یک درخواست به پایان می رسد.
  • Truncated headers: گوگل میتواند به سرور متصل شود؛ اما اتصال را قبل از ارسال header قطع کرده اند.
  • Connection: سرور درخواست گوگل را پردازش کرده است و به دلیل اینکه ارتباط با سرور ریست شده است، هیچ محتوایی را بر نمی گرداند.
  • Truncated response: قبل از این که گوگل بتواند پاسخ کاملی دریافت کند، سرور قطع شده است.
  • Connection failed: گوگل نمی تواند به سرور متصل شود؛ زیرا شبکه از کار افتاده است یا غیر قابل دسترس شده است.
  • No response: گوگل می تواند قبل از ارسال داده های مورد نیاز به سرور متصل شود.

راهکارهایی برای رفع خطاهای سرور

بارگذاری صفحات را کاهش دهید. از پارامترهای url کمتر استفاده کنید و آن ها را کوتاه نگه دارید. هنگامی که با مشکل اتصال برخورد نمودید، با ارائه دهنده هاست مشورت کنید و توانایی سایت را برای مدیریت ترافیک افزایش دهید. اطمینان داشته باشید که هاست به طور صحیح کار می کند و پهنای باند آن تمام نشده است.

 رفع خطاهای موجود در فایل Robots . txt

این خطا یعنی گوگل نمی تواند به فایل Robots . txt دسترسی پیدا کند. خزنده های گوگل حداقل یکبار فایل Robots . txt را بازبینی می کنند تا از ایندکس کردن صفحات و خزیده شدن وب سایت اطلاع یابند. در فایل Robots . txt می توانید رفتار خزنده های موتور جستجو را درباره سایت خود معین کنید و به آن ها بفهمانید که کدام قسمت از صفحات را نباید ایندکس و جستجو نمود. برای این کار از متاتگ Noindex استفاده کنید.

نداشتن سایت مپ

برای وب سایت خود نقشه سایت داشته باشید و آن را به درستی بارگذاری و معرفی کنید. نداشتن نقشه سایت مانعی برای ایندکس شدن سایت در گوگل می باشد.

پس از آن که سایت مپ آپلود شد، درخواست خزیدن گوگل را به منظور ایندکس شدن سایت به گوگل ارسال نمایید تا گوگل پس از بررسی، برای ایندکس کردن سایت اقدام کند.

سایت مپ

سایت مپ

ایندکس نشدن سایت به دلیل خطاهای url

خطاهای url یکی از انواع زیر می باشند:

خطای 404

هنگامی که کاربر آدرس صفحه ای از سایت را بدهد که وجود خارجی نداشته باشد، سرور صفحه ای با عنوان خطای 404 به کاربر نمایش می دهد و به او و موتورهای جستگو می گوید که چنین صفحه ای در این سایت موجود نیست. بنابراین، محتوای آن صفحه به وسیله موتورهای جستجو میتواند ایندکس یا بررسی شود.

رفع خطای 404

  • برخی از خطاهای 404 به رتبه بندی سایت آسیب نمی رساند و نیازی به رفع خطا نمی باشد.
  • اگر صفحه ای از روی سایت پاک شده است، استفاده از صفحه با خطای 404 را می توانید انجام دهید.
  • اگر لینک ها به صفحه 404 در اگر محتوا را به صفحه دیگر انتقال داده اید، ریداکت انجام دهید.
  • اگر صفحه دارای تعداد زیادی از ترافیک ورودی است، ترافیک را به سطح بالاتر هدایت کنید. لینک های اشتباه را بررسی کنید تا بدانید از چه سایت و صفحه ای لینک شده اند.
  • از خطاهای 404 می توانید چشم پوشی کنید؛ زیرا مشکل چندانی برای سایت ایجاد نمی کنند.
خطای 404

خطای 404

 خطای Access denied

گوگل همه محتواهایی را که در نت موجود هستند، به کمک لینک هایی که بین صفحات وجود دارد، بررسی می کند. اگر ربات گوگل بخواهد صفحه ای را بررسی کند، باید به آن دسترسی داشته باشد. وجود خطاها به این معنی می باشد که امکان دسترسی به لینک مورد نظر برای ربات گوگل وجود ندارد. عدم دسترسی ها به دلایل مختلفی می باشد که در زیر توضیح داده می شود.

  • ربات گوگل نمی تواند مطلب را ببیند؛ زیرا فقط کاربرانی که در سایت ثبت نام کرده اند و رمز عبور دارند، می توانند به مطلب دسترسی پیدا کنند.
  • ممکن است فایل txt دسترسی ربات گوگل به بعضی از فایل ها یا کل سایت را مسدود کند.
  • ممکن است سروری سایت یک سری موارد امنیتی برای کاربر در نظر گرفته باشد و به طور کلی دسترسی به ربات گوگل را مسدود کند.

رفع خطای Access denied

  • امکان لاگین کردن را از صفحاتی که می خواهید گوگل در آن crawl کند، بردارید.
  • وب سایت خود را با screaming اسکن نمایید.
  • فایل txt را بررسی کنید تا مطمئن شوید که صفحات ذکر شده در آن به منظور جلوگیری از crawl مسدود نشده باشد.
  • از یکی از ابزارهای گوگل مانند fetch استفاده کنید تا ببینید سایت شما در Googlebot چگونه ظاهر می شود.
  • به طور کلی، همان طور که مشاهده کردید noindex به عوامل مختلفی بستگی دارد. برای انجام این کار، به دو سوال باید پاسخ دهید: یکی این که آیا می خواهید صفحه شما در نتایج جستجوی گوگل مشاهده شود یا خیر؟ و دوم این که آیا قصد دارید موتورهای جستجو لینک هایی را که در این صفحه وجود دارند، دنبال کند؟

در این مقاله به Noindex چیست و نحوه Noindex کردن صفحات پرداخته ایم. امیدواریم توانسته باشیم مطالب مفیدی را در اختیار شما قرار داده باشیم.

بدون دیدگاه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.