نقشه سایت و فایل robot.txt چیست؟

در واقع، نقشه سایت یا سایت مپ (site map) فایلی متنی می‌باشد که دربردارنده تمام آدرس‌های موجود در سایت است. وجود نقشه سایت سبب می‌شود که ربات‌های گوگل سایت شما را بشناسند و از ایجاد تغییرات در صفحات قدیمی و افزودن صفحات جدید مطلع شوند. در واقع، نقشه سایت  به شما اجازه می‌دهد تا یک فایل متنی در میان فایل‌های دیگر در حساب خود ایجاد نمایید. این کار سبب می‌گردد تا موتورهای جست‌وجو از همه صفحات موجود در وب‌سایت شما آگاه شوند.

در وب‌سایت‌ها، فایل Robots.txt نقش راهنما را ایفا می‌نماید. این فایل برای کاربرانی که وارد سایت می‌شوند، کاربردی ندارد؛ بلکه برای ربات‌هایی کاربرد دارد که برای بررسی سایت یا انجام هر کار دیگری می‌خواهند در بخش‌های مختلف سایت سرک بکشند.

در این مقاله سعی نموده‌ایم تا شما را به طور کامل با نقشه سایت و فایل robot.txt آشنا نماییم. پس تا انتهای مقاله با ما همراه باشید تا با این مفاهیم بیشتر آشنا شوید.

نقشه سایت چیست؟

نقشه سایت در واقع یک مدل از محتوای وب‌سایت شما می‌باشد. sitemap به صورت کلی برای کمک به کاربران سایت و موتورهای جست‌وجو می‌باشد. سایت مپ یک لیست از صفحات می‌باشد. این صفحات بر اساس موضوع، نمودار سازمانی یا XML به صورت سلسله‌مراتبی به یکدیگر متصل گردیده‌اند. نقشه سایت در انتها به ارائه دستورالعمل‌هایی برای خزش موتورهای جست‌وجو در سایت می‌پردازد.

این کار بر Seo سایت تأثیر مثبت دارد. عملکرد آن زمانی به چشم می‌آید که حتی اگر لینک‌سازی داخلی سایت چندان قوی نباشد، باز هم گوگل می‌تواند صفحات مهم را شناسایی کند.

به صورت کلی، هدف از ایجاد سایت، نشان دادن محتواهای آن سایت به مخاطبین می‌باشد. این هدف تنها زمانی تحقق می‌یابد که سایت و محتوای آن برای گوگل قابل شناسایی باشد. موتورهای جست‌وجوی گوگل به صورت روزانه صفحات مهم سایت‌ها را بررسی می‌نمایند. در دنیای طراحی سایت، اصطلاحاً به این عمل خزش می‌گویند. اگر صفحات سایت از طریق لینک‌سازی داخلی به شکل مناسبی مشخص نگردند، پیدا نمودن آنها توسط موتورهای جست‌وجو کار سختی خواهد بود.

انواع سایت مپ (Sitemap)

Sitemap دارای دو نوع HTML و XML است. هر کدام از آنها ارزش و کاربرد خاصی برای بهینه‌سازی برای موتور جست‌وجو دارد. در زیر به توضیح آنها می‌پردازیم:

1. نقشه سایت HTML

HTML مخفف کلمات (Hypertext Markup Language) می‌باشد. از این زبان نوشتاری برای نشان دادن ساختار وب‌سایت به کاربران هم می‌توان بهره جست. در واقع، نقشه سایت HTML حاوی اطلاعاتی درباره صفحات وب‌سایت و موقعیت آنها در سایت است. این نوع نقشه سایت به صورت دیداری به مخاطبین سایت ارائه می‌گردد. کاربران سایت به کمک سایت مپ  HTML می‌توانند به قسمت‌های مختلف سایت دسترسی داشته باشند.

2.سایت مپ  XML

این مدل سایت مپ به زبان نشانه‌گذاری قابل توسعه (Extensible Markup Language) نوشته شده و ارائه گردیده است. سایت مپ XML تنها برای نشان دادن محتوای سایت به خزنده‌های موتورهای جست‌وجو کاربرد دارد و کاربران سایت توانایی دیدن آن را ندارد. به صورت کلی، طراح سایت با ایجاد چنین نقشه‌ای به خزنده‌ها بیان می‌نماید که وب‌سایت شما دارای چه تعداد صفحه می‌باشد. همچنین ایجاد هرگونه تغییر در صفحات وب‌سایت یا هر نوع به‌روزرسانی درون سایت از طریق sitemap به اطلاع گوگل می‌رسد. این امر باعث می‌گردد که گوگل بتواند به سرعت و بدون هیچ مشکلی محتوای وب‌سایت را بررسی کند که این اتفاق تأثیر بسزایی روی سئوی سایت خواهد داشت.

کاربران امکان دیدن این نوع از سایت مپ را ندارند. هدف از ساخت چنین نقشه سایتی صرفاً راهنمایی خزنده‌های گوگل می‌باشد.

در حالت کلی، می‌توان بیان نمود که سرعت و امنیت ایندکس شدن محتوای وب‌سایت‌ها توسط موتورهای جست‌وجو تا حدودی به نقشه سایت آنها بستگی دارد.

فایل robots.txt چیست؟

از موارد فنی سئوی تکنیکال که برای بهینه‌سازی ایندکس صفحات سایت مورد استفاده قرار می‌گیرد، استفاده از فایلrobots.txt  است. این فایل در واقع یک فایل متنی می‌باشد که برای هدایت ربات‌های موتور جست‌وجو برای نحوه خزش و ایندکس صفحات وب‌سایت طراحی و استفاده می‌گردد. از آنجایی که فایل robots.txt، ربات‌های جست‌وجو را در مورد چگونگی خزش صفحات مختلف وب‌سایت راهنمایی می‌‌نماید، آشنایی با نحوه استفاده و تنظیم این فایل بسیار حائز اهمیت است. برای جلوگیری از ایندکس شدن صفحات می‌توان از روش‌های دیگر مانند تگnoindex  بهره جست؛ اما هنگامی که قصد دارید دسته‌ای از صفحات ایندکس نشوند، نمی‌توان برای هر کدام از صفحات به صورت مستقل از تگnoindex  استفاده کرد. در چنین مواردی می‌توان از robots.txt کمک گرفت.

اگر فایل robots.txt به درستی تنظیم نگردد، می‌تواند سبب ایجاد اشتباه در ایندکس شدن صفحات سایت شود. پس، هر بار که کمپینSEO  جدیدی را آغاز می‌نمایید، فایل robots.txt خود را با ابزار نوشتاری ربات‌های Google مورد بررسی قرار دهید.

اگر سایت شما فاقد فایل robots.txt باشد، چه اتفاقی می‌افتد؟

اگر این فایل در ‌هاست سایت شما آپلود نگردد، خزندگان و ربات‌های موتورهای جست‌وجو توانایی دسترسی به تمام صفحات عمومی را دارند و می‌توانند تمام محتوای سایت شما را ایندکس نمایند.

چگونه فایل Robot.txt ایجاد کنیم؟

فایل Robot.txt یک فایل متنی ساده می‌باشد که به وجود آوردن آن اصلاً دشوار نیست. برای انجام این کار، به یک ویرایشگر ساده متن مانند Notepad نیاز داریم. در این ویرایشگر، صفحه‌ای را باز می‌کنیم و یک برگه خالی با نام robots.txt ذخیره می‌نماییم. حال به cPanel وارد شده و بعد public_html  را برای دسترسی به دایرکتوری روت سایت، باز می‌کنیم.

پس از باز کردنpublic_html ، فایل را به داخل آن انتقال می‌دهیم. توجه داشته باشید که به عنوان مالک سایت، باید توانایی دسترسی به تمام قسمت‌های فایل را داشته باشید، آن را بخوانید، ویرایش کنید و نگارش کنید. توجه کنید که به غیر از مالک سایت، هیچ شخصی نباید به این امکانات دسترسی داشته باشد.

چطور فایل robots.txt را تست کنیم و از عملکرد درست آن مطمئن گردیم؟

در حالت کلی، با باز نمودن آدرس فایل robots.txt و بررسی دستی دستورات داخل آن، می‌توان از صحت دستورات مطمئن شد. اما راه پیشرفته‌تر، استفاده از ابزار تست فایل robots.txt کنسول جست‌وجوی گوگل است. برای استفاده از این ابزار مراحل زیر را انجام دهید:

• ابتدا وارد سایتGoogle Search Console شوید.
• روی بخشtxt Tester کلیک نمایید.
• Testرا انتخاب نمایید.

اگر در فایل مشکلی وجود نداشته باشد، دکمه قرمزرنگ Test به دکمه سبزرنگ Allowed تغییر می‌یابد؛ اما اگر مشکلی در فایل مشاهده گردد، لاین (دستور) مشکل‌دار‌ به صورت هایلایت‌شده مشخص می‌شود.

علاوه بر آن، با کمک ابزار گوگل می‌توان از قابلیت‌های دیگری نیز بهره‌مند شد. به عنوان مثال، می‌توانید از بخش URL Tester، آدرس صفحات سایت خود را آنالیز کنید و متوجه شوید که کدام‌یک از آن‌ها برای ربات‌ها مسدود هستند.

همچنین، این ابزار یک ویرایشگر آنلاین می‌باشد که می‌توان محتویات آن را با استانداردهای موجود تغییر داد. اما از خاطر نبرید که به منظور اعمال این تغییرات در سایت خود، باید محتوای ویرایش‌شده جدید را با محتوای متنی قبلی موجود در robots.txt در‌ هاست خود جایگزین کنید.