فایل robots.txt چیست؟ آموزش نحوه ساخت این فایل و تاثیرش بر سئو سایت

منتشرشده توسط فرزین اعتماد در تاریخ

فایل robots.txt چیست؟

خزنده های موتورهای جستجو وقتی وارد یک وبسایت میشوند ، اولین موردی رو که بررسی میکنند فایل robots.txt است. این فایل به خزنده ها محدوده دسترسی به وبسایت شما را مشخص میکند.

به طور حتم این برای ما مهم است که مشخص کنیم چه صفحاتی از سایت ما در موتورهای جستجو ایندکس شود و چه صفحاتی نیاز به ایندکس ندارد.

مثلا صفحه پنل مدیریتی سایت (پنل ادمین)

دلیلی ندارد خرنده های گوگل این صفحه را بررسی و ایندکس کنند.

پس ما در فایل روبات (robots.txt) سایتمان به خزنده ها مسیر محتوای سایتمان (لینک سایت مپ سایتمان) و اینکه قرار است چه صفحاتی را بررسی و ایندکس و چه صفحاتی را نادیده بگیرند مشخص میکنیم.

فایل روبات میتواند نقش زیادی همچون فالو یا نوفالو نیز بگیرد.

 

نحوه ساخت فایل روبات robot.txt :

robots.txt

فایل روبات  robots.txt در هر خط فقط ۱ دستور قرار میگیرد ، و  اگر شما بخواهید ۱۰ دستور به فایل روبات بدهید باید در ۱۰ خط این دستورات را بنویسید.

 

علامت * میگه که همه ی ربات های پیمایشگر ، این دستورات براشون اعمال بشه . مثلا اگه بخواید بگید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :

در اینجا میتونید لیست همه ی روبوت های موجود و معروف رو ببینید . اگر فایل فقط حاوی این خط باشه همچنان پیمایشگران محترم موتورهای جستجو بدون محدودیت به ایندکس کردن همه صفحات ادامه می دن . Disallow برای جلوگیری از ایندکس شدن ادرس خاصی از سایت از دستور Disallow استفاده میشه . بزارید چندتا مثال بزنیم :

این دوخط فوق باعث میشه که جلوی ایندکس شدن همه ی صفحات توسط روبوت های گوگل گرفته بشه .

در مثال فوق همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه admin.php رو نداشته باشند .

در این مثال هم همه ی روبوت ها رو محدود میکنید که اجازه ایندکس کردن صفحه private.html و پوشه های cgi-bin و images رو نداشته باشند .

البته میتونید برای روبوت های مختلف محدودیت های مختلف تعیین کنید :

Allow از دستور Allow هم معمولا برای اجازه دادن ایندکسینگ به زیرپوشه ای که درون یک پوشه Dissallow شده قرار داده استفاده میشه . مثال زیر رو ببینید :

در اینجا ما می گیم که روبات ها اجازه ایندکس کردن محتویات درون پوشه files رو ندارند به جز پوشه public که در پوشه files قرار داره !

robot.txt برای سایت های وردپرسی !

در زیر یک فایل مناسب برای استفاده وب سایت هایی که با وردپرس ساخته شدند آوردم . می تونید ازش استفاده کنید . میبینید که به پوشه های مدیریتی و حاوی فایل ها قالب و پلاگین ها و … اجازه دسترسی داده نشده .

همونطور که در مثال بالا می بینید می تونید به این طریق Sitemap سایت خودتون رو هم در این فایل قرار بدید تا در معرض دید روبات ها باشه . انشاءالله در آینده در مورد فایل sitemap و دلایل استفاده از اون هم صحبت خواهیم کرد .

robot.txt برای سایت های پیاده سازی شده با جوملا !

 

نکات مهم و در تولید فایل روبات ( robots.txt )

خزنده های موتورهای جستجو بعد از وارد شدن به یک وبسایت ؛ ابتدا فایل robots.txt را جستجو میکنند ، اگر آن را پیدا کنند ، قبل از ادامه به کار بررسی محتوا ، فایل robots.txt را بصورت دقیق میخواند تا اجازه محدوده دسترسی خودش را بداند . اگر فایل robots.txt حاوی دستورالعمل خاصی نباشد ، شروع به خزیدن در تمامی لینک ها و محتویات سایت میکنند.

برای در دسترس بودن فایل robots.txt برای خزنده ها باید در حتما این فایل را در دایرکتوری سطح بالای وب سایت قرار دهید ، و فقط در همین آدرس

robots.txt

از طرف دیگر این فایل شدیدا به حروف حساس میباشد . این فایل دقیقا باید بنام robots.txt باشد نه Robots.txt ، robots.TXT  و…

برخی از ربات ها ممکن است فایل robots.txt شما را نادیده بگیرند . این امر به ویژه با خزنده های ناسازگارتر مانند ربات های مخرب یا اسکروپر ایمیل ها رایج میباشد.

فایل /robots.txt بطور عمومی در دسترس میباشد فقط به پایان هردامنه علامت اسلش اضافه کنید این دستورالعمل از اینکه بخواید اطلاعات وبسایت خودتونو مخفی نگهدارید چیزی کم نمیکند.

تاثیر فایل robots.txt در سئو سایت :

بسیاری از مشکلات سئو سایت را میتوان با اضافه نمودن خط های مورد نیاز فایل روبات برطرف کرد.فایل ربات از جمله فایل های مهم در بهینه سازی سایت به شمار میرود.
این را میتوان هم بسیار موثر در سئو سایت و هم بسیار مخرب در سئو سایت دانست .

فایل ربات برای هر سایتی و مدیریت محتوایی متفاوت است ، کپی کردن این فایل از سایت های دیگر ممکن است به ضرر کسب و کار آنلاین شما باشد. لذا بهتر است با یک متخصص سئو در این زمینه مشورت یا از آن کمک بگیرید.

۱۰ سنگ بنای سئو سایت

 

 


فرزین اعتماد

درود من فرزین اعتماد هستم - متخصص سئو محتوا و سئو سایت / مدرس دوره های سئو و بازاریابی محتوا / +متخصص وبمسترتولز (کنسول گوگل) و گوگل آنالیتیک (سرتیفیکیت گوگل) / بخشی از مطالبی که قرار میدم دستخط خودمه و بخشی دیگه از سایت های بزرگ و معتبر سئو گرفته و ترجمه شده/ توی اینستاگرامم همیشه ریز نکات سئو و جدیدترین اخبار بهینه سازی رو قرار میدم. https://instagram.com/farzinetemad / باعث افتخاره که مهمانم هستید / ♥ وب اپراتور ♥

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این سایت از اکیسمت برای کاهش هرزنامه استفاده می کند. بیاموزید که چگونه اطلاعات دیدگاه های شما پردازش می‌شوند.