فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟

فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟
5.0/5 rating 1 vote

آیا تا به حال خواسته اید که مطلبی از وب سایتتان در نتایج سرچ گوگل نمایش داده نشود و یا اینکه برایتان پیش آمده که مطلبی از سایتتان با وجود رعایت تمامی نکات توسط گوگل ایندکس نشده باشد و شما ندانید که چه اتفاقی در حال رخ دادن است؟ در سئوی تکنیکال مبحث ساده اما مهمی وجود دارد به نام فایل Robots.txt که شاید بتواند پاسخ سوالات بالا را بدهد.

قبلتر و در مقالات مختلف به این نکته اشاره کردیم که موتورهای جستجو و در رأس آنها گوگل با استفاده از یک سری ربات (که در واقع خود این ربات ها ابزارهای برنامه نویسی شده ای هستند) تمامی اطلاعات موجود در اینترنت را مورد کاوش قرار می دهند و سپس طی الگوریتم هایی که دارند، نسبت به رتبه بندی این مطالب اقدام می کنند.

اما گاهی در همین فرایند جستجو و کاوش کردن مطالب مشکلات و معضلاتی پیش می آید که لازمه آن داشتن اطلاعات پایه ای و اساسی از سئوی سایت است. یکی از مواردی که در کراول شدن یا خزیده شدن! (کاوش شدن شاید عبارت بهتری باشد) مطالب سایت توسط ربات های گوگل اثرگذار است، یک فایل متنی است موسوم به فایل Robots.txt.

 

سئوی سایت به دو نوع آف پیج و آن پیج تقسیم می شود، این مقاله درباره سئوی آن پیج است

مطالعه این مقاله را به شما عزیزان پیشنهاد می کنیم
سئو آن پیج (on-page) یا سئوی داخلی سایت

 

بدون هیچ مقدمه اضافی به تعریف فایل Robots.txt و تأثیر آن بر سئوی سایت می پردازیم.

 

فایل robots.txt چیست؟

همانطور که اشاره کردیم، از موارد فنی و اصطلاحاً سئوی تکنیکال که برای بهینه کردن ایندکس صفحات سایت به کار می رود، استفاده از فایل robots.txt است. Robots.txt یک فایل متنی است که برای هدایت ربات های موتور جستجو برای نحوه خزیدن و ایندکس صفحات وب سایت استفاده می شود. از آنجا که فایل robots.txt ربات های جستجو را در مورد نحوه خزیدن صفحات مختلف وب سایت شما راهنمایی می کند، دانستن نحوه استفاده و تنظیم این فایل بسیار مهم است. برای جلوگیری از ایندکس شدن صفحات می توان از روش های دیگر مانند تگ noindex استفاده کرد اما زمانی که بخواهید یک دسته از صفحات ایندکس نشوند، نمی توانید برای هر کدام از صفحات به صورت جداگانه از تگ noindex استفاده کنید. در اینجا robots.txt به کمک شما می آید.

اگر یک فایل robots.txt نادرست تنظیم شده باشد، می تواند باعث اشتباه در ایندکس شدن صفحات سایت شود. گاهی اوقات صاحبان سایت ها بعلت نداشتن اطلاعات کافی در این زمینه اشتباهاتی را در ساخت یا ویرایش این فایل متنی رقم می زنند که منجر به خساراتی به سئوی سایت آنها می شود.

 

چه صفحاتی را با فایل robots.txt از دسترس موتورهای جستجو خارج کنیم؟

  • صفحاتی که محتوای تکراری (duplicate content) دارند 
  • تگ ها و برچسب هایی که باعث ایجاد محتوای تکراری و یا اضافه در سایت می شوند
  • فیلتربندی صفحات محصول که شامل فیلتر های قیمت، رنگ و ... می شوند
  • صفحاتی که با سرچ کردن در خود سایت ایجاد می شوند (در صورتی که صفحات اصلی و مهم شما توسط کاربران در سایت سرچ نشود)
  • تمامی صفحات ادمین و پنل سایت
  • صفحه پروفایل کاربران سایت
  • صفحات چت آنلاین
  • برخی از فایل های قالب که نیازی به دیده شدن توسط گوگل ندارند

 

عوامل بسیاری در سئوی سایت تاثیرگذار هستند که امنیت سایت نیز یکی از مهم ترین هاست

مطالعه این مقاله را به شما عزیزان پیشنهاد می کنیم
نقش امنیت سایت در سئو

 

فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟

 

ساخت یا ویرایش فایل robots.txt

همانطور که گفتیم فایده اصلی فایل های Robots.txt این است که متخصصان سئو را قادر می سازد تا از ایندکس شدن چندین صفحه به طور همزمان و بدون نیاز به دسترسی به کدهای هر صفحه، جلوگیری کنند. استفاده از robots.txt برای جلوگیری از ایندکس شدن کافیست یک فایل متنی درست کنید و از دستور زیر استفاده کنید.

 

در هر فایل robots.txt از سه دستور اصلی استفاده می شود که موارد زیر هستند:

1- دستور User-agent

در ابتدای فایل robots.txt و قبل از نوشتن هر دستوری باید دستور User-agent نوشته شوند. این دستور نشان می دهد که شما کدام یک از ربات های خزنده در وب را هدف قرار گرفته اید تا به آن دستور بدهید. پس از نوشتن عبارت User-agent و قرار دادن دو نقطه در جلوی آن، نام رباتی که می خواهید به آن دستور بدهید را می نویسید. به عنوان مثال زمانی که بخواهیم به ربات گوگل دستور بدهیم از عبارت User-agent: googlebot استفاده می کنیم.

اگر بخواهیم تمامی ربات های خزنده همه موتورهای جستجو را هدف قرار دهید کافی است یک * در جلوی دستور User-agent قرار دهیم. (به صورت * :User-agent نوشته می شود)

 

2- دستورات Allow و Disallow

پس از مشخص کردن ربات هدف باید دستورات لازم را به آنها بدهید. در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستور Allow و برای جلوگیری از خزش از دستور Disallow استفاده می شود.

پس از نوشتن یکی از این دو دستور و قرار دادن دو نقطه «:» در جلوی آن، باید صفحه و یا دسته صفحاتی که قصد اعمال کردن دستور به آنها را دارید، وارد می کنید. برای وارد کردن این بخش نیازی نیست کل آدرس یا همان url صفحه را تایپ کنید. فقط از قسمت / به بعد وارد را کرده و دامنه را وارد نکنید.

به عنوان اگر صفحات ادمین سایت شما همگی با پارامتر admin در url مشخص شده اند یعنی به صورت www.example.com/admin هستند، برای جلوگیری از ایندکس شدن صفحات ادمین از دستور زیر استفاده می کنیم:

User-agent: *
Disallow: /admin/

 

3- ثبت سایت مپ (Sitemap) در فایل robots.txt

این دستور کاملا اختیاری است اما پیشنهاد می کنیم که حتما این کار را انجام دهید. با تعیین دستور مربوط به نقشه سایت در robots.txt می‌ توانید به موتورهای جستجو بفهمانید که فایل XML نقشه سایت شما را از چه مسیری پیدا کرده و به آن دسترسی داشته باشند. اگرچه برای ثبت کردن نقشه سایت در موتورهای جستجو راه های دیگری نیز وجود دارد، ولی این راه یکی از روش‌های ساده و کم دردسر برای این مسئله است. کافیست کد دستوری زیر را در فایل robots.txt اضافه کنید:

Sitemap: https://example.com/sitemap.xml

در پایان تمامی موارد و دسته صفحات مورد نیاز را طبق دستور های گفته شده در یک فایل متنی با نام robots.txt  ذخیره کنید و در سایت آپلود کنید.

 

سئوی سایت دانشی مبتنی بر تجربه است. با شناخت اشتباهات رایج در آن، بهتر می توانید عمل کنید.

مطالعه این مقاله را به شما عزیزان پیشنهاد می کنیم
اشتباهاتی که در سئوی سایت ممکن است مرتکب شوید

 

نکاتی درباره فایل robots.txt

  • همواره فایل robots.txt خود را بررسی و تست کنید تا مطمئن شوید بخش مهمی از سایت شما از طریق آن مسدود نشده باشد.
  • فایل‌ها و پوشه‌های مهم CSS و JS را مسدود نکنید. فراموش نکنید که ربات‌های گوگل درست از نگاه یک کاربر یک سایت را بررسی و ایندکس می‌کنند. در نتیجه اگر برخی از فایل‌های CSS و JS و دیگر فایل‌های مشابه را بلاک کنید، ممکن است سایت شما به صورت مناسب بارگذاری نشود و این مسئله نیز می‌تواند باعث ایجاد خطا شده و در ایندکس شدن دیگر صفحات سایت شما تأثیر منفی بگذارد.
  • سعی کنید دستورات خاص زیادی برای ربات‌های خاص تعیین نکنید. پیشنهاد می‌شود اگر دستور خاصی دارید آن را با کمک کد User-agent: * روی همگی ربات‌ها اعمال کنید.
  • اگر مایل هستید که تنها تعداد محدودی از صفحات سایت شما در موتورهای جستجو ایندکس نشوند، پیشنهاد می‌کنیم به جای تغییر در فایل robots.txt از تگ ‌noindex در هدر صفحه موردنظر استفاده کنید.

 

ما در مه ویژن با داشتن تیمی مجرب و حرفه ای در حوزه سئوی سایت در خدمت شما عزیزان هستیم

مطالعه این مقاله را به شما عزیزان پیشنهاد می کنیم
سئوی سایت به سبک مه ویژن

پر بازدیدترین مطالب

  • معیارهای طراحی سایت ۲۰۲۱

    معیارهای طراحی سایت ۲۰۲۱

    طراحی وب‌سایت‌ها به طور پیوسته در حال تغییر است و هر ساله طرح‌های جدید از سایت را شاهد خواهیم بود. وب‌سایت‌های امروزی تفاوت بسیاری زیادی در ساختار طراحی نسبت به وب‌سایت‌های ۵ سال پیش دارند؛ در این مقاله درباره جدید‌ترین استاندارد‌های طراحی سایت در سال ۲۰۲۱ صحبت کرده‌ایم.

    ادامه مطلب

  • اهمیت کلیدواژه یا کلمه کلیدی در سئوی سایت

    اهمیت کلیدواژه یا کلمه کلیدی در سئوی سایت

    کلیدواژه یا کلمه کلیدی که هر دو ترجمه keyword هستند را شاید بتوان ابتدایی ترین عنصر سئوی سایت نامید. اهمیت کلیدواژه یا کلمه کلیدی به حدی است که اگر بگوییم سایر اقدامات سئوی سایت بر این عنصر استوار هستند، اشتباه نکردیم!

    ادامه مطلب

  • طراحی سایت صنعتی

    طراحی سایت صنعتی

    رقابت در دنیای صنعتی امروز بسیار تنگاتنگ‌تر از گذشته است. امروزه کارخانه‌های صنعتی بسیار زیادی وجود دارد که محصولی مشابه تولید می‌کنند و برای دوام در بازار باید با یکدیگر به رقابت بپردازند؛ از طرف دیگر بسیاری از صنایع به دنبال حضور در بازارهای بین‌المللی هستند و به دنبال راه حلی برای نشان دادن محصولاتشان به شرکت‌های خارجی هستند. اینجاست که اهمیت داشتن یک وب‌سایت صنعتی برای کسب‌وکار و کارخانه نمایان می‌شود.

    ادامه مطلب

  • خلاقیت در طراحی وب‌سایت

    خلاقیت در طراحی وب‌سایت

    یک وب‌سایت خلاقانه، وب‌سایتی است که با توجه به نوع کسب‌وکار و هویت برند طراحی شده باشد و سلیقه مخاطب هدف را در نظر بگیرد و تمامی المان‌های آن مثل رنگ، لوگو، فونت و غیره هوشمندانه انتخاب شود.

    ادامه مطلب

  • گوگل تگ منیجر (GTM) چیست و چه مزیت‌هایی دارد؟

    گوگل تگ منیجر (GTM) چیست و چه مزیت‌هایی دارد؟

    گوگل تگ منیجر یک ابزار تحت وب‌ است که به مدیران سایت و وبمستران کمک می‌کند تا بتوانند تگ‌های مختلف وب‌سایت خود را راحت‌تر مدیریت کنند. گوگل تگ منیجر این امکان را به کاربران می‌دهد تا بدون نیاز به کد نویسی و مراجعه مکرر به سورس کد‌های وب‌سایت، تگ‌های مورد نیاز خود را ایجاد، مدیریت و حذف کنند. در این مقاله به معرفی گوگل تگ منیجر می‌پردازیم و مزایای استفاده از آن را بیان می‌کنیم.

    ادامه مطلب

  • طراحی سایت ریسپانسیو

    طراحی سایت ریسپانسیو

    طراحی سایت ریسپانسیو هر روز بیشتر از دیروز تبدیل به یک الزام می‌شود. طراحی سایت ریسپانسیو با پیشرفت تلفن‌های همراه و همه‌گیر شدن استفاده از آنها نسبت به کامپیوترهای شخصی و لپ‌تاپ‌ها اهمیت پیدا کرده است.

    ادامه مطلب

  • صفر تا صد طراحی سایت فروشگاهی

    صفر تا صد طراحی سایت فروشگاهی

    اصول طراحی سایت فروشگاهی با دیگر وب‌سایت‌ها کاملا متفاوت است. در طراحی سایت فروشگاهی تجربه کاربری اهمیت ویژه‌ای دارد و یک سایت فروشگاهی امکاناتی را نیاز دارد که در طراحی سایر سایت‌ها مثل سایت شرکتی، نیازی به آن نیست. در این مقاله درباره صفر تا صد طراحی سایت فروشگاهی صحبت می‌کنیم.

    ادامه مطلب

  • الگوریتم فرشنس (Freshness) گوگل

    الگوریتم فرشنس (Freshness) گوگل

    Google Freshness یکی دیگر از الگوریتم‌های گوگل است که به محتوای جدید و تازه توجه بیشتری نسبت به محتوای قدیمی نشان می‌دهد. این به این معنی است که اگر محتوای شما به‌روز باشد، شانس دیده شدن آن در فهرست نتایج جستجو بیشتر می‌شود. در این مقاله درباره الگوریتم گوگل فرشنس و تاثیر آن روی سئو سایت صحبت می‌کنیم. 

    ادامه مطلب

  • سایت مپ چیست؟ و چگونه یک نقشه سایت بسازیم؟

    سایت مپ چیست؟ و چگونه یک نقشه سایت بسازیم؟

    آیا تاکنون فکر کرده اید که گوگل چگونه وبسایت‌ها را پیدا می‌کند و بر چه اساس آن‌ها را رتبه‌بندی می‌کند؟
    سایت مپ یا نقشه سایت یک ابزار کاربردی برای سئو سایت است. سایت مپ به موتورهای جستجو کمک می‌کند تا صفحات سایت ما را بهتر واکاوی کنند و محتوای آن را ایندکس کنند.

    ادامه مطلب

  • سوشیال سیگنال (Social Signal) چیست؟ چه تاثیری روی سئو دارد؟

    سوشیال سیگنال (Social Signal) چیست؟ چه تاثیری روی سئو دارد؟

    هنگامی که صفحاتی از وب‌سایت شما یا بخشی از محتوای وب‌سایت شما در شبکه‌های اجتماعی به اشتراک گذاشته شوند، لایک و کامنت دریافت کنند همه این واکنش‌ها جزو سوشیال سیگنال خواهند بود و روی سئو مطالب و وب‌سایت شما تاثیرگذار است.

    ادامه مطلب

  • ۵ روش موثر در بالا بردن رنکینگ وبسایت در گوگل

    ۵ روش موثر در بالا بردن رنکینگ وبسایت در گوگل

    اگر شما صاحب یک وبسایت هستید ، حتما تا به حال با خود فکر کرده اید که چه  کنید تا وب سایتتان پس از جست و جوی موضوعی مشخص در گوگل ، در رتبه های بالاتری نمایش داده شود . در این مقاله قصد داریم با به کار گیری ۵ روش ساده رتبه ی سایت شما را در موتور جستوجوی گوگل ارتقا دهیم .

    ادامه مطلب

  • اینفلوئنسر مارکتینگ و اهمیت آن در بازاریابی دیجیتال

    اینفلوئنسر مارکتینگ و اهمیت آن در بازاریابی دیجیتال

    اینفلوئنسر مارکتینگ یکی از مفاهیمی است که این روزها با گسترش استفاده از شبکه‌های اجتماعی، در دنیای دیجیتال مارکتینگ از آن صحبت به میان می‌آید. اینفلوئنسر مارکتینگ یا بازاریابی تاثیرگذار به معنی استفاده از افراد مشهور و تاثیرگذار یا به اصطلاح اینفلوئنسر برای تبلیغ محصول یا خدمت ماست. 

    ادامه مطلب