فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟

فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟
5.0/5 rating 1 vote

آیا تا به حال خواسته اید که مطلبی از وب سایتتان در نتایج سرچ گوگل نمایش داده نشود و یا اینکه برایتان پیش آمده که مطلبی از سایتتان با وجود رعایت تمامی نکات توسط گوگل ایندکس نشده باشد و شما ندانید که چه اتفاقی در حال رخ دادن است؟ در سئوی تکنیکال مبحث ساده اما مهمی وجود دارد به نام فایل Robots.txt که شاید بتواند پاسخ سوالات بالا را بدهد.

قبلتر و در مقالات مختلف به این نکته اشاره کردیم که موتورهای جستجو و در رأس آنها گوگل با استفاده از یک سری ربات (که در واقع خود این ربات ها ابزارهای برنامه نویسی شده ای هستند) تمامی اطلاعات موجود در اینترنت را مورد کاوش قرار می دهند و سپس طی الگوریتم هایی که دارند، نسبت به رتبه بندی این مطالب اقدام می کنند.

اما گاهی در همین فرایند جستجو و کاوش کردن مطالب مشکلات و معضلاتی پیش می آید که لازمه آن داشتن اطلاعات پایه ای و اساسی از سئوی سایت است. یکی از مواردی که در کراول شدن یا خزیده شدن! (کاوش شدن شاید عبارت بهتری باشد) مطالب سایت توسط ربات های گوگل اثرگذار است، یک فایل متنی است موسوم به فایل Robots.txt.

 

سئوی سایت به دو نوع آف پیج و آن پیج تقسیم می شود، این مقاله درباره سئوی آن پیج است

مطالعه این مقاله را به شما عزیزان پیشنهاد می کنیم
سئو آن پیج (on-page) یا سئوی داخلی سایت

 

بدون هیچ مقدمه اضافی به تعریف فایل Robots.txt و تأثیر آن بر سئوی سایت می پردازیم.

 

فایل robots.txt چیست؟

همانطور که اشاره کردیم، از موارد فنی و اصطلاحاً سئوی تکنیکال که برای بهینه کردن ایندکس صفحات سایت به کار می رود، استفاده از فایل robots.txt است. Robots.txt یک فایل متنی است که برای هدایت ربات های موتور جستجو برای نحوه خزیدن و ایندکس صفحات وب سایت استفاده می شود. از آنجا که فایل robots.txt ربات های جستجو را در مورد نحوه خزیدن صفحات مختلف وب سایت شما راهنمایی می کند، دانستن نحوه استفاده و تنظیم این فایل بسیار مهم است. برای جلوگیری از ایندکس شدن صفحات می توان از روش های دیگر مانند تگ noindex استفاده کرد اما زمانی که بخواهید یک دسته از صفحات ایندکس نشوند، نمی توانید برای هر کدام از صفحات به صورت جداگانه از تگ noindex استفاده کنید. در اینجا robots.txt به کمک شما می آید.

اگر یک فایل robots.txt نادرست تنظیم شده باشد، می تواند باعث اشتباه در ایندکس شدن صفحات سایت شود. گاهی اوقات صاحبان سایت ها بعلت نداشتن اطلاعات کافی در این زمینه اشتباهاتی را در ساخت یا ویرایش این فایل متنی رقم می زنند که منجر به خساراتی به سئوی سایت آنها می شود.

 

چه صفحاتی را با فایل robots.txt از دسترس موتورهای جستجو خارج کنیم؟

  • صفحاتی که محتوای تکراری (duplicate content) دارند 
  • تگ ها و برچسب هایی که باعث ایجاد محتوای تکراری و یا اضافه در سایت می شوند
  • فیلتربندی صفحات محصول که شامل فیلتر های قیمت، رنگ و ... می شوند
  • صفحاتی که با سرچ کردن در خود سایت ایجاد می شوند (در صورتی که صفحات اصلی و مهم شما توسط کاربران در سایت سرچ نشود)
  • تمامی صفحات ادمین و پنل سایت
  • صفحه پروفایل کاربران سایت
  • صفحات چت آنلاین
  • برخی از فایل های قالب که نیازی به دیده شدن توسط گوگل ندارند

 

عوامل بسیاری در سئوی سایت تاثیرگذار هستند که امنیت سایت نیز یکی از مهم ترین هاست

مطالعه این مقاله را به شما عزیزان پیشنهاد می کنیم
نقش امنیت سایت در سئو

 

فایل Robots.txt چیست و چه تاثیری بر سئو دارد؟

 

ساخت یا ویرایش فایل robots.txt

همانطور که گفتیم فایده اصلی فایل های Robots.txt این است که متخصصان سئو را قادر می سازد تا از ایندکس شدن چندین صفحه به طور همزمان و بدون نیاز به دسترسی به کدهای هر صفحه، جلوگیری کنند. استفاده از robots.txt برای جلوگیری از ایندکس شدن کافیست یک فایل متنی درست کنید و از دستور زیر استفاده کنید.

 

در هر فایل robots.txt از سه دستور اصلی استفاده می شود که موارد زیر هستند:

1- دستور User-agent

در ابتدای فایل robots.txt و قبل از نوشتن هر دستوری باید دستور User-agent نوشته شوند. این دستور نشان می دهد که شما کدام یک از ربات های خزنده در وب را هدف قرار گرفته اید تا به آن دستور بدهید. پس از نوشتن عبارت User-agent و قرار دادن دو نقطه در جلوی آن، نام رباتی که می خواهید به آن دستور بدهید را می نویسید. به عنوان مثال زمانی که بخواهیم به ربات گوگل دستور بدهیم از عبارت User-agent: googlebot استفاده می کنیم.

اگر بخواهیم تمامی ربات های خزنده همه موتورهای جستجو را هدف قرار دهید کافی است یک * در جلوی دستور User-agent قرار دهیم. (به صورت * :User-agent نوشته می شود)

 

2- دستورات Allow و Disallow

پس از مشخص کردن ربات هدف باید دستورات لازم را به آنها بدهید. در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستور Allow و برای جلوگیری از خزش از دستور Disallow استفاده می شود.

پس از نوشتن یکی از این دو دستور و قرار دادن دو نقطه «:» در جلوی آن، باید صفحه و یا دسته صفحاتی که قصد اعمال کردن دستور به آنها را دارید، وارد می کنید. برای وارد کردن این بخش نیازی نیست کل آدرس یا همان url صفحه را تایپ کنید. فقط از قسمت / به بعد وارد را کرده و دامنه را وارد نکنید.

به عنوان اگر صفحات ادمین سایت شما همگی با پارامتر admin در url مشخص شده اند یعنی به صورت www.example.com/admin هستند، برای جلوگیری از ایندکس شدن صفحات ادمین از دستور زیر استفاده می کنیم:

User-agent: *
Disallow: /admin/

 

3- ثبت سایت مپ (Sitemap) در فایل robots.txt

این دستور کاملا اختیاری است اما پیشنهاد می کنیم که حتما این کار را انجام دهید. با تعیین دستور مربوط به نقشه سایت در robots.txt می‌ توانید به موتورهای جستجو بفهمانید که فایل XML نقشه سایت شما را از چه مسیری پیدا کرده و به آن دسترسی داشته باشند. اگرچه برای ثبت کردن نقشه سایت در موتورهای جستجو راه های دیگری نیز وجود دارد، ولی این راه یکی از روش‌های ساده و کم دردسر برای این مسئله است. کافیست کد دستوری زیر را در فایل robots.txt اضافه کنید:

Sitemap: https://example.com/sitemap.xml

در پایان تمامی موارد و دسته صفحات مورد نیاز را طبق دستور های گفته شده در یک فایل متنی با نام robots.txt  ذخیره کنید و در سایت آپلود کنید.

 

سئوی سایت دانشی مبتنی بر تجربه است. با شناخت اشتباهات رایج در آن، بهتر می توانید عمل کنید.

مطالعه این مقاله را به شما عزیزان پیشنهاد می کنیم
اشتباهاتی که در سئوی سایت ممکن است مرتکب شوید

 

نکاتی درباره فایل robots.txt

  • همواره فایل robots.txt خود را بررسی و تست کنید تا مطمئن شوید بخش مهمی از سایت شما از طریق آن مسدود نشده باشد.
  • فایل‌ها و پوشه‌های مهم CSS و JS را مسدود نکنید. فراموش نکنید که ربات‌های گوگل درست از نگاه یک کاربر یک سایت را بررسی و ایندکس می‌کنند. در نتیجه اگر برخی از فایل‌های CSS و JS و دیگر فایل‌های مشابه را بلاک کنید، ممکن است سایت شما به صورت مناسب بارگذاری نشود و این مسئله نیز می‌تواند باعث ایجاد خطا شده و در ایندکس شدن دیگر صفحات سایت شما تأثیر منفی بگذارد.
  • سعی کنید دستورات خاص زیادی برای ربات‌های خاص تعیین نکنید. پیشنهاد می‌شود اگر دستور خاصی دارید آن را با کمک کد User-agent: * روی همگی ربات‌ها اعمال کنید.
  • اگر مایل هستید که تنها تعداد محدودی از صفحات سایت شما در موتورهای جستجو ایندکس نشوند، پیشنهاد می‌کنیم به جای تغییر در فایل robots.txt از تگ ‌noindex در هدر صفحه موردنظر استفاده کنید.

 

ما در مه ویژن با داشتن تیمی مجرب و حرفه ای در حوزه سئوی سایت در خدمت شما عزیزان هستیم

مطالعه این مقاله را به شما عزیزان پیشنهاد می کنیم
سئوی سایت به سبک مه ویژن

پر بازدیدترین مطالب

  • Gtmetrix چیست؟ نحوه عملکرد آن چگونه است؟

    Gtmetrix چیست؟ نحوه عملکرد آن چگونه است؟

    Gtmetrix یک ابزار آنلاین و کاملا رایگان برای بررسی سرعت وب‌سایت‌ها است که با گزارش‌های دقیق و جزئی که از عملکرد وب‌سایت در اختیار شما قرار می‌دهد، می‌توانید نواقص و اشکالات وب‌سایت خود را رفع کنید و سرعت وب‌سایت خود را بهینه کنید. در این مقاله به معرفی و آموزش استفاده از این ابزار پرداخته ایم.

    ادامه مطلب

  • اقدامات لازم پیش از طراحی سایت

    اقدامات لازم پیش از طراحی سایت

    پیش از طراحی سایت شما نیازمند آن هستید که نوع وب‌سایت، امکانات مورد نیاز، هدف از طراحی سایت، مخاطبان و ... را مشخص کنید و پس از آن اقدام به طراحی سایت کنید. در این مقاله می‌خواهیم درباره اقدامات ضروری پیش از طراحی سایت صحبت کنیم.

    ادامه مطلب

  • الگوریتم کافئین و تحول در ایندکسینگ

    الگوریتم کافئین و تحول در ایندکسینگ

    در سال ۲۰۰۹ گوگل اولین نسخه از الگوریتم جدیدی را معرفی کرد که تحولی بزرگی در فرآیند ایندکس شدن صفحات ایجاد کرد. الگوریتم کافئین، بسیار دقیق‌تر و سریع‌تر از الگوریتم‌های گذشته صفحات را ایندکس می‌کند و نتایج به روز و جدیدتر، با این الگوریتم در رتبه‌های بالاتری قرار می‌گیرند.

    ادامه مطلب

  • بررسی هزینه طراحی وب سایت

    بررسی هزینه طراحی وب سایت

    بررسی هزینه طراحی وب سایت موضوع این مقاله ماست. در این مقاله قصد داریم تا با شیوه ها و اقداماتی که برای شما معرفی می کنیم، نحوه صحیح بررسی هزینه طراحی وب سایت را آموزش دهیم. امیدواریم تا با مطالعه این مقاله بتوانید در طراحی وب سایتان بهترین تصمیم را بگیرید.

    ادامه مطلب

  • طراحی سایت کلینیک زیبایی

    طراحی سایت کلینیک زیبایی

    با داشتن یک وب‌سایت برای کلینیک زیبایی خود، به بسیاری از نیاز‌های مشتریان خود به صورت آنلاین پاسخ می‌دهید و باعث جلب‌ رضایت‌ آن‌ها می‌شوید و کسب‌وکار خود را به صورت حرفه‌ای نشان می‌دهید و در نهایت این کار شما باعث جذب مشتریان بیشتر می‌شود.

    ادامه مطلب

  • سایت مپ چیست؟ و چگونه یک نقشه سایت بسازیم؟

    سایت مپ چیست؟ و چگونه یک نقشه سایت بسازیم؟

    آیا تاکنون فکر کرده اید که گوگل چگونه وبسایت‌ها را پیدا می‌کند و بر چه اساس آن‌ها را رتبه‌بندی می‌کند؟
    سایت مپ یا نقشه سایت یک ابزار کاربردی برای سئو سایت است. سایت مپ به موتورهای جستجو کمک می‌کند تا صفحات سایت ما را بهتر واکاوی کنند و محتوای آن را ایندکس کنند.

    ادامه مطلب

  • چک لیست سئو و تولید محتوا

    چک لیست سئو و تولید محتوا

    چک لیست سئو و تولید محتوا که در این مقاله سایت مه ویژن می خوانید، شما را تا حد خوبی با تمامی اقداماتی که باید برای سئوی سایت خود بکنید، آشنا می کند. این چک لیست سئو و تولید محتوا را از دست ندهید.

    ادامه مطلب

  • اشتباهات رایج تولید محتوا

    اشتباهات رایج تولید محتوا

    برخی از کسب‌وکارها بدون داشتن دانش و تخصص کافی در این مورد، اقدام به تولید محتوا می‌کنند و متاسفانه با وجود اینکه هزینه و زمان زیادی را نیز صرف این کار می‌کنند، اما در نهایت نتیجه‌ی مطلوبی که به دنبال آن بوده‌اند را بدست نمی‌آورند. در این مقاله می‌خواهیم درباره اشتباهات رایج در بازاریابی محتوا صحبت کنیم. 

    ادامه مطلب

  • الگوریتم موبایل گدون (Mobilegeddon) و تحول در طراحی موبایل فرندلی

    الگوریتم موبایل گدون (Mobilegeddon) و تحول در طراحی موبایل فرندلی

    با افزایش روز افزون استفاده از تلفن هوشمند و تبلت‌ها برای جست‌وجوی اینترنتی، گوگل الگوریتمی را معرفی کرد که به سایت‌های با طراحی موبایل فرندلی اهمیت بیشتری می‌دهد. در این مقاله به معرفی الگوریتم موبایل گدون (mobilegeddon) می‌پردازیم.

    ادامه مطلب

  • تگ کنونیکال (Canonical Tag) چیست؟ چه کاربردی در سئوی سایت دارد؟

    تگ کنونیکال (Canonical Tag) چیست؟ چه کاربردی در سئوی سایت دارد؟

    تگ کنونیکال که اغلب به عنوان «rel=canonical » نیز از آن یاد می‌شود، تگی است که در قسمت بالای صفحات (head) قرار داده می‌شود و به موتورهای جستجو این موضوع را اطلاع می‌دهد که URL مشاهده شده، نسخه اصلی از محتوا نیست و آن را به محتوای اصلی ارجاع می‌دهد. در این مقاله به معرفی تگ کنونیکال می‌پردازیم.

    ادامه مطلب

  • طراحی سایت به سبک مه ویژن

    آنچه "مه ویژن" را در طراحی سایت متمایز کرده است، طراحی سایت خلاقانه، منحصربفرد و متناسب با ویژگی‌های هر کسب‌وکار است که سبب شده است تا طراحی سایت برای هر یک از مشتریان متفاوت و منحصربفرد باشد. 

    ادامه مطلب

  • نکات مهم در طراحی رابط کاربری (UI) سایت

    نکات مهم در طراحی رابط کاربری (UI) سایت

    رابط کاربری (UI)، این روزها به یکی از مفاهیم بسیار مهم در زمینه طراحی وب‌سایت و اپلیکیشن تبدیل شده است و طراحان به دنبال آن هستند که رابط کاربری وب‌سایت و اپلیکیشن خود را هرچه بهتر طراحی کنند تا بتوانند نظر مخاطبان بسیار زیادی را به سمت وب‌سایت جلب کنند. در این مقاله درباره رابط کاربری و نکات مهم هنگام طراحی رابط کاربری صحبت می‌کنیم.

    ادامه مطلب