ساخت فایل روبوت

Robots.txt Generator

ساخت فایل روبوت

(Robots.txt Generator)


پیشفرض - همه ربات ها:  
    
تاخیر-خزنده:
    
نقشه سایت: (درصورتی که ندارید، خالی بگذارید) 
     
ربات های جستجو: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
مسیر های مورد نظر: مسیر فولدر ها و فایل ها نسبت به روت سایت وارد شوند و ابتدای آن حتما اسلش داشته باشد "/"
 
 
 
 
 
 
   



حالا یک فایل با نام robots.txt در مسیر اصلی سایت خود ایجاد نمایید و محتوی فوق را در آن کپی نمایید.


نحوه ایجاد فایل ‏Robots.txt

Robots.txt وظیفه داشته تا یک فایل ایجاد کند که کاملا برعکس نقشه سایت بوده تا نشان دهد که صفحاتی را شامل میشود. بنابراین داشتن  Robots.txt برای هر سایت لازم است. زمانی که یک موتور جستجوگر وب، سایتی را بررسی می کند، اول فایل robots.txt را در سطح ریشه پیدا کرده و بعد از شناسایی آن، خزنده فایل را خوانده و در آخر فایل ها و دایرکتوری هایی که شاید مسدود شوند را پیدا می کند.


این قسمت در حال تکمیل می باشد

این قسمت در حال تکمیل می باشد

مشکل این ابزار را گزارش دهید:

پیوند یکتا:

Copy to clipboard

QR Code:

Robots.txt Generator qr img

 


اشتراک گذاری