ساخت فایل روبوت

ساخت فایل روبوت

(Robots.txt Generator)

پیشفرض - همه ربات ها:	مجاز غیر مجاز
تاخیر-خزنده:	پیشفرض - بدون تاخیر 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
نقشه سایت: (درصورتی که ندارید، خالی بگذارید)
ربات های جستجو:	Google	مانند پیشفرض مجاز غیر مجاز
	Google Image	مانند پیشفرض مجاز غیر مجاز
	Google Mobile	مانند پیشفرض مجاز غیر مجاز
	MSN Search	مانند پیشفرض مجاز غیر مجاز
	Yahoo	مانند پیشفرض مجاز غیر مجاز
	Yahoo MM	مانند پیشفرض مجاز غیر مجاز
	Yahoo Blogs	مانند پیشفرض مجاز غیر مجاز
	Ask/Teoma	مانند پیشفرض مجاز غیر مجاز
	GigaBlast	مانند پیشفرض مجاز غیر مجاز
	DMOZ Checker	مانند پیشفرض مجاز غیر مجاز
	Nutch	مانند پیشفرض مجاز غیر مجاز
	Alexa/Wayback	مانند پیشفرض مجاز غیر مجاز
	Baidu	مانند پیشفرض مجاز غیر مجاز
	Naver	مانند پیشفرض مجاز غیر مجاز
	MSN PicSearch	مانند پیشفرض مجاز غیر مجاز
مسیر های مورد نظر:	مسیر فولدر ها و فایل ها نسبت به روت سایت وارد شوند و ابتدای آن حتما اسلش داشته باشد "/"

حالا یک فایل با نام robots.txt در مسیر اصلی سایت خود ایجاد نمایید و محتوی فوق را در آن کپی نمایید.

نحوه ایجاد فایل ‏Robots.txt

Robots.txt وظیفه داشته تا یک فایل ایجاد کند که کاملا برعکس نقشه سایت بوده تا نشان دهد که صفحاتی را شامل میشود. بنابراین داشتن  Robots.txt برای هر سایت لازم است. زمانی که یک موتور جستجوگر وب، سایتی را بررسی می کند، اول فایل robots.txt را در سطح ریشه پیدا کرده و بعد از شناسایی آن، خزنده فایل را خوانده و در آخر فایل ها و دایرکتوری هایی که شاید مسدود شوند را پیدا می کند.