ساخت فایل روبوت
Robots.txt وظیفه داشته تا یک فایل ایجاد کند که کاملا برعکس نقشه سایت بوده تا نشان دهد که صفحاتی را شامل میشود. بنابراین داشتن Robots.txt برای هر سایت لازم است. زمانی که یک موتور جستجوگر وب، سایتی را بررسی می کند، اول فایل robots.txt را در سطح ریشه پیدا کرده و بعد از شناسایی آن، خزنده فایل را خوانده و در آخر فایل ها و دایرکتوری هایی که شاید مسدود شوند را پیدا می کند.