| 帮助文档 |
1、允许所有的robot访问
User-agent: *
Allow:
/ 或者
User-agent: *
Disallow:
2、禁止访问目录与网址
Disallow: /admin/
3、允许访问目录或网址
Allow: /UploadFiles
4、更多更全关于robots.txt帮助文档请上百度
网址：http://www.baidu.com/search/robots.html
|
robots.txt |
| 默认robots |
User-agent: *
Disallow: /Admin
Disallow: /Inc
Disallow: /Jquery
Disallow: /Templates
Disallow: /Skins
Disallow: /Images
Disallow: /UploadFiles
Disallow: /AspBox
Disallow: /Editor
Sitemap: http://127.0.0.1/sitemap.xml
|
robots.txt |