Disallow: /admin和Disallow: /admin/区别

Disallow: /admin的匹配度比Disallow: /admin/的匹配度更广泛，前者可以匹配到/admin/,/admin.html,/admin.htm等，而后者局限匹配admin这个目录。也可以理解为前者包含后者，后者包含于前者。图片目录 imageJS目录 js 如果你的所有图片和js都是只分别在image和 js目录里，如需禁止则加一条Disallow: /image/和Disallow: /js/即可，如果不是，则去掉后面的反斜杠，或者把多个目录列出。官方的解释如下： Disallow: 该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/Robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。 Allow: 该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

我的认识是 Disallow: /admin 禁止抓取admin这个文件夹 Disallow: /admin/ 是禁止抓取admin文件夹下的所有文件目录

就补充董子桥 Disallow: /admin 解释：禁止抓取任何以/admin开头的目录和页面，比如Disallow: /admin2/目录还包括 /admin123.html 这样的页面其他的一样

Disallow: /admin 表示不能访问目录/admin/下的所有文件，包括该目录下的子目录和文件 Disallow: /admin/ 表示不能访问目录/admin/下的所有子目录及子目录下的所有文件，但是可以访问该目录下的文件，不包括子目录下的文件假如二级目录/admin/下有子目录/admin/dede/,以及一个文件/admin/meili.html。则： Disallow: /admin 表示不能访问/admin/dede/目录以及该目录下的文件，和文件/admin/meili.html Disallow: /admin/ 表示不能访问/admin/dede/目录以及该目录下的文件，但是可以访问/admin/meili.html PS:楼上的说法有误：以下内容来自百度官方“百度搜索帮助中心-禁止搜索引擎收录的方法” 地址：www点baidu点com/search/Robots.html 　　Disallow: 　　该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

Disallow: /admin 解释：禁止抓取任何以/admin开头的目录和页面，比如Disallow: /admin2/目录 Disallow: /admin/ 解释：仅禁止抓取任何以/admin/开头的目录和页面，但并不禁止抓取/admin2/目录如果你用过火车头采集器或许会明白点。

最新问题

最热问题

最新问题

最热问题

提示信息