百度robots.txt上为何加User-agent: * Disallow: /
2019-04-18 15:30:11 浏览量:100
http://www.baidu.com/robots.txt 在百度的robots.txt最后有两行 …… User-agent: * Disallow: / 按照robots协议的规则,这应该是禁止所有搜索引擎访问网站的任何部分!而事实上所有的搜索引擎对其抓取。 如果没有最后两行,对上面的写法都可以解释!但是为什么最后还要加上这个两行? 1、如果百度要禁止所有蜘蛛的抓取,之前的还有必要写吗? 2、如果最后两行无效,那有必要写吗? 个人的猜测是User-agent: * Disallow: /是对以上没有列出的蜘蛛进行抓取;比如说360。我猜测是否对,欢迎大家拍砖! 如果猜测是正确的,这是否是robots的另一个语法规则!也请各位大神说一下自己的观点!!!
8人参与回答
  • 学习了 谢谢
    18 2019-04-18 15:30:14
  • 大家好看看www.********X这个站上面的对不对
    14 2019-04-18 15:30:14
  • 刘贝贝 网站开发运营出身,SEO届永远的的学生。喜欢SEO的网络人!
    学习了。。。。
    33 2019-04-18 15:30:14
  • 谢金标 广州乐声隔音材料 SEO工程师 SEO经验2011年起
    不是,Robots.txt命令是从上往下执行的,简单的说,百度的目的就是想禁止360,其他都不禁止,为什么不直接禁止360呢,还拐弯抹角?直接写就有恶性竞争的嫌疑了,这样写是最优的
    93 2019-04-18 15:30:14
  • 高世鹏 阿里SEOer,大流量网站SEO优化公众号:神之一爪
    Robots.txt还有这一手,受教了。 看来,还得更加仔细的研究下baidu自己的关于类似方面的解释了。 夫唯老师真的很严谨。
    38 2019-04-18 15:30:14
  • 陈红然 尚品网SEO,专注移动端SEO和电商SEO,QQ251725517.
    这样写应该是为了娱乐吧。 最后两行的含义已经完全包括了上边的所有内容。
    58 2019-04-18 15:30:14
  • 肖 俊 广州某网络公司SEO负责人 多年白帽黑帽SEO经验
    这个写法是没问题的,如果单独看这两行,则是表示禁止所有搜索引擎的,但前面针对每个搜索引擎都单独做了语句描述,而那些描述都是针对搜索引擎列出的,都是有效的,之所以把这两行放最后,是为了禁止前面没有列出的搜索引擎,比如360,你懂的。 简而言之百度的Robots.txt的写法就是百度只针对列出的搜索引擎开放,对没被列出的则禁止,包括360以及其他一些小的搜索引擎。
    69 2019-04-18 15:30:14
  • 夫唯 搜外网创始人,专注SEO和小程序
    如果单独写出来,则这个蜘蛛只受其下面的几个Disallow和Allow行限制。 没写出来的,受User-agent: * 限制。如:360没被特地写出,则说明。。。 参考:http://www.baidu.com/search/Robots.html 第七条:
    36 2019-04-18 15:30:14

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com