建一个 robots.txt 里面什么也不写 是什么意思?
2019-04-21 11:00:23 浏览量:40
建一个 robots.txt 里面什么也不写 是什么意思? 是不是允许任何搜索引擎抓取任何内容。
7人参与回答
  • 空着一定是不对的。若对爬虫抓取有一定了解,就会知道Robots.txt被抓取次数比较频繁,那为什么不在里面填写上 Sitemap呢?这么好的资源不利用。
    67 2019-04-21 11:00:25
  • 什么都没写的话,表示全部搜索引擎都可以抓取所有的页面。
    45 2019-04-21 11:00:25
  • 1.空Robots文件代表允许抓取所有内容。 2.建立空robots.txt的原因,我猜测是避免出现搜索引擎抓robots的时候出现404吧?
    91 2019-04-21 11:00:25
  • 陈三平 努力钻研seo数据,寻找更多有利的渠道。
    容许抓取的意思吧
    10 2019-04-21 11:00:25
  • 幸福的泪 搜问69号会员 电子商务从业者
    Robots.txt为搜索引擎提供指引。Disallow为禁止,Allow为允许,User-agent为定义搜索引擎的类型。
    17 2019-04-21 11:00:25
  • 首先你要明白Robots.txt协议 你可以通过robots.txt协议制定蜘蛛可以抓取那些文件,不可以抓取那些文件。百度官方:仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。 注意:如果你robots.txt是空白的,什么都没有写,代表着默认允许各类搜索引擎抓取!
    75 2019-04-21 11:00:25
  • 太阳 不仅仅是SEO
    Robots.txt什么也不写等同于没有 robots.txt,表示允许搜索引擎抓取网站的全部内容。
    76 2019-04-21 11:00:25

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com