建一个 robots.txt 里面什么也不写 是什么意思？
2019-04-21 11:00:23 浏览量：40
建一个 robots.txt 里面什么也不写 是什么意思？
是不是允许任何搜索引擎抓取任何内容。
7人参与回答
-
空着一定是不对的。若对爬虫抓取有一定了解，就会知道Robots.txt被抓取次数比较频繁，那为什么不在里面填写上 Sitemap呢？这么好的资源不利用。67 2019-04-21 11:00:25
-
什么都没写的话，表示全部搜索引擎都可以抓取所有的页面。45 2019-04-21 11:00:25
-
1.空Robots文件代表允许抓取所有内容。 2.建立空robots.txt的原因，我猜测是避免出现搜索引擎抓robots的时候出现404吧？91 2019-04-21 11:00:25
-
陈三平 努力钻研seo数据，寻找更多有利的渠道。容许抓取的意思吧10 2019-04-21 11:00:25
-
幸福的泪 搜问69号会员 电子商务从业者Robots.txt为搜索引擎提供指引。Disallow为禁止，Allow为允许，User-agent为定义搜索引擎的类型。17 2019-04-21 11:00:25
-
首先你要明白Robots.txt协议 你可以通过robots.txt协议制定蜘蛛可以抓取那些文件，不可以抓取那些文件。百度官方：仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。 注意：如果你robots.txt是空白的，什么都没有写，代表着默认允许各类搜索引擎抓取！75 2019-04-21 11:00:25
-
太阳 不仅仅是SEORobots.txt什么也不写等同于没有 robots.txt，表示允许搜索引擎抓取网站的全部内容。76 2019-04-21 11:00:25
