添加robots后快照仍更新的原因
2019-04-20 15:30:09 浏览量：92
chengpin。shijizhongye。com这个域名已经做了robots屏蔽所有蜘蛛的爬取，该robots是12月9日书写并使用的，但是现在发现这个域名的快照为2013年12月19日
不是说robots屏蔽后相应的蜘蛛就不爬站点了吗？怎么现在日志里还有蜘蛛的IP以及快照的更新？robots到底有无效果？
