求解，在robots些了禁止抓取的目录在日志文件中依然大量抓取
2019-04-19 09:00:14 浏览量：27
问题描述：一直在查看网站日志文件，但发现蜘蛛抓取的页面大部分是不需要抓取的文件，如js css 图片、模版目录，反而需要抓取的目录和内页的抓取却不好！之前有写过robots屏蔽不抓取模版目录，不知道是不是自己写错的原因，有同样情况，且知道如何处理的，请指点一二！
此图为网站日志分析数据
此图为robots文件
4人参与回答
-
肖俊 金花站长工具作者百度并不完全遵守Robots协议，对于他认为可能有问题的URL即使已经屏蔽也会抓取。10 2019-04-19 09:00:15
-
三木 八年网络营销经验，微信公众号：三木谈在你给的日志中我没有发现任何蜘蛛ip的存在。 可能是你理解错误，网站访问日志里面 的数据不单单就记录蜘蛛，还有我们正常人的浏览都会有记录。 至于Robots写的对不对得根据你的网站来看，把你网站发来看看48 2019-04-19 09:00:15
-
王生 万变不离其宗，Seoer在站长工具平台中更新下Robots状态41 2019-04-19 09:00:15
-
谢金标 广州乐声隔音材料 SEO工程师 SEO经验2011年起没看到baiduspider呢，截图全些，也有可能是没有生效吧，不知道多久了52 2019-04-19 09:00:15
