求解,在robots些了禁止抓取的目录在日志文件中依然大量抓取
2019-04-19 09:00:14 浏览量:27
问题描述:一直在查看网站日志文件,但发现蜘蛛抓取的页面大部分是不需要抓取的文件,如js css 图片、模版目录,反而需要抓取的目录和内页的抓取却不好!之前有写过robots屏蔽不抓取模版目录,不知道是不是自己写错的原因,有同样情况,且知道如何处理的,请指点一二! 此图为网站日志分析数据 此图为robots文件
4人参与回答
  • 肖俊 金花站长工具作者
    百度并不完全遵守Robots协议,对于他认为可能有问题的URL即使已经屏蔽也会抓取。
    10 2019-04-19 09:00:15
  • 三木 八年网络营销经验,微信公众号:三木谈
    在你给的日志中我没有发现任何蜘蛛ip的存在。 可能是你理解错误,网站访问日志里面 的数据不单单就记录蜘蛛,还有我们正常人的浏览都会有记录。 至于Robots写的对不对得根据你的网站来看,把你网站发来看看
    48 2019-04-19 09:00:15
  • 王生 万变不离其宗,Seoer
    在站长工具平台中更新下Robots状态
    41 2019-04-19 09:00:15
  • 谢金标 广州乐声隔音材料 SEO工程师 SEO经验2011年起
    没看到baiduspider呢,截图全些,也有可能是没有生效吧,不知道多久了
    52 2019-04-19 09:00:15

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com