网站日志分析:蜘蛛频繁抓取一个不存在的文件,怎回事?求这方面高手解答!
2019-04-23 16:00:25 浏览量:150
最近在一个客户网站上发现 服务器日志里发现蜘蛛只频繁抓取一个 /iisstart.htm文件,连首页和robots文件也不抓取,导致这两天网站文章收录很差。这是怎么回事? 求高手解答,在下感激不尽!情况如图:
3人参与回答
  • 如果是没有多大意义的页面,可以给那个连接加Nofollow,或者直接Robots下禁止抓取,便可以了,一个站的抓取量是有限的。
    17 2019-04-23 16:00:26
  • 三木 坚持自己,创新做事情
    这个一看就是假蜘蛛,同一个ip地址怎么能冒出来 一个是百度蜘蛛一个是360蜘蛛。
    41 2019-04-23 16:00:26
  • 三土叔 八年网络营销经验,微信公众号:三木谈
    百度和360的蜘蛛同一个IP?先验证下蜘蛛。不存在,返回码怎么可能是200?
    94 2019-04-23 16:00:26

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com