首页 > SEO学院 > 论坛 > 网站日志分析：蜘蛛频繁抓取一个不存在的文件，怎回事？求这方面高手解答！
网站日志分析：蜘蛛频繁抓取一个不存在的文件，怎回事？求这方面高手解答！
2019-04-23 16:00:25 浏览量：181
最近在一个客户网站上发现 服务器日志里发现蜘蛛只频繁抓取一个 /iisstart.htm文件，连首页和robots文件也不抓取，导致这两天网站文章收录很差。这是怎么回事？ 求高手解答，在下感激不尽！情况如图：
3人参与回答
  • 黎亦峰
    如果是没有多大意义的页面，可以给那个连接加Nofollow，或者直接Robots下禁止抓取，便可以了，一个站的抓取量是有限的。
    17 2019-04-23 16:00:26
  • 三木 坚持自己，创新做事情
    这个一看就是假蜘蛛，同一个ip地址怎么能冒出来 一个是百度蜘蛛一个是360蜘蛛。
    41 2019-04-23 16:00:26
  • 三土叔 八年网络营销经验，微信公众号：三木谈
    百度和360的蜘蛛同一个IP？先验证下蜘蛛。不存在，返回码怎么可能是200？
    94 2019-04-23 16:00:26

最新问题

最热问题

提示信息

意见反馈
联系电话：
1585150508*
QQ交谈：
小编
站长微信：
站长邮箱： service@qingjiuzhubei.com