关于网站日志带动态参数路径抓取的问题
2019-04-20 17:00:19 浏览量:81
最近分析网站日志,发现抓取的很多页面是以showtopic.aspx结尾的,然后加入前面完整的域名访问是不存在的页面,后面发现有一段参数topicid=4874&forumpage=1&typeid=-1&page=2 我们知道路径传递参数是与真实路径之家会有个“?”符合进行连,正确的是应该是showtopic.aspx?opicid=4874&forumpage=1&typeid=-1&page=2 ;但在日志里面却发现省略了这个“?”链接符合;这个页面是论坛内页的翻页页面,所以在抓取统计里面抓取量最多的是以showtopic.aspx,请问这个是正常的吗?便于理解,附图如下:
2人参与回答
  • 夫唯 搜外网创始人,专注SEO和小程序
    这个问题我也纠结中。特邀日志分析高手,金花日志分析的创始人,@肖俊 来回答下。
    75 2019-04-20 17:00:20
  • 肖俊 金花站长工具作者
    在了,是这样的IIS 记录日志时URL和参数是分开记录的,URL和参数之间的?号是不记录在文件里而是当做两个不同的字段来存放URL和参数。大部分日志工具未对这个做判断,所以会有异常。 AD:大家可以使用金花站长工具中的日志分析功能,这个工具是能自动拼接URL和参数的,方便大家检查日志。
    59 2019-04-20 17:00:20

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com