关于网站日志带动态参数路径抓取的问题
2019-04-20 17:00:19 浏览量:81
最近分析网站日志,发现抓取的很多页面是以showtopic.aspx结尾的,然后加入前面完整的域名访问是不存在的页面,后面发现有一段参数topicid=4874&forumpage=1&typeid=-1&page=2 我们知道路径传递参数是与真实路径之家会有个“?”符合进行连,正确的是应该是showtopic.aspx?opicid=4874&forumpage=1&typeid=-1&page=2 ;但在日志里面却发现省略了这个“?”链接符合;这个页面是论坛内页的翻页页面,所以在抓取统计里面抓取量最多的是以showtopic.aspx,请问这个是正常的吗?便于理解,附图如下: