关于百度蜘蛛爬取路径不完整的问题
2019-04-19 12:00:05 浏览量:154
有没有碰到一个问题,百度在爬取我们网页的时候路径不完整: 比如:你的路径是 /food/article/1000001/ 百度却爬取 /food/article/1000001 你的路径是 /news/2012_11_08/133707_0/ 百度却爬取 /news/2012_11_08/1337这样一来,百度抓取的结果返回的都是 404 ,我想对网站肯定是有影响的。 首先可以保证这个不是内链造成的(我们的内链都是规范化的,也检查过),想问大家有没有出现过这种情况,怎么解决的?
2人参与回答
  • 三木 八年网络营销经验,微信公众号:三木谈
    你好,这个问题属于正常现象,几乎每一个网站都会出现这样的情况。 原因没有出在你这,而是百度蜘蛛抓取你的页面后,需要获取页面链接,在获取链接的时候,总是在偷懒,很多链接抓取一半或者还没有抓取完就跑了。 我们唯一能改善的就是减少页面体积,让蜘蛛抓取更快一点。 但是你的链接结构不是很合理2012_11_08/133707_0/为什么不自己20121108/1337070/??
    83 2019-04-19 12:00:06
  • 杨超 河南百度营销大学讲师,最近做了一个8000+指数的词。QQ494821461
    最好统计一下数量,看一下有没有什么规律可循。贴一段日志代码出来给大家看看。
    16 2019-04-19 12:00:06

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com