首页
行业词库
外链交易
软文助手
关键词挖掘
SEO学院
大数据分析
站长工具
HTTP状态查询
友链检测
死链检测
Sitemap生成
Whois查询
模拟百度抓取
首页
行业词库
外链交易
软文助手
大纲辅助构思
关键词文章
文章助手
结构化文章
关键词挖掘
SEO学院
最新资讯
SEO教程
论坛
大数据分析
站长工具
HTTP状态查询
友链检测
死链检测
Sitemap生成
Whois查询
模拟百度抓取
文章接口
查看全部
登录/注册
首页
>
SEO学院
>
论坛
>
求解,在robots些了禁止抓取的目录在日志文件中依然大量抓取
求解,在robots些了禁止抓取的目录在日志文件中依然大量抓取
2019-04-19 09:00:14
浏览量:27
问题描述:一直在查看网站日志文件,但发现蜘蛛抓取的页面大部分是不需要抓取的文件,如js css 图片、模版目录,反而需要抓取的目录和内页的抓取却不好!之前有写过robots屏蔽不抓取模版目录,不知道是不是自己写错的原因,有同样情况,且知道如何处理的,请指点一二! 此图为网站日志分析数据 此图为robots文件
分享到:
4人参与回答
肖俊
金花站长工具作者
百度并不完全遵守Robots协议,对于他认为可能有问题的URL即使已经屏蔽也会抓取。
10
2019-04-19 09:00:15
三木
八年网络营销经验,微信公众号:三木谈
在你给的日志中我没有发现任何蜘蛛ip的存在。 可能是你理解错误,网站访问日志里面 的数据不单单就记录蜘蛛,还有我们正常人的浏览都会有记录。 至于Robots写的对不对得根据你的网站来看,把你网站发来看看
48
2019-04-19 09:00:15
王生
万变不离其宗,Seoer
在站长工具平台中更新下Robots状态
41
2019-04-19 09:00:15
谢金标
广州乐声隔音材料 SEO工程师 SEO经验2011年起
没看到baiduspider呢,截图全些,也有可能是没有生效吧,不知道多久了
52
2019-04-19 09:00:15
最新问题
GA上网站本身成为引荐流量怎么解决?
链接来源网站不可访问怎么处理?
网络公司一般用什么样erp系统
发句牢骚,最近做了一个公司的新站,竟然不知道怎么开始做优化了、囧哇~
网络公司一般用什么样的客户管理系统
wordpres如何删除虚拟 robots
提交给百度sitemap.xml好还是rrs.xml好
新年百度给我的信心
删 帖
有一天你赖以生存的东西无法让你生存了,你会怎么办?
最热问题
关于蜘蛛抓取及反馈问题
wordpres如何删除虚拟 robots
如果做一个视频站会侵舍版权问题
为什么百度蜘蛛抓取我网页上没有的文件。
修改网站编码会被惩罚吗?
医疗外推突破瓶颈的推广方式和方向有哪些?
百度新版首页更给力
各位seoer。上班到啥时候,都放假了吗?
1天百度收录。5天首页。有图有真相
将脱离官网的二级域名撤消掉,对官网有哪些影响?
提示信息
意
见
反
馈
联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱:
service@qingjiuzhubei.com