网站的robots、地图都是放根目录下 蜘蛛都会去爬吗
2019-04-18 14:00:05 浏览量:61
最近在弄这个,不清楚有效果没有,故此来让各位大神帮助!
10人参与回答
  • 孙标 努力就有收获
    爬取你的根目录太吓人了吧,蜘蛛有那么厉害吗?还有进入你空间的权限了,楼上的还真会说笑
    86 2019-04-18 14:00:09
  • 李广 90后IT工作者,望学习SEO方面的知识
    会爬的,而且在Robots文件里面指定Sitemap也是有效果的,你可以加上,然后过段时间查看网站日志文件,就能够得到答案了。
    48 2019-04-18 14:00:09
  • 潘成 互联网爱好者,草根站长,专注于互联网行业的实践与学习
    当然会爬啊,蜘蛛会根据你的Robots文件书写规则对你网站对于的目录进行抓取,另外Sitemap对应的链接最好也放到robots文件里面,然后把Sitemap也提交给搜索引擎一下。
    90 2019-04-18 14:00:09
  • 孙小亮 泰州能通 经理 SEO经验2012年起
    会爬的啊 有时候你要做相应的对策来吸引蜘蛛来爬取 有的内容和页面 可以设置不被爬取。比方说网站地图 还有一些无关的页面
    81 2019-04-18 14:00:09
  • 孙安俊 CIO SEO一般 搞过维护,跑过销售,做过开发,主过研发,干过管理,带过团队,现在创业。
    不仅仅爬,还会很有效果,注意Robots文件名要小写。在robots中也要增加Sitemap的相关文件链接地址。
    82 2019-04-18 14:00:09
  • 张宾 一个苦逼的90后!
    谢谢邀请。一个字回答你 爬
    28 2019-04-18 14:00:09
  • 姜翼 呦呦切克闹,煎饼果子来一套
    所有内容都是在根目录下的,你说爬不爬
    21 2019-04-18 14:00:09
  • 张高琦 温州seoer在路上。。。。
    这个规则,都是遵守的吧。
    33 2019-04-18 14:00:09
  • 崔凯伦 互联网金融SEO竞价交流群 397705781 欢迎网贷SEOER加入交流
    先遵守Robots,然后才通过首页的url爬的吧,我想如果你的地图又不在robots里面说明,又没有链接指向它,而且也没有外部连接告诉蜘蛛你的地图位置。。。蜘蛛应该不会爬你的地图吧?
    17 2019-04-18 14:00:09
  • 曾辉 酷猫SEO博主 SEO-有所为而有所不为!
    百度并不是去爬你网站的根目录。Robots协议是所有搜索引擎需要遵守的协议,因为网站是个人或者企业拥有的,所以就有属于个人或者企业私有的内容,所有权拥有者有权不对外开放。所以robots就是这样的规定,例如:支付宝页面,网银页面等等。 说这些只为证明,搜索引擎的抓取系统,例如百度蜘蛛就必须对任何一个域名的robots进行访问。 返回正题:百度只为了爬取,www。XXX。com/robots.txt这个URL。 网站地图也是一样,www。XXX。com/Sitemap。html、txt、xml这3种形式的URL。 百度蜘蛛爬取并不是去爬根目录。其实目录结构也正是URL的结构。但是蜘蛛并不能进入网站空间
    64 2019-04-18 14:00:09

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com