电商网站做了dns开设很多相同页面二级域名后robots如何写
2019-04-22 10:30:17 浏览量:129
网站为了考虑访客访问速度问题,分别在不同城市布局不同服务器,通过二级域名dns自动判断地域分配访问服务器,每个城市一个二级域名对应一台服务器,这些服务器的二级域名下的页面是相同的,但是www下的服务器是dns服务器,主要用来分配访客,也就是说所有二级域名下的服务器都有一个相同的网站,唯独www下的服务器里没有建设网站,这种情况如何写robots来禁止蜘蛛抓取所有二级域名内容,而只抓取www的的域名。 例如: www.域名.com/123.html bj.域名.com/123.html nc.域名.com/123.html sh.域名.com/123.html ...... 以上二级域名都和www.域名.com/123.html是同一个页面,如何屏蔽所有二级域名下的内容呢?
3人参与回答
  • 尹惊涛 三年SEO经理经历,目前任职于国内某著名酒类B2C商城
    用程序很容易的。用程序根据域名,浏览器进行判断。把所有的浏览器都先登记下来,百度蜘蛛本身也是浏览器,只要不是登记的浏览器,就跳转到指定页面。
    37 2019-04-22 10:30:18
  • 胡志勇 网络推广|sem|seo
    建议找找类似的网站参考一下,搜索引擎没那么聪明,太复杂的东西终究不是怎么好。
    79 2019-04-22 10:30:18
  • 曾辉 酷猫SEO博主 SEO-有所为而有所不为!
    虽然我不是个技术控 不过感谢你的邀请。 不同的服务器那么,可以给每个分站都建立一个Robots文件。屏蔽抓取。 其实有点不明所以,你既然建设2级域名,为什么要屏蔽他们。 如果你一个大站点的服务器如果承载不了害怕荡机的话,你升级服务器呀,或者在接一台服务器呀。设定在第5000个IP的时候,第5001个IP的时候就会跳到第2台服务器进行服务。 可能不清楚你的意思,但是,建设了2级域名又屏蔽掉的做法,有点多余了!! 个人建议,提供参考!
    27 2019-04-22 10:30:18

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com