蜘蛛收录不存在的tag列表页，使用robots如何解决 推荐热议
2019-04-23 16:30:15 浏览量：372
织梦程序，标签URL结构是：www.seowhy.com/tags.php?/关键词/
但是如果该关键词下文章较多，会分词目录页，其URL结构如下：www.seowhy.com/tags.php?/关键词/-3/
其中关键词后面的-3中的数字3是标签列表页的页码。问题是我网站有的tag没有这么多分类页面，之前google蜘蛛都爬到/-100025/十万多了。
如果用robots禁止，怎么写？下面写的对么，很纠结。Disallow：/tags.php?/星号/星号/
如果robots不可以，下面是目录页页码代码，怎么处理呢？
4人参与回答
-
没有个定量，单纯想要屏蔽页码的话。还真没有想到好法子。85 2019-04-23 16:30:16
-
陈小路 酷猫SEO博主 SEO-有所为而有所不为！谢谢邀请。参考下游戏站的tag处理方法 比如关键字A 的页面是www.xxx.com/guanjz/A/ A关键字下面有100片文章分了10页 10页的地址全部是www.xxx.com/guanjz/A/ 不做改变 程序问下技术怎么实现。 不建议使用Robots来做31 2019-04-23 16:30:16
-
尹惊涛 三年SEO经理经历，目前任职于国内某著名酒类B2C商城Robots好像没有这种写法 建议从 tags.PHP 可以从这个文件入手，用程序解决就不难了。20 2019-04-23 16:30:16
-
三木 八年网络营销经验，微信公众号：三木谈tags.PHP?/*/$ 不知道上面写法是否正确。但你可以验证下。39 2019-04-23 16:30:16
