请专家分析,百度蜘蛛爬取的原理问题
2019-04-18 19:00:16 浏览量:98
小弟不才,对百度蜘蛛的爬取的原理比较模糊后者说理解的有偏差,希望高手赐教。
1、新站刚刚解析域名后,做百度提交或者做外链“引蜘蛛”爬取,假设做的首页锚文本外链,蜘蛛是只爬取首页,然后顺着首页的连接进行抓取?还是网站的根目录下所有没被robots禁止的目录都被有可能抓取。
2、url伪静态后不在根目录文件夹生成文件的形式,对蜘蛛抓取,或者说收录影响多大?dz伪静态后会生成文件吗?之梦的会产生成静态页。
3、根目录下.jsp格式的模版文件会被抓取吗?
主要是对抓取的原理不太懂,写的乱糟糟的,同时希望给些资料查看。