案例解析:网站日志分析和蜘蛛抓取控制快速提升网站收录率
一.网站日志分析
1.通过网站日志分析我们发现该网站存在抓取资源浪费,需对抓取进行控制。
www.xxxxx.com百度目录抓取量统计(数据来自:爱站SEO工具包)
www.xxxxxx.com百度页面抓取量统计(数据来自:爱站SEO工具包)
2.通过爱站关键词出词分布,和页面出词量进行页面搜索引擎价值和权重分析,我们发现部分优质内容栏目出词量少。
二、解决方案:
1.robots.txt文件设置不需抓取的css,js等页面,指定搜索引擎只抓取收录特定的部分目录。
2.首页入口分配,优质内容优先分配。
3.nofollow权重传递控制。
4.加强优质内容栏目外链,引导抓取收录,提升页面权重。
三、优化结果:
各子站经过类似的日志分析和蜘蛛抓取控制后,抓取资源集中用在价值页面的抓取,快速提升价值页面的收录,从而提升站点收录率
文/爱站张路(qq630145636)