模拟百度蜘蛛的抓取页面

现在的很多工具都可以模拟百度蜘蛛的抓取页面。

一般模拟蜘蛛的抓取网页是：蜘蛛抓取第一个网页，然后过滤得到网页内的有效链接形成一个列表，然后在遍历列表内的链接，先检查是否抓过，如果没抓过就进行抓取，抓取的过程与第一个网页一样，获得到列表后在抓第二个页面，依次类推，中间会检查页面是否被抓取过，如果被抓取过则对该页面加分。这个分值便是最后的 PR 值。

像我们“爱站SEO工具包”中就有“搜索引擎模拟抓取页面”这个功能。