logo

  |  

robots是否存在

 

           robots即robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

           利用robots,可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接,提升用户搜索体验。robots还可以导引搜索引擎抓取网站内容,如设置网站地图连接,可以导引引导蜘蛛爬取页面。

           robots.txt文件应该放置在网站根目录下。当spider访问一个网站时,首先会检查该网站中是否存在robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围