robots是否存在

       robots即robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

       利用robots,可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接,提升用户搜索体验。robots还可以导引搜索引擎抓取网站内容，如设置网站地图连接，可以导引引导蜘蛛爬取页面。

       robots.txt文件应该放置在网站根目录下。当spider访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围