我们在对robots.txt 文件设置时，在此过程中要特别注意 Allow 与Disallow行的顺序，这个顺序非常关键，因为蜘蛛会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。如果混淆使用Allow和Disallow，将会给网站收录以及排名带来无法估计的伤害。

Allow代表允许抓取的URL或URL集
Disallow代表禁止搜索引擎抓取的URL或URL集

例：允许抓取www.feiwenseo.com/SEO-base目录下的a.html页面，禁止抓取目录下的其他url，
【正确写法】
Allow:/SEO-base/a.html
Disallow:/SEO-base/
【错误写法】
Disallow:/SEO-base/
Allow:/SEO-base/a.html
解析：蜘蛛会根据规则，匹配到允许抓取的a.html,禁止抓取SEO-base目录下的其他Url，会排除a.html的禁止抓取；如果先匹配到目录禁止抓取，后面Allow包含的a.html将被忽略，所以书写禁止url前，需要先书写Allow的url；

Allow和Disallow后面书写的路径可以是绝对路径，也可以是相对路径，视网站抓取规则复杂程度自定义。

对于新手来说，写robots文件时，一定要慎重。