当你查看一个网站快照时，很多时候是不是会遇到这样的一个提示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述？这是不是搜索引擎的抓取问题？不是的，这是由于网站重新上线时的一个屏蔽操作导致的，前几天在诊断一个网站就发现了是robots的问题，关于如何解决,以下会说到，现在先分析为什么会产生这种现象：

出现robots.txt文件存在限制指令的快照，是因为网站上线前或者测试的时候，网站的内容、标题都还要不断的进行修改，为了不让搜索引擎抓取到频繁的修改，所以在robots.txt上做了屏蔽搜索引擎的收录，即disallow:/的限制，seven平时也有这个习惯，在一个网站正式上线前，都会做全站屏蔽；网站正式上线后，加以外链、友链和提交的引导，搜索引擎的蜘蛛过来抓取页面，发现地址存在，但是被屏蔽了抓取，为了遵循互联网的抓取规则，不得已快照上只能显示这句提示，“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”，这是产生的缘由。 

那么怎样解决robots.txt文件存在的限制指令呢？

1、找到根目录下的robots.txt文件，去掉这一句disallow:/，解除屏蔽抓取；

2、下面一步很关键，就是到站长平台下去更新robots文件，告诉搜索引擎你的网站已经对它解除了屏蔽，可以来抓取我的网页内容了，主动对搜索引擎示好，快照更新过来之后，现象就会消失了。 

在优化过种中一个很小的细节就会让你的工作变得非常的麻烦，robots.txt是网站上线后必须检查的文件，要不然连抓取都被屏蔽了，很难谈以后的抓取和收录了。还有一点就是百度更新的有点慢，虽然解除了屏蔽，但还是要过一段时间才收录，这段时间千万别怀疑自己而把文件改来改去。