【robots检测】检查网站robots.txt文件状态
robots检测功能主要检查网站的robots.txt文件状态是否正常,网站中robots屏蔽哪些目录,禁止或者允许哪个蜘蛛抓取已否。
1.登录爱站SEO工具包,找到对应的robots检测工具,图标如下:
2.点击进入robots信息填写界面(如下图),输入域名点击查询即可检测到robots具体报告。
详细的Robots检测教程网址:http://gongju.aizhan.com/jc_9.html
robots检测功能主要检查网站的robots.txt文件状态是否正常,网站中robots屏蔽哪些目录,禁止或者允许哪个蜘蛛抓取已否。
1.登录爱站SEO工具包,找到对应的robots检测工具,图标如下:
2.点击进入robots信息填写界面(如下图),输入域名点击查询即可检测到robots具体报告。
详细的Robots检测教程网址:http://gongju.aizhan.com/jc_9.html