logo

robots检测检查网站robots.txt文件状态

robots检测功能主要检查网站的robots.txt文件状态是否正常,网站中robots屏蔽哪些目录,禁止或者允许哪个蜘蛛抓取已否。