WordPress网站robots.txt写法

WordPress是一个强大的、国内外用户数量最多的博客程序。WordPress默认是不提供robots.txt文件的，需要自己编写。那么接下来就让我来为大家讲解一下怎么写robots.txt。

首先我们先简单了解下robots是什么有什么用途？

Robots是以一种网络爬虫协议，全称是“网络爬虫排除标准”，通过robots规则，可以规范爬虫抓取行为，不仅可以规范哪个搜索引擎爬虫可以或不可以抓取，还能告诉它们哪些文件类型可以抓取。

接下开始编写WordPress的robots.txt

User-agent: * #这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: /wp-admin/#禁止所有引擎抓取网站wp-admin目录

Disallow: /wp-includes/#禁止所有引擎抓取网站wp-includes目录

Disallow: /wp-content/plugins/#禁止所有引擎抓取网站wp-content目录下的plugins目录

Disallow: /wp-content/themes/#禁止所有引擎抓取网站wp-content目录下的themes目录

Disallow: /comments/feed/ #禁止搜索引擎爬虫抓取评论订阅

Disallow: /*/trackback#禁止所有引擎抓取网站包含和的目录下的trackback目录（包含子目录）

Disallow: /*?replytocom= #禁止搜索引擎爬虫抓取评论回复链接

Disallow: /*/comment-page-* #禁止搜索引擎爬虫抓取评论分页链接

Disallow：/?s=* #屏蔽搜索引擎蜘蛛抓取搜索结果页面

Disallow: /?p=* #禁止所有引擎爬虫抓取内容页的动态链接，如果未使用固定链接则忽略