有一点SEO知识的站长朋友应该知道机器人协议，也称为爬虫协议、爬虫规则、机器人协议等；也就是说，robots.txt文件通常添加到网站的根目录中。它的功能是告诉搜索引擎哪些页面可以爬网，哪些页面不能爬网，从而优化网站的收集结果和权重。
如果您的网站中没有robot，请添加以下代码或转到网站管理员工具在线编辑robot
User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: https://www.zhanceo.com/sitemap.xml
下面主要介绍WordPress自动创建virtual robots.txt的功能。如果您网站的根目录中不存在真正的robots.txt，您可以让WordPress自动创建一个虚拟robots.txt（该文件将不存在，但您可以访问它）https://www.zhanceo.com/robots.txt （可正常显示）
下面的代码添加到主题的 functions.php 即可：
/**
* 为你的 WordPress 站点添加 robots.txt
*/
add_filter( 'robots_txt', 'robots_mod', 10, 2 );function robots_mod( $output, $public ) {
$output .= "Disallow: /user/"; // 禁止收录链接中包含 /user/ 的页面
return $output;}注：如果你想添加更多的规则，请复制上面代码的第 7 行，然后修改一下即可。
访问 http://域名/robots.txt 我们可以看到如下内容：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /user/也就是说，WordPress 默认已经添加了前 3 行规则了。
robots.txt 涉及到网站的收录，所以请确保你明白它的书写方法，保证每条规则都是正确无误的！
