在 WordPress 网站中生成 robots.txt 文件是一个重要的步骤，可以帮助搜索引擎了解你希望他们如何抓取你的网站内容。以下是生成和管理 robots.txt 文件的几种方法：

方法 1：使用插件

  1. 安装插件：
    • 登录到你的 WordPress 管理后台。
    • 转到“插件” > “添加新插件”。
    • 搜索“Yoast SEO”或“Rank Math”等 SEO 插件，安装并激活它们。
  2. 编辑 robots.txt 文件：
    • 在插件设置中，你通常会找到一个选项来编辑 robots.txt 文件。
    • 根据需要添加或修改规则。

方法 2：手动创建 robots.txt 文件

  1. 使用 FTP 或文件管理器：
    • 连接到你的服务器，找到 WordPress 的根目录（通常是 public_html）。
    • 如果没有 robots.txt 文件，可以手动创建一个。
  2. 编辑 robots.txt 文件：
    • 使用文本编辑器编辑 robots.txt 文件，并添加你想要的规则。例如： 
      User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
      上传文件：
      • 将编辑好的文件上传到 WordPress 根目录。

方法 3：使用主题的 functions.php 文件

你也可以通过在主题的 functions.php 文件中添加代码来动态生成 robots.txt 文件。这也是七赞云（7zan.com）站长推荐的一个方法，以下是一个示例：

php
function custom_robots_txt($output, $public) {
    $output .= "User-agent: *\n";
    $output .= "Disallow: /wp-admin/\n";
    $output .= "Disallow: /wp-includes/\n";
    return $output;
}
add_filter('robots_txt', 'custom_robots_txt', 10, 2);

验证 robots.txt

上传或创建完 robots.txt 文件后，可以通过访问 http://yourdomain.com/robots.txt 来检查是否生成成功。确保你的规则正确无误。

注意事项

  • 确保你了解 robots.txt 的语法，错误的规则可能会影响搜索引擎的抓取。
  • 不要将敏感信息放在 robots.txt 中，因为它是公开可见的。

通过以上步骤，你就可以成功生成和管理 WordPress 网站的 robots.txt 文件。

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。