它指示 Google 的工具处理链接

habibajahanjan

此文件是机器人排除协议 (REP) 的一部分，该协议包含一组 Web 标准，这些标准指定 Web 机器人（或搜索引擎机器人）如何抓取 Web、访问和索引内容并将其交付给用户。 什么是 robots.txt 了解有关 robots.txt 为您的网站建立索引的信息 REP 还包括元机器人、页面子目录、站点范围指令等命令。。（例如：关注或不关注链接）。 事实上，创建 WordPress robots.txt 可以帮助网站管理员更加灵活和主动地允许或禁止Google 索引工具机器人出现在其页面的某些部分。 robots.txt 文件的语法 该语法被视为 robots.txt 文件的本机语言。您会在 robots.txt 文件中遇到 5 个常见术语。这些包括： User-agent：这部分是爬虫的名称，访问网页数据。（例如：Googlebot、Bingbot，...） Disallow：用于通知用户代理不要收集任何特定的 URL 数据



。每个 URL 只能使用 1 个 Disallow 行。 Allow（仅适用于 Googlebot 搜索机器人）：告诉 Googlebot 将访问 阿曼电话号码数据 页面或子文件夹的命令。尽管页面或其子文件夹可能不允许。 Crawl-delay：通知网络爬虫在加载和爬网页面内容之前必须等待多少秒。但请注意，Googlebot 搜索引擎不接受此命令。您可以在 Google Search Console 中设置抓取速度。 Sitemap：用于提供与此 URL 关联的任何XML 站点地图的位置。请注意，此命令仅受 Google、Ask、Bing 和 Yahoo 工具支持。 模式匹配 事实上，WordPress robots.txt 文件阻止或允许机器人相当复杂，因为它们允许使用模式匹配来覆盖广泛的 URL 选项。 所有 Google 和 Bing 工具都允许使用 2 个正则表达式来识别 SEO 想要排除的页面或子文件夹。这两个字符是星号 (*) 和美元符号 ($)。 *是任意字符串的通配符 - 这意味着它适用于 Google 工具的所有类型的机器人。 $是与 URL 末尾匹配的字符。



robots.txt文件的基本格式 robots.txt 文件具有以下基本格式：  但是，您仍然可以省略Crawl-delay和Sitemap。这是完整 WordPress robots.txt 的基本格式。然而，实际上，robots.txt 文件包含更多行User-agent和更多用户指令。 例如，命令行在 robots.txt 文件中，您指定了许多不同的机器人。每个命令通常单独编写，以 1 行分隔。 在 WordPress robots.txt 文件中，您可以通过不留空格连续写入来为机器人指定多个命令。但是，如果 robots.txt 文件针对一种类型的机器人有许多命令，则默认情况下，机器人将遵循编写得最清楚、最完整的命令。 标准 robots.txt 文件 阻止所有网络爬虫收集网站（包括主页）上的任何数据。让我们使用以下语法： User-agent: * Disallow: / 允许所有爬虫访问网站上的所有内容，包括主页。让我们使用以下语法： User-agent: * Disallow: 为了阻止抓取工具，Google 搜索（用户代理：  上的特定页面上进行爬网。让我们使用以下语法： 之外的页面中的所有数据建立索引。