为什么需要 robots.txt 检查？

[subornaakter20]

如果您在创建 robots.txt 文件时犯了错误，它可能对搜索引擎机器人毫无用处。将会存在向搜索机器人错误传输必要命令的风险，从而导致虚拟平台评级下降和用户指标发生变化。即使网站运行良好、功能齐全，检查 robots.txt 也不会对其造成损害，而只会使其运行得更好。


有时系统会在搜索结果中包含您互联网资源中不必要的页面，这是没有必要的。搜索引擎索引中拥有大量页面似乎没有什么问题，但事实并非如此：

用户不会在额外的页面上找到任何有用的信息。最有可能的是，他根本不会访问这些页面，或者不会在这些页面上停留很长时间；

搜索引擎结果包含相同的页面，但地址不同（即内容重复）；

搜索机器人必须花费大量时间来索引 立陶宛 数字数据 完全不必要的页面。他们不会索引有用的内容，而是在网站上无意义地徘徊。由于机器人无法索引整个资源而是逐页进行（因为站点很多），所以您在发出请求后希望获得的必要信息可能无法很快找到；

服务器负载很重。

对此，建议关闭搜索机器人对某些网络资源页面的访问。

可以禁止哪些文件和文件夹被索引：

搜索页面。这是一个有争议的观点。有时为了创建相关页面，有必要使用网站内部搜索。但事实并非总是如此。搜索结果往往是出现大量重复的页面。因此，建议关闭搜索页面以进行索引。

购物车和下订单/确认订单的页面。建议在线交易网站和其他使用订单表的商业资源关闭它们。这些页面极不希望被搜索引擎索引。

分页页面。通常，它们的特点是自动注册相同的元标记。此外，它们用于托管动态内容，这就是搜索结果中出现重复的原因。在这方面，应该关闭分页以进行索引。

过滤器和产品比较。网上商店和目录网站需要关闭。

注册和授权页面。由于用户在注册或授权时输入的数据具有保密性，因此需要关闭它们。 Google 将评估这些页面是否不可用于索引。

系统目录和文件。互联网上的每个资源都包含大量不应被机器人查看的数据（脚本、CSS 表、管理部分）。

robots.txt 文件将有助于关闭文件和页面以进行索引。

robots.txt 是一个纯文本文件，其中包含搜索引擎机器人的说明。当搜索机器人进入某个网站时，它首先会寻找 robots.txt 文件。如果缺失（或为空），机器人将访问资源的所有可自由访问的页面和目录（包括系统页面和目录）并尝试对其进行索引。然而，不能保证您需要的页面一定会被索引，因为甚至可能无法到达该页面。

robots.txt 允许您将搜索机器人引导至所需的页面，而不是那些不应被索引的页面。该文件可以同时指示所有机器人，也可以单独指示每个机器人。如果网站页面被关闭索引，它将永远不会出现在搜索引擎结果中。创建 robots.txt 文件至关重要。