如何检查网站是否有 robots.txt 文件

如何检查网站是否有 robots.txt 文件

robots.txt 是一个小型文本文件，用来向愿意遵守规则的机器人提供抓取指引。查看该文件有助于了解网站要求某些爬虫访问或避开哪些路径。但它不会显示网站的所有设置，也不是安全屏障。

如果你想知道如何检查网站是否有 robots.txt 文件，可以先确认网站的确切源站，再查看服务器的响应和文件内容。了解如何查看网站的 robots.txt 文件时，这些细节很重要：一个子域名下的文件未必适用于另一个子域名，而浏览器报错也不一定意味着文件不存在。

1. 了解 robots.txt 能告诉你什么，不能告诉你什么

robots.txt 包含面向自动化爬虫的规则。例如，规则可能会要求遵守规则的搜索机器人不要抓取 /private/这样的路径。这只是一项请求，并非访问控制机制：访客仍可能打开该网址，机器人也可能无视这项请求。

它也无法保证被屏蔽的页面不会出现在搜索结果中。搜索引擎可能通过其他地方的链接得知某个网址，并在未抓取页面内容的情况下将其列出。如果页面必须保持私密，请使用身份验证等真正的访问控制方式，而不要依赖 robots.txt。

可以把这个文件看作一份公开的指引。它有助于解释爬虫的行为，却无法确认某个页面是否可访问、是否私密或是否已被收录。这些问题需要分别检查。

2. 在正确的源站查找网站的 robots.txt 文件

对于 https://example.com 这样的网站，robots.txt 通常位于 https://example.com/robots.txt。查找网站的 robots.txt 文件时，请保留地址栏中显示的协议和主机名；如果网站使用非默认端口，也要一并加上。文件位于该源站的根路径，而不是 /blog/ 这样的文件夹中。

协议或主机名不同，结果也可能不同。例如， http://example.com/robots.txt и https://example.com/robots.txt 是两个不同的请求，即使其中一个会重定向到另一个也一样。同样， www.example.com и example.com 也可能分别配置。

子域名各自拥有独立的源站。 https://shop.example.com/robots.txt 下的文件不会自动适用于 https://example.com/ 或 https://help.example.com/。请检查你关心的主机，尤其是公司将商店、客服区和主站放在不同子域名下时。

初步检查时，可以直接在地址栏输入完整的 robots.txt 网址，查看页面加载的内容。显示纯文本很常见，浏览器将其格式化显示也没有问题。关键是确认你请求的网址，以及服务器返回的内容。

3. 检查服务器响应，而不只看浏览器页面

请求成功通常表示服务器已为该网址返回内容。许多网站会返回 200这样的 HTTP 状态码，但页面上显示的可能是一组规则、空白文件，甚至是意料之外的页面。请结合状态码阅读响应，不要把任何成功加载的页面都当作有效 robots.txt 文件的证明。

未找到响应通常是 404，这表明该源站当时在请求的路径下没有找到文件。这是一项有用的线索，但请先核对主机名和重定向。网址拼错或使用了不同的子域名，也会产生相同结果。

遇到重定向时要多加留意。请求的网址可能会跳转到另一个主机或路径，而目标地址返回的内容可能属于不同的源站。在判断读到的是哪个网站的规则前，请记录原始网址和最终跳转地址。

访问错误和服务器故障并不等于文件不存在。 403 可能表示服务器拒绝了请求； 5xx 则可能意味着服务器暂时出现问题。网络超时或浏览器连接错误也会导致检查失败。下结论前，可以稍后重试或换一种方法检查。

如果你也在进行相关的网站审核，可以阅读 如何检查网站是否发布了 联盟营销披露声明；这项检查针对的是面向用户的声明，而不是爬虫指引。

4. 根据你关心的爬虫检查 robots.txt 规则

要了解如何检查 robots.txt 规则是否适用于爬虫，应结合上下文阅读每个规则组。User-agent 行用于指定爬虫，Disallow 和 Allow 行则分别描述要求该爬虫不要抓取或允许抓取的路径。不同爬虫对规则的具体解释可能有所不同，因此如果结果很重要，请查阅该爬虫的文档。

例如，以 User-agent: ExampleBot开头的规则组，可能只适用于这个指定的爬虫。另一个针对 User-agent: * 的规则组，则面向没有专属规则组的爬虫。不要假设某个机器人适用的规则也适用于所有搜索引擎或其他自动化服务。

路径同样重要。针对 /images/ 的规则与针对 /的规则并不相同，而针对 /drafts/ 的规则也未必涵盖其他位置下名称相似的路径。将规则应用到某个网址前，请先看清完整路径及其所属的规则组。

假设文件在通用的 User-agent 规则组下包含 Disallow: /private/。这项指令要求符合条件的爬虫不要抓取该目录下的路径。它不会阻止他人打开已知网址，也不能证明所有机器人都会遵守规则。

有些文件还包含注释、空行，或针对特定服务的规则。请重点查看与你的问题相关的 User-agent 规则组；如果规则有重叠或形式特殊，再查阅爬虫发布的规则说明。如果你要检查某个特定搜索引擎，应以其官方文档为准，了解该引擎如何处理相关规则。

5. 区分空文件、缺失文件和无效文件

空响应和文件缺失是两种不同的情况。如果服务器返回成功状态，但没有可见文本，文件可能存在，只是没有包含任何指令。如果服务器返回未找到状态，则表示它在请求的网址下没有找到文件。请同时记录状态码和响应正文，以免混淆这两种情况。

如果返回的内容不符合预期，就值得进一步检查。页面上出现全站错误消息、登录界面或 HTML 标记，可能意味着请求进入了备用页面，而不是正常的 robots.txt 文件。网址虽然成功加载，返回的内容却仍可能无法作为爬虫指引。

不要猜测格式错误或不熟悉的行是什么意思。请保存完整响应，并对照你所检查的爬虫的官方文档。如果文件在多次检查之间发生变化，也请记下检查时间；后一次响应可能反映的是修正后的版本，而非相同内容。

6. 用第二种方法核实检查结果

如果浏览器显示的结果不明确，可以通过命令行发送请求。例如， curl -i https://example.com/robots.txt 可以在一次请求中显示响应标头和返回正文。请将示例网址替换为你要检查的确切源站；必要时也要填写正确的子域名和端口。

浏览器开发者工具也能帮助检查。打开 Network（网络）面板，加载 robots.txt 网址，然后选中相应请求，查看状态码、标头和响应正文。如果浏览器显示了重定向或格式化页面，却没有清楚标出最终目标地址，这种方法尤其有用。

如果不同方法得到的结果不一致，请比较具体网址、检查时间、状态码、重定向和内容。命令行请求和浏览器请求可能采用不同的重定向处理方式，也可能遇到临时服务器故障。如果使用了企业代理、VPN 或浏览器扩展，在适当情况下可以关闭后再测试；如果响应因此发生变化，问题可能出在中间环节，而非网站本身。

另一个网站检查示例是 如何检查网站是否显示了版权声明。请将它与 robots.txt 检查区分开来：前者是面向读者的网站声明，后者则是面向爬虫的文件。

7. 记录检查范围和结论的局限

请记下 robots.txt 的确切网址、请求的日期和时间、HTTP 状态码、任何重定向目标，以及你看到的内容。如果你在解读某个特定规则组，也要注明相关爬虫或 User-agent。这样一来，网站发生变化时就能重现检查过程。

结论应限定在实际检查范围内。成功响应只说明某个源站在某个时间返回了什么，并不能证明页面已被收录、所有访客都能访问，或所有爬虫都无法抓取。文件缺失的响应只适用于你请求的网址，不会自动适用于所有子域名或不同的协议版本。

robots.txt 可能随时变化，且不一定会提前通知。如果某项决策取决于当前规则，请重新检查确切的源站并保存最新响应，不要只依赖旧副本。