llms.txt 是什么？AI 爬虫会读取吗，网站值不值得做？

如果有明确用途，比如让智能体更容易查阅产品文档，可以给 llms.txt 文件留出 10 分钟。对于希望获得更多 AI 引用的小企业，它只是可选的网站维护项：Google Search 已明确表示不使用 llms.txt；本文核查的 OpenAI、Anthropic 和 Perplexity 爬虫政策，也都没有承诺读取它。

本文于 2026 年 10 月 14 日对照该提案及四家公司的在线文档完成核查。 比较的是文档中明确说明的行为，并未测量这些公司对你网站的实际访问。Google Search 的指南表态明确；其他几家的文档只说明了更有限的范围，下文会逐一拆解。

经营本地服务业务，应该先把难以阅读的服务页面改好，再考虑添加这个文件。开发软件产品的创始人，如果客户会用编程智能体，一份持续维护的文档索引就有直接用途。是否值得动手，要看这个区别。

llms.txt 是什么文件？

llms.txt 是一项提案，用 Markdown 为 AI 智能体提供网站阅读指南。 文件名中的 LLM 指大语言模型，也就是许多 AI 助手背后的模型。智能体借助模型和工具执行任务；Markdown 则用简单的标记在纯文本中表示标题和链接。可以把这个文件理解为图书管理员推荐的书单：先简要介绍，再指向精选资料，而不是把馆里的每一本书都列出来。

llmstxt.org 提案规定了以下顺序：

• 用 # 写一个 H1 标题，标明网站或项目名称。这是唯一必填的部分。
• 用 > 引出简短摘要，可选。
• 添加不带额外标题的说明文字，可选。
• 用 ## 写 H2 标题，各节包含链接列表。每项采用 [Page name](URL) 格式，也可以在后面加冒号和说明。

次要链接可以放进 Optional 小节。这个文件提供背景信息和导航；robots.txt 表达抓取偏好，网站地图则列出供爬虫发现的 URL。添加 llms.txt 并不能替代后两者。

当前提案支持放在子目录中

2026 年 8 月的 v2 修订版明确：/docs/llms.txt 适用于 /docs/ 下的页面；同时存在多个适用文件时，以范围最具体的那个为准。修订版还建议通过链接帮助发现文件：rel="describedby" 指向相关索引，带有 type="text/markdown" 的 rel="alternate" 则指向页面的 Markdown 版本。

开发者可以在 HTML 或 HTTP 响应头中设置这些关联，为愿意使用索引的智能体提供明确入口。这并不能要求 AI 服务一定沿着入口访问。在 v2 中，Optional 仍是有用的命名惯例，但已不再具有旧版上下文扩展工具赋予它的特殊处理含义。

AI 公司会读取它吗？看看官方文档怎么说

公司发布自己的 llms.txt，与公司使用其他网站的 llms.txt，是两回事。 下文四家公司都发布了开发者文档索引，但它们公开的爬虫说明并不能证明其服务会普遍读取你网站上的文件。

下文链接的官方页面分别支持表中的结论。文档没有提及，只能说明核查的页面未作说明，不能据此断言没有任何员工、产品、实验或智能体会请求这个文件。

OpenAI 与 llms.txt：爬虫政策究竟承诺了什么？

OpenAI 将 OAI-SearchBot 用于搜索，GPTBot 用于收集可能用于训练的数据，ChatGPT-User 用于部分由用户发起的访问。其爬虫文档介绍了访问控制方式，并公布了 IP 范围，但没有承诺读取你网站的 llms.txt。

同一份文档也链接到 OpenAI 自己的索引。这能证明 OpenAI 以这种方式发布文档，却不足以证明添加文件就能获得 ChatGPT 引用。如果服务商提出这样的承诺，创始人应该要求对方指出：支撑这一说法的机制，在哪份文档中有明确说明。

Anthropic 与 llms.txt：发布文档不等于承诺抓取

Anthropic 在爬虫帮助页面中区分了 ClaudeBot、Claude-SearchBot 和 Claude-User。它们分别负责收集可能用于训练的数据、搜索，以及用户发起的检索。该页面没有提供任何关于 llms.txt 的说明。

Anthropic 确实发布了开发者文档索引，Claude Code 文档也引导读者查看其自身的索引。Claude Code 是一款 AI 编程助手。这些做法说明索引可以作为文档入口，却不能证明 Claude 的网络爬虫会检查每个企业网站上的文件。

Google：Search 和 Lighthouse 关注的是不同问题

Google Search 的 AI 优化指南明确表示，Search 不使用 llms.txt，其生成式 AI 功能也不例外。不过，Google 仍可能把文本文件作为普通内容抓取。因此，即使日志里出现 Googlebot 请求，也不能推翻 Google 关于是否给予特殊处理的说明。

Google 的 Chrome 团队另行介绍了 Lighthouse 中可选的智能体浏览检查。Lighthouse 是网站检测工具。文件不存在、返回 404 时，该项会被标为不适用；获取文件时出现服务器错误，则会被标记出来。这项检查关注智能体能否访问，并不是搜索排名要求。

Google 还发布了 Gemini API 文档索引。对营销人员来说，这些事实并不矛盾：索引可以帮助特定智能体查阅文档，同时又不属于 Google Search 优化措施。

Perplexity：文档里的索引链接，不是爬虫的读取承诺

Perplexity 将 PerplexityBot 定义为搜索爬虫，Perplexity-User 则是由用户触发的抓取工具。其爬虫页面提供访问配置和 IP 核验建议，但没有说明这两种代理会自动发现或使用你网站的 llms.txt。

该页面确实引导读者查看 Perplexity 的文档索引。不能把一条文档导航提示包装成搜索收录机制的证据，再拿去向小企业主推销。

现在有什么实际用途？让智能体按要求查阅文档

最明确的用途，是在具体任务中主动把索引交给智能体。 软件创始人可以要求编程助手先读取产品的 llms.txt，找到当前的身份验证指南，再根据该来源实现集成。谁来读、为什么读，都很清楚。

服务商也可以采取类似做法：起草方案前，先把客户公开的服务与政策索引交给助手。这样就有了一个可复用的起点。能否节省时间，取决于链接页面的质量，以及智能体能否成功获取页面；这并不意味着网站流量会提升。

可以这样下达指令：“从这份文档索引开始，打开与身份验证有关的页面，并为你采用的要求标注具体来源页面。”随后检查回答是否确实依据了这些页面。仅有索引，并不等于掌握了页面中的细节。

文档平台可以自动维护这个文件

文档托管平台 Mintlify 会自动提供 llms.txt，其中包含指向 Markdown 页面的链接，也会生成 llms-full.txt。对于全站需要身份验证的网站，访问这些文件同样需要验证身份，因此在这个平台上发布，并不会让受限文档变成公开内容。

SaaS 增长负责人在委托开发生成器之前，应该先检查现有平台已经提供了什么。真正值得做的，可能是改进页面说明，清理源文档中过时的内容。

另一款文档平台 GitBook 会为已发布的文档自动创建 llms.txt。这只能证明文件可用，不能证明引用量已有可测量的提升。网站负责人仍需要检查生成的文件，以及其中链接指向的页面。

llms-full.txt 与 llms.txt：全文和索引各有用途

llms-full.txt 通常用于汇总文档正文；Mintlify 的实现方式，就是将页面内容合并为一个文件。体积更小的索引方便智能体选择相关页面。如果明确需要一整套语料，完整导出文件会有用；但把所有内容都发过去，也可能浪费上下文空间，也就是 AI 系统一次能处理的文本容量。

小型服务企业从索引开始即可。除非某个明确的工作流程需要，否则没必要再把整个网站汇成一份额外文档。

llms.txt 怎么写？小企业的十分钟模板

十分钟只是时间预算，并不保证能在这段时间内完成。 以下操作的前提是，你已经能够发布公开的文本文件。如果网站平台不方便做到，就先停下来联系维护人员，别让一项可选的维护工作演变成网站重建。

1. 1

   选出有用的页面：两分钟

   选择能回答客户问题的页面：服务内容、服务范围、预约、联系方式，以及相关政策。优先选你会持续维护的页面，不必把每篇文章都列进去。先确认平台是否已经自动生成了索引。

2. 2

   修改模板：四分钟

   下面的企业是虚构的。请用已经核实的真实信息替换名称、简介、域名和路径。将显示的每一行复制到名为 llms.txt 的纯文本文件中，保留各节之间的空行。

# Northline Plumbing

> Residential plumbing services in our published service area.

Use the linked pages for current services, availability and policies.

## Services

- [Services](https://example.com/services): Plumbing work we offer.
- [Service area](https://example.com/service-area): Locations we serve.

## Booking and Support

- [Book a visit](https://example.com/booking): How to request an appointment.
- [Contact](https://example.com/contact): Contact details and opening hours.
- [Policies](https://example.com/policies): Booking and cancellation terms.

## Optional

- [About](https://example.com/about): Company background.

这些 URL 仅作示例，不是应该保留的实际链接。如果页面有简洁的 Markdown 版本，就链接到该版本；否则，使用你网站上实际可读的公开页面。在地址末尾加上 .md，并不会自动创建页面。

1. 1

   发布并检查：两分钟

   把文件发布到选定的路径；小型网站通常用 /llms.txt。退出登录后打开该 URL，确认看到的是文件文本，而不是首页、HTML 错误页或登录页面。请维护人员确认响应状态为 HTTP 200，并使用合适的纯文本响应类型。

2. 2

   检查链接，明确维护责任：两分钟

   逐一打开目标页面，检查说明是否与页面内容一致。把索引加入服务页面的维护清单。页面迁移或政策变更时，同时更新源页面和受影响的索引说明。

先查服务器日志，再核实是谁访问了文件

服务器日志能证明有请求到达，不能证明 AI 回答使用了文件内容。 日志是服务器保存的请求记录；常见的浏览器端网站分析工具，可能完全记录不到这类访问。

如果文件由内容分发网络（CDN）从缓存提供，请向托管服务商或开发者索取 CDN 层的访问日志。只看源站日志，可能漏掉在 CDN 层处理的请求。保留时间戳、主机名、请求路径、查询字符串、请求方法、状态码、user-agent 和客户端 IP。user-agent 是客户端自行声明的软件标识。

建议先设定 30 天的观察期。这是测量窗口的选择，不代表爬虫预计会在这个时间内来访。

先筛文件路径，再筛机器人标识

先按规范化后的精确路径 /llms.txt 筛选；如果文件部署在子路径，就使用相应路径。同时保留原始请求 URL，以便查看查询字符串。第一轮筛选不要排除任何 user-agent：编程智能体可能使用类似浏览器的标识，也可能使用通用 HTTP 客户端。

对于下载到本地、采用常规 combined 格式的 Nginx 或 Apache 日志，安装了 ripgrep 的开发者可以从这条命令开始：

rg '"(GET|HEAD) /llms\.txt(\?[^ ]*)? HTTP/' access.log

这条命令假设请求行由引号包裹。如果使用 JSON 日志，应改为筛选解析后的路径和方法字段。如果部署在 /docs/llms.txt，需要相应修改路径；如果还提供 /llms-full.txt，则单独检查。

然后，再按各家公司公布的标识缩小范围：

这些标识来自上文引用的公司页面及 Google 爬虫参考文档。匹配名称即可，不要限定浏览器或机器人的版本号。

对于同样的 combined 日志格式，可以用下面的命令进一步筛选：

rg '"(GET|HEAD) /llms\.txt(\?[^ ]*)? HTTP/' access.log | rg -i 'OAI-SearchBot|GPTBot|ChatGPT-User|Claude-SearchBot|ClaudeBot|Claude-User|Googlebot|PerplexityBot|Perplexity-User'

Google-Extended 是 robots.txt 中用于控制产品访问的标记，并不是应该在 HTTP 日志中寻找的独立标识。只统计这个字符串，会漏掉 Google 的实际请求。

核实请求来源，也要核实返回了什么

机器人名称可以伪造。应将客户端 IP 与以下页面所链接的当前列表核对：OpenAI 爬虫页面、Anthropic 公布的列表、Perplexity 爬虫页面，以及 Google 爬虫参考文档。未经核实的身份，只能记录为对方的自我声明，不能算作已确认的公司访问。

不同结果要分开记录：

• GET 请求返回 200，说明响应成功。但还要检查返回内容确实是你的文件，而不是带着成功状态码的错误页。
• HEAD 请求只检查响应元数据，不下载正文。
• 304 表示缓存验证，不是重新传输正文。
• 404 表示找不到请求的资源。服务器错误意味着获取失败，不能算作成功读取。

这些区别依据的是 HTTP 语义。将自己的测试和监控请求单独记录。如果你明确要求助手去读取文件，就将该次观察标注为用户触发；这并不能证明它自动发现了文件。

如实报告观察结果，不夸大因果关系

一份经得起核查的报告，应说明哪些身份已验证的代理在什么时间请求了文件、结果如何，以及之后是否有相关页面的请求。即使两个匹配的请求在时间上很接近，也不能证明后一次访问是索引带来的。

如果要测量 AI 回答中的曝光，需要单独检查回答，记录问题、产品、日期和被引用的 URL。我们的 AI 可见性工具对比讨论了这项不同的测量工作。仅凭前后提及次数的变化，不能证明是 llms.txt 起了作用。

没有匹配请求，只能说明在所观察的日志、路径和时间段内没有看到。它无法排除其他标识、日志缺失、缓存或未来访问的可能。但对小企业主而言，如果没有具体用途，这仍足以成为不再继续投入时间的实际理由。

llms.txt SEO：哪些效果被夸大了？

生成了文件，不等于证明它能提升排名或引用。 校验工具可以检查格式，平台可以托管索引，爬虫也可以请求文件。但这些现象都不能证明 AI 答案引擎会推荐你的企业。

有三种说法需要追问证据：文件是获得 AI 曝光的必需品；所有主要 AI 爬虫都会自动读取它；添加文件就能保证获得引用。本文核查的官方页面不支持这些说法。Google 的搜索指南更直接否定了“特殊文件能帮助其搜索功能”这一前提。

不要为一枚“AI 就绪”徽章付费，却不要求对方拿出有效工作的证据。应该问清楚：哪些内容变得可读了，哪些来源页面得到了改善，哪些请求核实过身份，哪些回答发生了变化。我们的 GEO 与 SEO 指南介绍了更广泛的内容分发工作：GEO 关注生成式回答中的可见性，SEO 关注搜索中的可见性。这个文件只是其中一个很小的实施选项。

谁值得现在做，谁可以等等，谁可以跳过？

有开发者文档的团队，如果智能体工作流程用得上索引，就值得做。 尽可能根据最新来源自动生成索引，提供有用的 Markdown 页面，再把起始 URL 交给智能体。选一个有代表性的集成问题，对照链接的源文档检查回答。

小企业网站运营者可以做一次控制投入的实验。 如果发布方便，就套用模板，再观察访问情况。如果服务页面说不清楚、联系方式有误，或网站拦截了正常抓取，先修这些问题。

委托服务商的客户，应要求明确的交付物。 持续维护的索引、有效链接和日志报告，都可以验收。仅凭一个文件名就承诺提高 AI 排名，则无法据此验收。

下周一就做这件事： 打开你网站的 llms.txt 地址。如果文件已经存在，先检查内容，再决定是否添加东西。如果不存在，判断某个明确的工作流程是否值得让你投入这十分钟。把这一小时里剩下的时间，用来改好一个网站目前还回答不清的客户问题。

关于文件和 LLM 名称的常见问题

如何为网站创建 llms.txt 文件？

使用上面的模板，替换示例信息，将纯文本文件发布到你能控制的路径，然后检查响应和每一个链接。你的文档平台也可能已经自动生成了文件。

排名前 5 的 LLM 模型有哪些？

对这项任务而言，并不存在固定的前五名。llms.txt 用来描述网站内容，不需要先按模型排行榜挑选模型。

.txt 扩展名是什么意思？

它通常表示纯文本文件。llms.txt 在纯文本中使用 Markdown 标题和链接。

技术文章里的 LLM 是什么意思？

在这里的技术语境中，LLM 指大语言模型，也就是处理语言的 AI 模型。文件名指的正是这些模型。

Z 世代的网络用语中，LLM 是什么意思？

社交消息里的缩写如果没有上下文，无法单独判断含义。本文讨论的网站文件名，采用的是 AI 领域的技术含义。

俚语里的 "LLM" 是什么意思？

仅凭这个缩写，无法确定它在俚语中的解释。理解这个网站文件，也不需要借助俚语含义。

Snapchat 上的 LLM 代表什么？

不能只凭平台名称判断消息的含义，要看前后对话。如果讨论的是这个文件，LLM 指的就是大语言模型。

社交媒体上的 LLM 是什么意思？

在讨论 AI 的帖子中，它通常指大语言模型。在不相关的帖子里，则可能需要根据上下文作其他解释。

TikTok 上的 LLM 代表什么？

应结合帖子上下文判断，不要给整个平台强行套用一个通用解释。对于 llms.txt，LLM 指的就是大语言模型。

想了解 AI 在哪些地方改变了企业的实际工作，可以订阅邮件通讯。