llms.txt 是一个放在网站根目录的 Markdown 文本文件提案,目标是给大语言模型一个“这个网站最重要内容在哪里”的入口。
它和 sitemap.xml、robots.txt 都不一样。sitemap.xml 主要告诉搜索引擎 URL 列表;robots.txt 主要管理爬虫访问;llms.txt 更像一份给 AI 系统阅读的内容导航。
但 SEO 人要先记住一句话:llms.txt 不是 Google 搜索排名标准,也不能保证网站被 AI 搜索引用。
llms.txt 解决的是什么问题
很多网站内容对人类读者很清楚,对模型却不一定容易快速定位。
原因包括:
- 页面里有导航、广告、脚本和重复模块;
- 关键资料散落在很多 URL;
- 产品、文档、教程、政策页面之间缺少清晰关系;
- AI 系统需要在有限上下文里判断哪些内容最值得读。
llms.txt 的提案试图用一个简洁文件解决这个问题:在 /llms.txt 里列出网站简介、关键页面、文档入口和可选资源,让模型更容易找到高价值内容。
它和 robots.txt 的区别
不要把 llms.txt 当成 AI 版 robots.txt。
| 文件 | 核心用途 | 对 SEO 人的意义 |
|---|---|---|
| robots.txt | 管理爬虫访问路径 | 控制抓取,但不能保护敏感内容 |
| sitemap.xml | 列出希望被发现的 URL | 帮助搜索引擎发现页面 |
| llms.txt | 给 LLM 提供重点内容导航 | 帮助表达网站结构和高价值资料 |
robots.txt 是“哪些路径可以抓”;llms.txt 是“如果你要理解我,这些页面最重要”。
SEO 人要不要做
我的建议是:可以做,但不要把它当成优先级最高的 SEO 项目。
适合做 llms.txt 的情况:
- 网站有大量文档、教程、资源页;
- 你希望清楚表达品牌、产品、服务或知识库结构;
- 你已经有稳定的核心页面和专题页;
- 你愿意持续维护这个文件;
- 你把它看成信息架构补充,而不是排名捷径。
不适合马上做的情况:
- 网站只有少量页面,内容结构本来就很清楚;
- 主要页面质量还很弱;
- 抓取、索引、内链、标题结构还没做好;
- 团队想用它替代内容更新或权威建设。
如果基础 SEO 没做完,先做基础。
三类读者的盲点
SEO 新手常见盲点是以为加了 llms.txt 就能被 AI 推荐,忽略内容本身是否值得引用。
有一定经验的人知道它是协议或提案,但容易不了解采用情况,写完就不再维护。
SEO 专家需要区分标准、实践和不确定性,不把“可以试用”写成“必须配置”。
一个低风险的 llms.txt 结构
可以先从简单版本开始:
# 网站名称
> 一句话说明网站做什么,适合谁看。
## 核心主题
- [SEO 入门](https://example.com/topics/seo-basics/)
- [GEO](https://example.com/topics/geo/)
## 代表文章
- [搜索引擎如何抓取、索引和排序页面](https://example.com/articles/how-search-engines-work-crawl-index-rank/)
- [GEO 入门](https://example.com/articles/geo-basics-for-seo/)
## 可选资料
- [资源页](https://example.com/resources/)
重点不是把全站 URL 都塞进去,而是帮模型和读者理解:这个站点最重要、最能代表专业能力的内容是什么。
写 llms.txt 的检查清单
| 检查项 | 合格标准 |
|---|---|
| 文件位置 | 放在根目录 /llms.txt |
| 格式 | 用清晰 Markdown,避免复杂 HTML |
| 内容 | 只列核心主题、代表页面、关键资料 |
| 链接 | 使用正式 canonical URL |
| 维护 | 页面删除、改名、合并后同步更新 |
| 边界 | 不写虚假资质、夸大承诺或关键词堆砌 |
如果你做的是 SEO 学习站、SaaS 文档站、产品知识库或专业服务站,llms.txt 可以作为内容架构的补充。
不要期待它解决这些问题
llms.txt 不能替你解决:
- 页面没有被搜索引擎索引;
- 内容质量弱、同质化严重;
- 品牌或作者没有可信信号;
- 站内主题关系混乱;
- AI 搜索结果不稳定;
- 没有任何可验证的数据指标。
它也不是安全控制。不要把不希望公开的内容放在网站上,然后指望 llms.txt 或 robots.txt 保护。
实操建议
如果你想试,可以按这个顺序:
- 先选 10 到 30 个最重要 URL;
- 按主题分组,不要按发布时间堆列表;
- 给每组写一句解释;
- 用正式 URL,不用测试域名;
- 每月检查一次链接是否还有效;
- 观察日志、AI 引用、品牌查询和自然搜索表现,但不要把变化全部归因于 llms.txt。
对 SEO 人来说,llms.txt 最有价值的地方不是“让 AI 立刻收录”,而是逼你回答一个基本问题:如果只能给外部系统看一份网站目录,你会把哪些内容拿出来代表自己?