AI 爬虫管理这件事，最容易走两个极端：一种是全部放开，觉得曝光越多越好；另一种是全部封掉，觉得只要是 AI 爬虫就一定有害。
这两种都太粗。对 SEO 和 GEO 来说，更合理的做法是先分清爬虫用途，再决定允许、限制还是阻止。
robots.txt 可以表达访问偏好，但它不是安全边界。遵守与否取决于爬虫本身；真正敏感的内容应该用登录、鉴权或服务器层访问控制保护。
先分清三类 AI 访问
AI 相关访问大致可以分成三类：
| 类型 | 目的 | SEO/GEO 影响 |
|---|---|---|
| 搜索索引或答案检索 | 为搜索结果、AI 答案或实时引用发现内容 | 可能影响可见性 |
| 模型训练 | 收集公开网页用于训练或改进模型 | 更偏内容授权和数据使用 |
| 用户触发访问 | 用户在 AI 产品里请求访问某个网页 | 屏蔽后可能影响用户即时查看 |
同一家公司也可能有多个 user-agent，对应不同用途。不要只按公司名称判断。
常见 user-agent 怎么看
下面是写 robots 策略时常见的几类。名称和用途会变化，正式配置前要看官方文档。
| User-agent | 运营方 | 常见用途 | 决策提示 |
|---|---|---|---|
| GPTBot | OpenAI | 用于改进生成式 AI 模型 | 若担心训练使用，可单独限制 |
| OAI-SearchBot | OpenAI | 搜索相关发现和链接展示 | 如果想保持 AI 搜索可见性，谨慎屏蔽 |
| Google-Extended | 控制内容是否用于部分 Gemini / Vertex AI 用途的 robots token | 不是独立 HTTP crawler，不影响 Google Search 抓取 | |
| ClaudeBot | Anthropic | 模型训练相关抓取 | 可按内容授权策略限制 |
| Claude-SearchBot | Anthropic | 搜索索引和回答质量 | 屏蔽可能影响 Claude 搜索可见性 |
| PerplexityBot | Perplexity | Perplexity 搜索结果发现 | 若希望被 Perplexity 展示，通常需要允许 |
| Applebot-Extended | Apple | 控制内容用于 Apple 生成式 AI 相关用途 | 可和 Applebot 搜索访问分开考虑 |
| CCBot | Common Crawl | 公共网页数据集抓取 | 影响开放数据集，不等同于搜索排名 |
这张表不是永久清单。AI 爬虫命名、用途和遵守规则都在变化，至少每季度复核一次。
三类读者的盲点
SEO 新手常见盲点是把所有 AI 爬虫一刀切，没意识到有些 crawler 影响训练，有些影响搜索可见性。
有一定经验的人会看日志，但不知道屏蔽策略的后果，容易把品牌曝光也一起挡掉。
SEO 专家需要从内容授权、服务器成本、AI 可见性和业务风险之间做权衡，而不是只给一份固定模板。
robots.txt 示例
如果你想允许搜索型访问，但限制训练型访问，可以从类似思路开始：
# Allow normal search crawlers according to existing SEO policy.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /但不要直接复制到所有网站。你至少要先回答：
- 你是否希望内容进入 AI 搜索答案来源？
- 你是否接受内容被用于模型训练？
- 你有没有服务器成本或抓取压力问题？
- 你是否能从日志区分真实 crawler 和伪造 user-agent？
- 你是否有 Cloudflare、WAF 或服务器规则做二次控制？
只改 robots.txt 不够
robots.txt 的问题在于：
- 它依赖 crawler 自愿遵守；
- user-agent 可以伪造；
- 不同产品对同名规则的解释可能变化；
- 子域名需要各自配置；
- 日志里看到的访问不一定等于官方 crawler；
- 它不能保护私密资料。
所以重要网站还要配合：
- 服务器日志监控；
- IP 或反向 DNS 验证；
- Cloudflare / WAF 的 bot 识别；
- 429、限速和缓存策略；
- 对私密内容使用鉴权。
GEO 角度怎么取舍
如果你的目标是 AI 搜索可见性，全部屏蔽未必最优。
更好的策略是分层：
| 内容类型 | 建议 |
|---|---|
| 公开教程、文档、品牌介绍 | 倾向允许搜索和引用型访问 |
| 付费资料、内部 SOP、客户案例细节 | 不应公开，使用鉴权 |
| 低价值重复页、参数页、站内搜索页 | 限制抓取，避免浪费资源 |
| 原创深度内容 | 结合授权、引用收益和风险决定 |
SEO 不是只追流量，GEO 也不是只追 AI 引用。你管理的是内容被访问、理解和使用的边界。
实操流程
可以按四步做：
- 拉取最近 30 天日志，识别 AI 相关 user-agent；
- 按训练、搜索、用户触发、未知四类标注；
- 对每类写清允许/限制/屏蔽理由；
- 修改 robots.txt 后，用日志验证访问变化。
如果你没有日志权限，至少先不要写过度激进的规则。先确认业务目标，再让技术同事配合验证。