Screaming Frog 打开以后，最吓人的不是爬站，而是标签太多。
第一次使用时，不要试图把所有报告都看完。先把它当成“站点 URL 体检表”：哪些页面能访问，哪些页面能索引，哪些页面标题和结构有问题，哪些页面被内链忽略。
这篇文章讲的是初次爬站的判断顺序，不涉及破解、绕过授权或抓取受限制数据。
爬站前先确定范围
开始前先问自己三个问题：
- 这次只爬生产站，还是也包含测试站；
- 只看 HTML 页面，还是也要看图片、PDF、JS、CSS；
- 目标是基础体检、迁移检查、内容审计，还是技术排错。
范围不清楚，导出的表就会很大，但结论很少。
第一张表：Internal
Internal 通常是初次爬站最重要的入口。你可以先看：
| 维度 | 看什么 |
|---|---|
| Address | URL 是否规范，是否有奇怪参数 |
| Status Code | 是否有 200、3xx、4xx、5xx 问题 |
| Indexability | 页面是否可索引 |
| Content Type | 是否混入不该重点看的资源 |
| Crawl Depth | 重要页面离首页有多远 |
| Inlinks | 页面获得多少内部链接 |
不要一开始就导出全部。先筛选 HTML + 重要状态，再判断问题规模。
状态码：先处理不能正常访问的 URL
状态码是最基础的技术信号。
优先看：
- 404 和软 404；
- 5xx 服务器错误；
- 302 是否应该改成 301；
- 重定向链是否过长；
- 重要页面是否被重定向到不相关页面。
状态码问题要和 URL 价值结合。一个废弃活动页 404，不一定重要；一个核心分类页 500，就必须优先处理。
标题、H1 和描述：查模板问题
Page Titles、Meta Description、H1 这些报告适合发现模板和批量问题。
重点看：
- 缺失标题；
- 标题重复；
- 标题过短或过长；
- 多个 H1；
- H1 和标题完全不匹配；
- 描述批量重复。
这些问题不一定都要逐条改。先看是否来自同一个模板，再决定是改模板还是改单页。
索引信号：确认页面能不能被收录
技术 SEO 审计里，Indexability、Canonical、Directives 很关键。
检查：
- 页面是否被 noindex；
- canonical 是否指向自己或正确页面；
- canonical 是否和重定向冲突；
- robots 指令是否误伤；
- sitemap 中的页面是否可索引。
如果工具报告和 GSC 状态不一致，不要急着下结论。爬虫看到的是当前页面信号，GSC 看到的是 Google 抓取和选择索引后的结果，两者要结合看。
内链：看重要页面是否被发现
Inlinks、Outlinks 和 Crawl Depth 能帮助你看站内结构。
常见问题：
- 重要页面内链少；
- 新文章没有从主题页或列表页链接；
- 页面埋得太深；
- 孤立页面只在 sitemap 里出现；
- 大量无价值页面占用内链。
内链不是越多越好，而是重要页面应该有稳定、相关、可抓取的入口。
三类读者的盲点
SEO 新手常见盲点是打开工具不知道看什么，被标签数量吓住。
有一定经验的人会爬站，但导出报告后不会判断优先级。
更资深的人需要把报告和技术 SEO 检查项对应，按模板、页面类型和业务价值判断修复顺序。
第一次爬站的推荐顺序
- 设置爬取范围，只爬目标域名；
- 先看 Internal 的 HTML 页面；
- 筛出 4xx、5xx 和重定向链；
- 查标题、H1、描述的批量问题；
- 查 noindex、canonical、robots 指令；
- 查 crawl depth 和 inlinks；
- 抽查重复标题、重复正文和薄页面；
- 把问题按模板、页面类型、优先级整理成任务。
实操检查清单
| 检查项 | 合格标准 |
|---|---|
| 爬取范围 | 目标域名和资源类型明确 |
| 状态码 | 核心页面没有 4xx/5xx 和错误跳转 |
| 元信息 | 标题、H1、描述没有明显模板故障 |
| 索引信号 | canonical、noindex、robots 信号一致 |
| 内链结构 | 重要页面有可抓取内链 |
| 优先级 | 报告能转成修复任务，不只是导出表格 |
Screaming Frog 的价值不是“爬出很多数据”，而是让你用一套固定顺序快速定位站点结构和技术信号的问题。