AI 爬虫和 robots:哪些 User-agent 值得关注
AI 爬虫不能只靠一条 robots.txt 规则一刀切。本文讲清 GPTBot、Google-Extended、ClaudeBot、PerplexityBot、Applebot-Extended、CCBot 等常见 user-agent 的作用和决策方法。
知识库
这里收录 103 篇 SEO / GEO 教学文章。你可以按主题浏览,也可以直接搜索具体问题。
结构化入口
如果你想系统学习,不要只按发布时间看文章。先进入 SEO 地图,按领域、模块和缺口查找。
学习路径
从零开始
适合刚开始学习 SEO 的站长、运营和个人学习者。
选题与需求
适合要系统做选题、内容规划和主题集群的人。
抓取与索引
适合接手网站诊断、处理收录问题和技术改版的人。
内容资产
适合内容负责人、SEO 编辑和正在扩展内容库的网站。
GSC / GA4 / 工具
适合需要搭建 SEO 数据看板、审计流程和工具栈的人。
搜索变化
适合关注 AI Overview、AI Search 和品牌可见性的从业者。
AI 爬虫不能只靠一条 robots.txt 规则一刀切。本文讲清 GPTBot、Google-Extended、ClaudeBot、PerplexityBot、Applebot-Extended、CCBot 等常见 user-agent 的作用和决策方法。
实体 SEO 不是给页面堆 schema,而是让品牌、作者、主题和证据在全网形成一致表达。本文给出实体诊断、建设和验证方法。
llms.txt 目前是给大语言模型提供网站重点内容入口的提案,不是搜索排名标准。本文讲清它能做什么、不能做什么,以及 SEO 人怎样低风险试用。
面向 AI 搜索写内容,不是把文章改成机器摘要,而是让人读得懂、系统能理解、关键事实可引用。本文给出结构、证据和编辑检查清单。
未来 SEO 不只是会用工具或写文章。本文把 SEO 能力拆成技术基础、内容判断、数据分析、AI 搜索理解和跨部门协作五个层级。
AI Overviews 不等于 SEO 失效。本文讲清它可能影响展示、点击和内容发现方式,并说明 SEO 人应该如何用数据、内容和技术基础应对。
GEO 不是抛开 SEO 的新玄学。本文从可抓取内容、可信来源、实体表达和验证指标四个角度,解释 SEO 人如何理解生成式搜索优化。
Google 核心更新后不要先乱改页面。本文讲清如何确认更新时间、等待合适分析窗口、用 GSC 拆页面和查询,并把影响转成可执行的内容质量动作。
Helpful Content 不该被理解成一次更新或一个独立开关。本文梳理它从有用内容更新到核心排名系统的变化,并给出内容策略上的实操判断框架。
Spam Update 不是只针对明显黑帽。本文讲清 Google 反垃圾更新关注的风险类型,以及 SEO 从业者如何从链接、规模化内容、第三方内容和站点边界做排查。
Ahrefs 不只是查外链。本文讲清如何用 Ahrefs 做关键词研究、竞品页面分析、外链判断和内容优先级排序,并说明哪些结论必须回到 SERP 和 GSC 验证。
Looker Studio 可以把 GSC 和 GA4 放进同一份 SEO 报告,但不要为了合并而合并。本文讲清数据源选择、URL 维度、指标口径、混合数据和行动清单设计。
Semrush 适合把技术审计、关键词研究、竞品分析和排名监控放在同一套工作流里。本文讲清从 Site Audit 到 Keyword Magic Tool、Organic Rankings 和 Position Tracking 的使用顺序。
SEO 实验不能只看改完以后流量有没有涨。本文讲清如何写假设、选样本、控制变量、记录上线、观察 GSC 数据,并避免 A/B 测试影响搜索抓取和索引。
SEO 预估不是承诺排名。本文讲清如何用曝光池、CTR、点击、转化率和情景假设做可复盘的 SEO 预测,并说明哪些数字不能当成保证。
GA4 不能替代 GSC,但能补足 SEO 流量进入网站后的行为和转化分析。本文讲清 GA4 在 SEO 工作中的正确角色。
GSC 页面索引报告不是错误清单。本文讲清“已发现”“已抓取”“未编入索引”等状态的差异,帮助你把索引状态转成排查路径。
排名监控的价值不是每天盯一个关键词涨跌。本文讲清如何按关键词组、页面、SERP 特性和业务优先级使用排名数据。
第一次用 Screaming Frog 不要被所有标签吓住。本文讲清初次爬站应该优先看状态码、标题、H1、索引信号、内链和重复内容。
SEO Dashboard 不是把所有图表堆在一起。本文给出一套面向决策的 SEO 看板模块:目标、健康度、增长机会、内容表现和待处理事项。
Google Search Console 不是只看总点击数的仪表盘。本文讲清 SEO 新手每天、每周、每月应该看哪些报告,以及如何把 GSC 数据转成动作。
GSC 效果报告不能只看总趋势。本文讲清查询、页面、国家、设备四个维度怎么组合分析,如何把点击、曝光、CTR 和平均排名转成 SEO 结论。
SEO 服务采购要识别风险信号。本文整理常见危险承诺、追问方式和替代判断标准,帮助企业避免垃圾链接、黑帽手法和不可验证交付。
电商 SEO 不是只优化单个产品页。本文讲清分类页、产品页、筛选页、库存变化和内链如何配合,帮助产品目录型网站建立可维护的 SEO 结构。
选择 SEO 服务商不能只看报价和承诺排名。本文提供一套判断框架,帮助企业从诊断能力、交付透明度、风险控制和复盘机制评估 SEO 服务。
国际 SEO 不是把网站翻译一遍。本文讲清市场选择、关键词本地化、URL 结构、hreflang、内容适配和验证流程。
Local SEO 不是只把店铺提交到地图。本文讲清 Google Business Profile、本地搜索三类排序因素、资料一致性、评价和落地页的基础做法。
本地引用不是越铺越多。本文讲清 NAP 一致性、核心引用、行业引用、垃圾目录风险,以及如何维护本地 SEO 的基础信号。
B2B SEO 不能只看搜索量。本文讲清问题词、方案词、场景词、证据页面和线索承接,帮助低搜索量行业建立可转化的内容体系。
SaaS SEO 不能只写博客。本文讲清功能页、用例页、对比页、模板页、集成页和内容集群如何共同承接搜索意图与转化。
品牌搜索不是和 SEO 无关的结果指标。本文讲清品牌词、SERP 占位、信任信号和转化之间的关系,以及如何观察品牌搜索健康度。
外链不是越多越好。本文用新手能理解的方式讲清外链的作用、价值判断和常见风险,避免把链接建设做成低质量堆量。
Digital PR 服务 SEO 的关键不是买链接,而是用可传播的故事、数据资产和可信来源沉淀自然引用。本文讲清策略、流程和风险边界。
判断外链质量不能只看 DA/DR。本文提供一份可执行检查表,从相关性、页面位置、真实流量、锚文本和风险模式评估链接价值。
口碑和评论不只是品牌问题,也会影响用户在搜索里的信任判断。本文讲清第三方内容、评价页面、实体信号和 SEO 的关系。
页面不收录不要只反复提交 URL。本文把不收录排查拆成发现、抓取、索引信号、内容质量和站点信任五个阶段。
日志分析能看到 Googlebot 实际抓了什么、多久抓一次、遇到哪些状态码。本文讲清日志字段、分析维度和优化动作。
结构化数据能帮助搜索理解页面,但不保证展示富结果。本文讲清 Rich Results Test、Schema 验证、警告和错误的处理顺序。
技术 SEO 工具不能只看健康分。本文讲清 Screaming Frog、Sitebulb、GSC 的分工,以及如何用工具交叉验证问题。
网站迁移不是上线当天配几条跳转。本文按上线前、上线当天、上线后监控三阶段整理 SEO 风险清单。
筛选页能覆盖长尾需求,也可能制造大量重复 URL。本文讲清哪些筛选组合该开放索引,哪些要 canonical、noindex 或限制抓取。
hreflang 用来说明页面的语言和地区替代版本,不是翻译质量保证,也不替代 canonical。本文讲清双向标注、x-default 和验证流程。
分页 SEO 的重点是让搜索引擎发现所有重要内容,同时避免空页、重复页和不可抓取的无限滚动。本文给出可执行检查表。
网站结构不是只画导航,而是让用户和搜索引擎理解主题层级、页面关系和重要内容。本文给出栏目、专题、面包屑和内链规划方法。
SEO 友好的 URL 不等于堆关键词。本文讲清 URL 层级、参数、改版成本和长期可维护性的取舍。
404 不一定是坏事,Soft 404 才更容易误导搜索引擎。本文用诊断流程讲清删除、保留、重定向和提升内容质量怎么选。
Core Web Vitals 是页面体验信号,不是排名万能开关。本文讲清 LCP、INP、CLS 的含义、阈值、诊断工具和 SEO 优先级。
抓取预算主要影响大型、频繁更新或 URL 库存混乱的网站。本文讲清 crawl capacity、crawl demand 和小站真正该做的事。
JavaScript SEO 的核心不是问 Google 能不能渲染 JS,而是验证重要内容、链接、状态码和结构化数据是否在抓取、渲染、索引链路中可见。
重定向不是只让用户跳到新页面。本文讲清 301、302、重定向链和迁移监控怎么影响抓取、规范 URL 和搜索信号传递。
canonical 用来表达规范 URL 偏好,不是重定向,也不是删除重复内容。本文用场景表讲清何时用 canonical、301、noindex 或合并。
noindex 用来控制页面是否进入索引,适合低价值但需要访问的页面。使用前要分清 robots、canonical、删除和权限。
robots.txt 用来管理抓取,不是隐藏页面或控制索引的万能工具。本文讲清允许、禁止、匹配规则和误伤排查。
XML Sitemap 不是强制收录按钮,而是帮助搜索引擎发现高质量规范 URL 的清单。重点是放对页面、及时更新和保持信号一致。
技术 SEO 审计不要一开始就追复杂工具,先按访问、抓取、索引、规范化和体验五层检查 12 个高影响项。
内容 Hub 不是文章列表,而是围绕一个主题组织总览、路径、支撑文章、模板和内部链接,让内容库变成可学习的结构。
内容质量审计不能只看字数或流量,要把数据表现、搜索意图、页面角色和业务价值放进同一张表里判断。
图片 SEO 不只是给图片补 alt,而是让图片能被理解、能被抓取、加载够快,并且真正服务页面内容。
视频 SEO 不是把视频上传后等待流量,而是让视频、文章、摘要、章节和内链共同服务同一个搜索任务。
旧文章更新不是刷新发布日期,而是先判断流量衰退类型,再决定补信息、改结构、合并页面或重做意图匹配。
处理重复内容前,先区分 URL 重复、搜索意图重复和模板重复,再选择 canonical、重定向、合并或重写。
FAQ 的 SEO 价值不是堆关键词或赌富结果,而是补充真实问题、减少决策阻力,并让页面更完整地服务搜索意图。
文章页结构化数据要先反映页面真实内容,再考虑 Article、Breadcrumb、FAQ 等类型,不要把 Schema 当成排名按钮。
E-E-A-T 不是固定打分项,也不是只补作者简介;更实用的做法是在内容证据、经验、来源和页面结构里建立可信度。
用发布前检查表判断 SEO 文章是否真的帮助用户,而不是只看字数、关键词密度和表面完整度。
信息增益不是把竞品内容换个说法,而是为搜索用户提供新的判断标准、证据、步骤或场景解释。
一份可执行的 SEO 内容 brief 应该写清搜索意图、内容角度、结构、证据、内链和验收标准,而不只是给关键词。
用 H1、H2、H3 表达文章的问题路径、信息层级和行动顺序,而不是机械堆关键词或只做排版。
Meta description 不应被理解成直接排名按钮,而应作为搜索结果摘要候选文本,帮助用户判断页面是否相关。
SEO 文章大纲应该先设计用户问题链路、信息增益和行动顺序,再把关键词、内链和示例放到合适位置。
用搜索意图、页面承诺、表达边界和 GSC 复盘来写 SEO 标题,避免只塞关键词或写成标题党。
用查询、页面角色、SERP 和业务目标判断关键词内耗,避免看到多个页面有曝光就盲目合并。
用数据来源、适用场景和偏差边界选择关键词研究工具,理解 GSC、Ahrefs、Semrush 和 Google Keyword Planner 各自适合解决什么问题。
把 People Also Ask 当作问题发现入口,而不是可复制问答列表,用问题层级判断正文、FAQ 和独立文章的边界。
竞品关键词分析不等于复制标题,而是判断 SERP 页面类型、竞品优势和自己能补上的内容缺口。
新站没有 GSC 和历史转化数据时,可以用业务假设、竞品观察、小批量发布和 Search Console 验证来启动关键词研究。
用 Google Search Console 的查询、页面、曝光、点击和 CTR 数据发现内容更新、扩写和新选题机会。
工具显示零搜索量不等于没有价值,要结合真实场景、商业意图、主题覆盖、内容成本和验证方式判断是否值得写。
用搜索意图、SERP 重叠和内容层级判断关键词该合并还是拆分,避免一词一文造成重复内容。
从 SERP 结构、内容匹配、网站能力和商业价值判断关键词难度,而不是只看工具给出的难度分。
讲清内容 SEO 与技术 SEO 的职责边界、协作顺序和排查方法,避免把所有 SEO 问题都推给写文章或开发。
用搜索意图、SERP 形态和商业目标判断 SEO 页面类型,避免把所有关键词都写成博客文章。
提供一个按影响范围、确定性、成本和风险给 SEO 任务排序的实用框架,帮助团队避免什么都想同时做。
用审计、规划、执行、监测和复盘五个阶段讲清 SEO 项目的推进方法,让零散动作变成可管理流程。
讲清 SEO 常见指标各自解决什么问题,什么时候看曝光、点击、排名和转化,避免把所有数据都混成一个结果。
用 90 天拆出 SEO 新手更容易执行的学习路径,每个阶段都给出学习重点、实操任务和应产出的成果。
给第一次接手网站的 SEO 一份能直接执行的首轮诊断清单,先判断可访问、可抓取、可索引、可理解,再看内容和数据。
用一个可执行流程讲清楚 SEO 新手做第一轮关键词研究时,应该如何从需求、关键词、搜索意图和内容计划四步开始。
分享企业做 GEO 时真正重要的基础,包括技术 SEO、品牌实体、内容质量、产品页、外部信源和提示词方向。
给 SEO 新手一张入门地图,先理解搜索引擎流程、关键词、内容质量、技术基础和数据判断,再进入更细的专题。