很多技术 SEO 的问题，肉眼看页面是看不出来的：用户能打开，不代表搜索引擎能顺畅抓；页面看起来正常，不代表它没有重定向链；内容看起来不同，不代表标题没有重复。Screaming Frog 的价值就在于：它把你的网站按搜索引擎的方式爬一遍，然后把问题用表格的方式列给你看。你不需要先成为技术专家，先学会用它把问题找出来，后面再决定是你自己修还是交给开发修。

这篇文章给你一条新手友好的路径：先爬 → 再看 4 个关键报表 → 导出 → 落地动作。你照着做完，至少能把“为什么收录/排名不稳定”从玄学变成清单。

第一步：先把爬的范围设对（否则你会被数据淹没）

新手最容易一上来就全站爬，结果爬出几万条 URL，看不懂也处理不了。我的建议是先限定范围：从首页开始，先跑一遍默认爬取，确认没有被封；再根据你的网站结构逐步扩大。很多站点还有参数页、站内搜索页、分页页，如果你不控制，很容易爬出无限空间。

第二步：必看 4 个报表（先抓大头）

  1. Response Codes（状态码）：先把 404、5xx、以及 3xx 重定向聚出来。404 是用户体验和爬虫体验的双重损失；5xx 是抓取直接失败；3xx 要重点关注重定向链与循环。
  2. Page Titles（标题）：看重复标题、过长/过短标题。标题重复会导致页面意图不清晰，甚至产生内耗。
  3. H1（主标题）：看缺失 H1、重复 H1。很多站点模板问题会导致 H1 混乱，影响页面主题理解。
  4. Canonicals（规范化）：看 canonical 是否指向正确版本，是否把重要页面指向了不该指向的 URL。

重定向链怎么查（迁移/改版时特别致命）

重定向不是坏事，坏的是多跳和循环。比如 A 301 到 B，B 再 301 到 C，这条链每多一跳，就多一次失败概率，也会浪费抓取资源。你在做改版/换域名时，建议配合这份清单一起做验收：网站改版/换域名 301 检查清单。

把结果变成可交付的修复清单

技术问题最怕你发现了但落不了地。最好的方式是：把问题导出成一个清晰表格，列出 URL、问题类型、建议动作、优先级。比如 404：优先修高内链/高访问的；标题重复：优先修排名/转化相关页面；canonical：优先修会导致收录跑偏的模板页。你给开发/运营的不是“你去修一下 SEO”，而是一份照着做就能完成的任务列表。

常见坑：为什么你爬不到/爬不全？

爬虫爬不全通常不是工具问题，而是站点有阻挡。常见原因包括：被防火墙限速、robots.txt 拦截、需要登录、或者前端渲染导致链接不可见。你要先判断是哪一类：被限速就调慢爬取速度；JS 渲染就考虑开启渲染或从站点地图导入 URL；无限参数就先做 URL 规则控制。处理思路清晰了，你就不会在工具设置里乱试。

延伸阅读

参考资料