很多技術 SEO 的問題,肉眼看頁面是看不出來的:用戶能打開,不代表搜索引擎能順暢抓;頁面看起來正常,不代表它沒有重定向鏈;內容看起來不同,不代表標題沒有重複。Screaming Frog 的價值就在於:它把你的網站按搜索引擎的方式爬一遍,然後把問題用表格的方式列給你看。你不需要先成爲技術專家,先學會用它把問題找出來,後面再決定是你自己修還是交給開發修。

這篇文章給你一條新手友好的路徑:先爬 → 再看 4 個關鍵報表 → 導出 → 落地動作。你照着做完,至少能把“爲什麼收錄/排名不穩定”從玄學變成清單。

第一步:先把爬的範圍設對(否則你會被數據淹沒)

新手最容易一上來就全站爬,結果爬出幾萬條 URL,看不懂也處理不了。我的建議是先限定範圍:從首頁開始,先跑一遍默認爬取,確認沒有被封;再根據你的網站結構逐步擴大。很多站點還有參數頁、站內搜索頁、分頁頁,如果你不控制,很容易爬出無限空間。

第二步:必看 4 個報表(先抓大頭)

  1. Response Codes(狀態碼):先把 404、5xx、以及 3xx 重定向聚出來。404 是用戶體驗和爬蟲體驗的雙重損失;5xx 是抓取直接失敗;3xx 要重點關注重定向鏈與循環。
  2. Page Titles(標題):看重複標題、過長/過短標題。標題重複會導致頁面意圖不清晰,甚至產生內耗。
  3. H1(主標題):看缺失 H1、重複 H1。很多站點模板問題會導致 H1 混亂,影響頁面主題理解。
  4. Canonicals(規範化):看 canonical 是否指向正確版本,是否把重要頁面指向了不該指向的 URL。

重定向鏈怎麼查(遷移/改版時特別緻命)

重定向不是壞事,壞的是多跳和循環。比如 A 301 到 B,B 再 301 到 C,這條鏈每多一跳,就多一次失敗概率,也會浪費抓取資源。你在做改版/換域名時,建議配合這份清單一起做驗收:網站改版/換域名 301 檢查清單

把結果變成可交付的修復清單

技術問題最怕你發現了但落不了地。最好的方式是:把問題導出成一個清晰表格,列出 URL、問題類型、建議動作、優先級。比如 404:優先修高內鏈/高訪問的;標題重複:優先修排名/轉化相關頁面;canonical:優先修會導致收錄跑偏的模板頁。你給開發/運營的不是“你去修一下 SEO”,而是一份照着做就能完成的任務列表。

常見坑:爲什麼你爬不到/爬不全?

爬蟲爬不全通常不是工具問題,而是站點有阻擋。常見原因包括:被防火牆限速、robots.txt 攔截、需要登錄、或者前端渲染導致鏈接不可見。你要先判斷是哪一類:被限速就調慢爬取速度;JS 渲染就考慮開啓渲染或從站點地圖導入 URL;無限參數就先做 URL 規則控制。處理思路清晰了,你就不會在工具設置裏亂試。