你是不是遇到過這種情況：網站上線幾個月，谷歌搜索上還是搜不到你的產品頁？或者明明每天有人更新內容，但流量就是不動？

這篇文章就是來解決這個問題的——幫你檢查一個常被忽視但影響巨大的文件：robots.txt（一個控制搜索引擎抓取權限的文本文件）。它一行寫錯，就可能把整個網站擋在搜索引擎門外。

適合人羣：外貿公司老闆、運營、業務人員，尤其是剛建站或發現收錄（搜索引擎發現並存儲你網頁的過程）異常的人。讀完你能：

  • 知道 robots.txt 到底在管什麼
  • 識別哪些規則會“誤傷”重要頁面
  • 用清單檢查自己的文件有沒有問題
  • 快速修復並驗證效果

誤區一：robots.txt 就是用來“保護隱私”的

很多外貿站寫 robots.txt 是爲了不讓別人看到“後臺”或“內部數據”，比如 /admin/、/backup/ 目錄。這沒錯，但最大的錯誤是：把不該禁的也禁了。

爲什麼錯？因爲 robots.txt 的“禁止”不是“刪除”，而是告訴搜索引擎“別來抓這裏”。如果你不小心禁了產品頁、分類頁、圖片目錄，搜索引擎就永遠看不到這些內容，自然不會收錄（搜索引擎發現並存儲你網頁的過程）。

判斷標準：如果某個頁面是你希望客戶在谷歌上搜到的（比如產品詳情、公司介紹、服務頁面），它就不應該出現在 robots.txt 的“禁止”列表裏。

正確做法：只禁止真正需要保密的路徑，比如：

  • 後臺管理目錄（如 /admin/、/login/）
  • 測試或開發環境（如 /test/、/staging/）
  • 臨時備份文件（如 /backup/、/temp/）
  • 用戶上傳的敏感文件（如 /uploads/private/）

千萬別禁：

  • 產品目錄（如 /products/、/item/）
  • 分類頁（如 /category/、/industry/）
  • 圖片目錄（如 /images/、/uploads/）
  • 新聞或博客頁（如 /news/、/blog/）
  • sitemap.xml（搜索引擎用來發現你所有頁面的地圖文件）

誤區二：寫“Disallow: /” 就等於“全站禁止”

有人爲了“安全”，直接寫 Disallow: /，意思是“禁止抓取整個網站”。這等於告訴谷歌：別來，這裏啥都沒有。

爲什麼錯？因爲搜索引擎（如谷歌）看到這條規則後，根本不會抓取任何頁面，自然也不會收錄（搜索引擎發現並存儲你網頁的過程）或索引。你的網站就徹底“隱形”了。

判斷標準：如果你的 robots.txt 文件裏有 Disallow: /，且沒有其他 Allow: 規則，那你的網站大概率不會被收錄。

正確做法：

  • 不要寫 Disallow: /，除非你明確不想被任何搜索引擎發現（比如內部測試站）
  • 如果需要部分開放，用 Allow: 明確指定可抓取路徑，例如：
User-agent: *
Disallow: /admin/
Disallow: /backup/
Allow: /

這樣既保護了敏感目錄，又允許搜索引擎抓取其他內容。

誤區三：robots.txt 寫錯了也沒關係，改完就行

有人覺得：“反正只是個文本文件，改完保存就行，搜索引擎馬上就能發現。”

爲什麼錯？因爲搜索引擎不會實時抓取 robots.txt。它可能幾天、幾周纔來一次。如果你改完文件後沒主動通知，搜索引擎可能還在用舊的規則，繼續忽略你的頁面。

判斷標準：如果你改了 robots.txt 超過一週，但谷歌搜索上還是看不到新頁面，很可能搜索引擎還沒重新抓取你的 robots.txt。

正確做法：

  1. 修改 robots.txt 文件
  2. 登錄谷歌搜索控制檯（Google Search Console），提交新的 robots.txt 文件
  3. 使用“URL 檢查”工具，手動請求抓取幾個關鍵頁面
  4. 等待 24-72 小時，觀察抓取狀態

這樣能確保搜索引擎儘快發現並應用新規則。

馬上能做什麼？檢查你的 robots.txt 文件

下面這個清單，你可以直接對照操作：

  • 打開你的網站，訪問 https://你的域名.com/robots.txt
  • 檢查是否有 Disallow: /？如果有，刪除或修改
  • 檢查是否禁了產品、分類、圖片、博客等關鍵目錄？如果有，刪除對應行
  • 檢查是否允許了 sitemap.xml？確保有類似 Sitemap: https://你的域名.com/sitemap.xml 的行
  • 檢查是否只禁了真正需要保密的目錄（如 /admin/、/backup/）
  • 保存後，去谷歌搜索控制檯提交併請求抓取

關鍵提示：robots.txt 是“建議”，不是“強制”。有些爬蟲可能不遵守，但主流搜索引擎（如谷歌、必應）都會尊重。所以，寫對規則，才能確保主流流量來源正常。

FAQ

robots.txt 和 .htaccess 有什麼區別？

robots.txt 是告訴搜索引擎“別抓這裏”，而 .htaccess 是服務器配置文件，可以真正禁止訪問（比如密碼保護）。前者影響收錄（搜索引擎發現並存儲你網頁的過程），後者影響所有人訪問。

如果我不寫 robots.txt，網站會怎樣？

不寫也沒問題。搜索引擎會默認抓取所有頁面。但如果你有特殊目錄需要保密，建議寫一個，明確哪些不該被抓取。

寫錯了 robots.txt，多久能恢復？

通常 24-72 小時，但取決於搜索引擎的抓取頻率。建議改完後主動在谷歌搜索控制檯提交，能加快恢復。

robots.txt 會影響廣告（SEM）嗎？

不會。robots.txt 隻影響自然搜索（SEO），不影響廣告（SEM，即付費推廣）。廣告是通過廣告平臺投放的，和搜索引擎抓取無關。

爲什麼我禁了 /uploads/，但圖片還在谷歌上？

因爲圖片可能通過其他鏈接（如產品頁、博客）被索引。robots.txt 只阻止抓取，不阻止索引。如果想徹底刪除，需要在谷歌搜索控制檯提交刪除請求。

robots.txt 裏能寫中文嗎？

不能。必須用英文和英文路徑。中文路徑要轉成英文或拼音，否則規則無效。

延伸閱讀

參考資料