重點整理
Search Console 舊版的「robots.txt 測試工具」已在 2023 年底退役，現在改成「設定」裡的 robots.txt 報表：只能查看 Google 抓到的 robots.txt、擷取狀態與錯誤，並在緊急時要求重新檢索，不能再直接在 Search Console 編輯或逐條測試網址。robots.txt 要自己編輯後放在網站根目錄（FTP 上傳或用 Yoast SEO 的檔案編輯器），再用 robots.txt 報表與網址檢查工具確認。記得 robots.txt 只管「檢索」，不想出現在搜尋結果的頁面要用 noindex。
robots.txt 是放在網站根目錄的一個純文字檔，用來告訴搜尋引擎的檢索器哪些路徑可以抓、哪些不要抓。很多教學還停留在 Search Console 舊版「robots.txt 測試工具」的畫面，但這個工具已經停用，搜尋「robots.txt 測試工具」找到的步驟多半做不出來。這篇依 2026 年現況，說明 robots.txt 的用途與寫法、WordPress 網站怎麼建立與修改，以及改完之後怎麼在 Search Console 確認 Google 讀到的是正確版本。
robots.txt 是什麼？可以用來做什麼？
robots.txt 的作用是管理「檢索」：告訴 Googlebot 等檢索器不要去抓某些網址，常見用途是避免檢索器把資源浪費在不重要的頁面上，例如後台、站內搜尋結果、大量參數網址、篩選頁等，減輕伺服器負擔。
要特別注意，robots.txt 不是讓網頁從搜尋結果消失的方法。被 robots.txt 封鎖的網址，如果有其他網站連過來，仍可能出現在搜尋結果中（只是沒有說明文字）。想讓頁面不出現在 Google 搜尋，應該在頁面加上 noindex 的 robots meta 標記，而且不要同時用 robots.txt 擋住它，否則 Google 讀不到 noindex。
robots.txt 的基本規則怎麼寫？
robots.txt 由一組一組規則組成，每組以 User-agent 開頭，下面接 Disallow 或 Allow：
- User-agent：規則適用的檢索器名稱，例如
Googlebot、Baiduspider；寫*代表所有檢索器。 - Disallow：不允許檢索的路徑。
Disallow: /代表整個網站都不要抓；Disallow: /wp-admin/代表不要抓 WordPress 後台。 - Allow：允許檢索的路徑，用來在被封鎖的目錄中開放例外，寫法與 Disallow 相同。
- 萬用字元：
*代表任意字元，$代表網址結尾。例如不要檢索網站所有 PDF：Disallow: /*.pdf$。 - Sitemap：可以加一行
Sitemap: https://你的網域/sitemap_index.xml，讓搜尋引擎找到網站地圖。
下面這個例子是 WordPress 常見的寫法，再加上一組「禁止百度檢索整個網站」的規則：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: Baiduspider
Disallow: /
Sitemap: https://www.example.com/sitemap_index.xml路徑寫法要很小心：如果只寫到分類目錄（例如 Disallow: /blog/），這個目錄下的所有頁面都會被封鎖。完整語法可以參考 Google 官方的 建立及提交 robots.txt 檔案 說明。
Search Console 的 robots.txt 測試工具還能用嗎？
不能。舊版的 robots.txt 測試工具可以直接在 Search Console 裡編輯檔案、按「提交」，並輸入網址測試是否被封鎖；Google 在 2023 年底推出 robots.txt 報表取代它，舊工具已停用。現在的分工是：
| 需求 | 舊做法（已停用） | 2026 年做法 |
|---|---|---|
| 編輯 robots.txt | 在測試工具中編輯後下載上傳 | 用文字編輯器、FTP 或 Yoast SEO 檔案編輯器直接修改網站上的檔案 |
| 確認 Google 讀到哪個版本 | 查看即時 robots.txt | robots.txt 報表，可看上次擷取的版本與過去 30 天的版本 |
| 告訴 Google 已更新 | 按「提交」 | robots.txt 報表中「要求重新檢索」 |
| 測試某個網址是否被封鎖 | 輸入網址按「測試」 | 網址檢查工具查看「是否允許檢索」，或使用第三方 robots.txt 驗證工具 |
步驟一：準備 robots.txt 檔案並上傳到網站根目錄
先用文字編輯器寫好 robots.txt，檔名必須是全小寫的 robots.txt，編碼用 UTF-8。
如果網站架在虛擬主機，可以用 FTP 把檔案上傳到 WordPress 根目錄，也就是和 wp-config.php 同一層的位置。robots.txt 一定要放在網域根目錄才有效，放在子資料夾裡搜尋引擎不會讀。
上傳完成後，在瀏覽器輸入「網址＋/robots.txt」（例如 https://www.example.com/robots.txt），看到剛剛的內容就代表上傳成功。
步驟二：不會用 FTP？改用 Yoast SEO 的檔案編輯器
WordPress 預設會產生一個「虛擬」的 robots.txt，網站根目錄裡不一定有實體檔案。如果有安裝 Yoast SEO，可以在後台直接建立與編輯，免費版就有這個功能：
- 在 WordPress 後台點「Yoast SEO」→「工具」→「檔案編輯器」。
- 第一次使用時按「建立 robots.txt 檔案」。
- 在文字框中依規則修改內容，按下方的儲存按鈕。
如果後台找不到「檔案編輯器」，通常是網站在 wp-config.php 停用了檔案編輯功能，或主機不允許寫入根目錄，這時就要改用 FTP 或請主機商協助。Yoast SEO 的完整設定可以參考 Yoast SEO 設定教學。
步驟三：在 Search Console 的 robots.txt 報表確認
robots.txt 報表只適用於網域資源，或不含路徑的網址前置字元資源。開啟方式是在 Google Search Console 左側選單點「設定」，在「檢索」區塊的 robots.txt 一欄點「開啟報表」。報表會列出：
- 檔案路徑：Google 檢查的 robots.txt 完整網址（網域資源最多列出排名前 20 的主機，每個主機的 http 與 https 都會檢查）。
- 擷取狀態：「已擷取」代表成功讀到；「未擷取 – 找不到（404）」代表檔案不存在，Google 會視為可以檢索全站；「未擷取 – 其他原因」則要進一步排查。
- 上次檢查時間、大小與問題數：問題數是剖析時發現的錯誤或警告，Google 會略過有問題的那一行。
點選清單中的檔案，可以看到 Google 上次擷取的內容，錯誤和警告會醒目標示；點「版本」可以看過去 30 天內擷取過的不同版本，確認修改有沒有被 Google 讀到。
步驟四：改完後要求重新檢索
Google 會定期重新抓取 robots.txt，一般不需要手動通知。但如果你解除封鎖了重要網址，或修正了嚴重錯誤，可以在 robots.txt 報表中點檔案旁的更多選項圖示，選「要求重新檢索」。要注意這只是請 Google 重新讀 robots.txt，不保證已解除封鎖的網址會立刻被檢索。
想確認某一頁目前會不會被 robots.txt 擋住，可以用 Search Console 上方的網址檢查工具輸入該網址，查看檢索相關的結果。網站地圖則建議在 robots.txt 加上 Sitemap 一行之外，也到 Search Console 提交，可以參考 Search Console 提交 sitemap 教學。
常見問題
robots.txt 測試工具在 Search Console 哪裡？
已經找不到了，舊版 robots.txt 測試工具在 2023 年底停用，改由「設定」裡的 robots.txt 報表取代。報表可以查看 Google 讀到的 robots.txt 與錯誤，但不能在裡面編輯或逐條測試網址。
網站沒有 robots.txt 會怎樣？
沒有 robots.txt（回應 404）時，Google 會視為可以檢索網站上的所有網址，這不會造成問題。只有需要限制檢索時才需要建立。
用 robots.txt 擋住的頁面，為什麼還出現在搜尋結果？
因為 robots.txt 只禁止檢索、不禁止索引。如果其他網頁連到這個網址，Google 仍可能把網址列在搜尋結果中。要讓頁面不出現，請改用 noindex，並移除 robots.txt 對該頁的封鎖。
結語
robots.txt 的寫法不難，但寫錯一行就可能讓整個分類甚至整站不被檢索，而且修正後要等 Google 重新抓取才會恢復。改之前先確認網站目錄結構，改完到瀏覽器打開 /robots.txt 檢查，再用 Search Console 的 robots.txt 報表確認 Google 讀到的是新版本。舊教學中的「robots.txt 測試工具」已經停用，現在編輯一律在網站端完成。