如何針對SEO優化您的WordPress Robots.txt

最近，我們的一位讀者向我們詢問了有關如何優化robots.txt檔案以改進SEO的提示。Robots.txt檔案告訴搜尋引擎如何抓取您的網站，這使其成為一個非常強大的SEO工具。在本文中，我們將向您展示如何為SEO建立完美的robots.txt檔案。

什麼是robots.txt檔案？
Robots.txt是一個文字檔案，網站所有者可以建立該檔案來告訴搜尋引擎機器人如何在其網站上抓取和索引頁面。

它通常儲存在根目錄中，也稱為您網站的主資料夾。robots.txt檔案的基本格式如下所示：

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

您可以使用多行說明來允許或禁止特定URL並新增多個站點地圖。如果您不禁止URL，則搜尋引擎機器人會假定他們可以抓取它。

以下是robots.txt示例檔案的外觀：

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

在上面的robots.txt示例中，我們允許搜尋引擎在我們的WordPress上傳資料夾中抓取和索引檔案。

之後，我們禁止搜尋機器人抓取外掛和索引外掛以及WordPress管理員資料夾。

最後，我們提供了XML站點地圖的URL

你需要一個針對你的WordPress網站的Robots.txt檔案嗎？
如果您沒有robots.txt檔案，那麼搜尋引擎仍會抓取您的網站並將其編入索引。但是，您將無法告訴搜尋引擎他們不應抓取哪些頁面或資料夾。

當您第一次建立部落格並且沒有大量內容時，這不會產生太大影響。

但是，隨著您的網站不斷增長並且您擁有大量內容，您可能希望更好地控制網站的抓取和編制方式。

搜尋機器人每個網站都有一個抓取配額。

這意味著他們在爬網會話期間抓取一定數量的頁面。如果他們沒有完成對您網站上的所有網頁的抓取，那麼他們將返回並在下一個會話中繼續抓取。

這可能會降低您的網站索引速度。

您可以通過禁止搜尋機器人嘗試抓取不必要的頁面（如WordPress管理頁面，外掛檔案和主題資料夾）來解決此問題。

通過禁止不必要的頁面，您可以儲存爬網配額。這有助於搜尋引擎抓取您網站上的更多網頁，並儘快為其編制索引。

使用robots.txt檔案的另一個好理由是，您希望阻止搜尋引擎索引您網站上的帖子或頁面。

這不是向公眾隱藏內容的最安全方式，但它可以幫助您防止它們出現在搜尋結果中。

什麼是理想的Robots.txt檔案應該是什麼樣的？
許多流行的部落格使用非常簡單的robots.txt檔案。它們的內容可能會有所不同，具體取決於特定網站的需求：

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

此robots.txt檔案允許所有機器人索引所有內容，併為其提供指向網站的XML站點地圖的連結。

對於WordPress網站，我們建議在robots.txt檔案中使用以下規則：

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

這告訴搜尋機器人索引所有WordPress影像和檔案。不允許機器人搜尋索引WordPress外掛檔案，WordPress管理區域，WordPress自述檔案。

通過將站點地圖新增到robots.txt檔案，您可以輕鬆地讓百度和Google機器人找到您網站上的所有網頁。

既然你知道了一個理想的robots.txt檔案是什麼樣子，那麼讓我們來看看你如何在WordPress中建立一個robots.txt檔案。

如何在WordPress中建立Robots.txt檔案？
有兩種方法可以在WordPress中建立robots.txt檔案。您可以選擇最適合您的方法。

方法1：使用Yoast SEO編輯Robots.txt檔案

如果你使用的是Yoast SEO外掛，那麼它附帶了一個robots.txt檔案生成器。

您可以使用它直接從WordPress管理區域建立和編輯robots.txt檔案。

只需轉到WordPress管理員中的SEO»工具頁面，然後單擊檔案編輯器連結。

在下一頁，Yoast SEO頁面將顯示您現有的robots.txt檔案。

如果您沒有robots.txt檔案，那麼Yoast SEO將為您生成robots.txt檔案。

預設情況下，Yoast SEO的robots.txt檔案生成器會將規則新增到您的robots.txt檔案中：

刪除預設文字後，您可以繼續新增自己的robots.txt規則。我們建議使用上面分享完美的robots.txt格式。

完成後，請不要忘記點選“儲存robots.txt檔案”按鈕來儲存您的更改。

方法2.使用FTP手動編輯Robots.txt檔案

對於此方法，您將需要使用FTP客戶端 來編輯robots.txt檔案。

只需使用FTP客戶端連線到您的WordPress主機帳戶即可。

進入後，您將能夠在網站的根資料夾中看到robots.txt檔案。

如果您沒有看到，那麼您可能沒有robots.txt檔案。在這種情況下，您可以繼續建立一個。

Robots.txt是一個純文字檔案，這意味著您可以將其下載到您的計算機並使用任何純文字編輯器（如Notepad或TextEdit）進行編輯。

儲存更改後，您可以將其上傳回網站的根資料夾。

最後總結
優化robots.txt檔案的目的是阻止搜尋引擎抓取不公開的網頁。例如，wp-plugins資料夾中的頁面或WordPress管理資料夾中的頁面。

我們建議您按照上述robots.txt格式為您的網站建立robots.txt檔案。

本文轉自六藝開源：閱讀原文