如何使用robots.txt及其詳解

在國內，網站管理者似乎對robots.txt並沒有引起多大重視，應一些朋友之請求，今天想通過這篇文章來簡單談一下robots.txt的寫作。

robots.txt基本介紹

robots.txt是一個純文字檔案，在這個檔案中網站管理者可以宣告該網站中不想被robots訪問的部分，或者指定搜尋引擎只收錄指定的內容。

當一個搜尋機器人（有的叫搜尋蜘蛛）訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜尋機器人就會按照該檔案中的內容來確定訪問的範圍；如果該檔案不存在，那麼搜尋機器人就沿著連結抓取。

另外，robots.txt必須放置在一個站點的根目錄下，而且檔名必須全部小寫。

robots.txt寫作語法

首先，我們來看一個robots.txt範例：http://www.seovip.cn/robots.txt

訪問以上具體地址，我們可以看到robots.txt的具體內容如下：

# Robots.txt file from http://www.seovip.cn
# All robots will spider the domain

User-agent: *
Disallow:

以上文字表達的意思是允許所有的搜尋機器人訪問www.seovip.cn站點下的所有檔案。

具體語法分析：其中#後面文字為說明資訊；User-agent:後面為搜尋機器人的名稱，後面如果是*，則泛指所有的搜尋機器人；Disallow:後面為不允許訪問的檔案目錄。

下面，我將列舉一些robots.txt的具體用法：

允許所有的robot訪問

User-agent: *
Disallow:

或者也可以建一個空檔案 "/robots.txt" file

禁止所有搜尋引擎訪問網站的任何部分

User-agent: *
Disallow: /

禁止所有搜尋引擎訪問網站的幾個部分（下例中的01、02、03目錄）

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某個搜尋引擎的訪問（下例中的BadBot）

User-agent: BadBot
Disallow: /

只允許某個搜尋引擎的訪問（下例中的Crawler）

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

另外，我覺得有必要進行擴充說明，對robots meta進行一些介紹：

Robots META標籤則主要是針對一個個具體的頁面。和其他的META標籤（如使用的語言、頁面的描述、關鍵詞等）一樣，Robots META標籤也是放在頁面的＜head＞＜/head＞中，專門用來告訴搜尋引擎ROBOTS如何抓取該頁的內容。

Robots META標籤的寫法：

Robots META標籤中沒有大小寫之分，name=”Robots”表示所有的搜尋引擎，可以針對某個具體搜尋引擎寫為name=”BaiduSpider”。 content部分有四個指令選項：index、noindex、follow、nofollow，指令間以“,”分隔。

INDEX 指令告訴搜尋機器人抓取該頁面；

FOLLOW 指令表示搜尋機器人可以沿著該頁面上的連結繼續抓取下去；

Robots Meta標籤的預設值是INDEX和FOLLOW，只有inktomi除外，對於它，預設值是INDEX,NOFOLLOW。

這樣，一共有四種組合：

＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞

其中

＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞可以寫成＜META NAME="ROBOTS" CONTENT="ALL"＞；

＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞可以寫成＜META NAME="ROBOTS" CONTENT="NONE"＞

目前看來，絕大多數的搜尋引擎機器人都遵守robots.txt的規則，而對於Robots META標籤，目前支援的並不多，但是正在逐漸增加，如著名搜尋引擎GOOGLE就完全支援，而且GOOGLE還增加了一個指令“archive”，可以限制GOOGLE是否保留網頁快照。例如：

＜META NAME="googlebot" CONTENT="index,follow,noarchive"＞

表示抓取該站點中頁面並沿著頁面中連結抓取，但是不在GOOLGE上保留該頁面的網頁快照。

如何使用robots.txt

robots.txt 檔案對抓取網路的搜尋引擎漫遊器（稱為漫遊器）進行限制。這些漫遊器是自動的，在它們訪問網頁前會檢視是否存在限制其訪問特定網頁的 robots.txt 檔案。如果你想保護網站上的某些內容不被搜尋引擎收入的話，robots.txt是一個簡單有效的工具。這裡簡單介紹一下怎麼使用它。

如何放置Robots.txt檔案

robots.txt自身是一個文字檔案。它必須位於域名的根目錄中並 被命名為"robots.txt"。位於子目錄中的 robots.txt 檔案無效，因為漫遊器只在域名的根目錄中查詢此檔案。例如，http://www.example.com/robots.txt 是有效位置，http://www.example.com/mysite/robots.txt 則不是。

這裡舉一個robots.txt的例子:

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~name/
使用 robots.txt 檔案攔截或刪除整個網站

要從搜尋引擎中刪除您的網站，並防止所有漫遊器在以後抓取您的網站，請將以下 robots.txt 檔案放入您伺服器的根目錄：

User-agent: *

Disallow: /

要只從 Google 中刪除您的網站，並只是防止 Googlebot 將來抓取您的網站，請將以下 robots.txt 檔案放入您伺服器的根目錄：
User-agent: Googlebot

Disallow: /

每個埠都應有自己的 robots.txt 檔案。尤其是您通過 http 和 https 託管內容的時候，這些協議都需要有各自的 robots.txt 檔案。例如，要讓 Googlebot 只為所有的 http 網頁而不為 https 網頁編制索引，應使用下面的 robots.txt 檔案。

對於 http 協議 (http://yourserver.com/robots.txt):

User-agent: *

Allow: /

對於 https 協議 (https://yourserver.com/robots.txt):

User-agent: *

Disallow: /

允許所有的漫遊器訪問您的網頁
User-agent: *

Disallow:

(另一種方法: 建立一個空的 "/robots.txt" 檔案, 或者不使用robot.txt。)

使用 robots.txt 檔案攔截或刪除網頁

您可以使用 robots.txt 檔案來阻止 Googlebot 抓取您網站上的網頁。 例如，如果您正在手動建立 robots.txt 檔案以阻止 Googlebot 抓取某一特定目錄下（例如，private）的所有網頁，可使用以下 robots.txt 條目：
User-agent: Googlebot

Disallow: /private
要阻止 Googlebot 抓取特定檔案型別（例如，.gif）的所有檔案，可使用以下 robots.txt 條目：
User-agent: Googlebot

Disallow: /*.gif$
要阻止 Googlebot 抓取所有包含 ? 的網址（具體地說，這種網址以您的域名開頭，後接任意字串，然後是問號，而後又是任意字串），可使用以下條目：
User-agent: Googlebot

Disallow: /*?

儘管我們不抓取被 robots.txt 攔截的網頁內容或為其編制索引，但如果我們在網路上的其他網頁中發現這些內容，我們仍然會抓取其網址並編制索引。因此，網頁網址及其他公開的資訊，例如指 向該網站的連結中的定位文字，有可能會出現在 Google 搜尋結果中。不過，您網頁上的內容不會被抓取、編制索引和顯示。
 
作為網站管理員工具的一部分，Google提供了robots.txt分析工具。它可以按照 Googlebot 讀取 robots.txt 檔案的相同方式讀取該檔案，並且可為 Google user-agents（如 Googlebot）提供結果。我們強烈建議您使用它。 在建立一個robots.txt檔案之前，有必要考慮一下哪些內容可以被使用者搜得到，而哪些則不應該被搜得到。 這樣的話，通過合理地使用robots.txt, 搜尋引擎在把使用者帶到您網站的同時，又能保證隱私資訊不被收錄。
 

 

       誤區一：我的網站上的所有檔案都需要蜘蛛抓取，那我就沒必要在新增robots.txt檔案了。反正如果該檔案不存在，所有的搜尋蜘蛛將預設能夠訪問網站上所有沒有被口令保護的頁面。

 
　　每當使用者試圖訪問某個不存在的URL時，伺服器都會在日誌中記錄404錯誤（無法找到檔案）。每當搜尋蜘蛛來尋找並不存在的robots.txt檔案時，伺服器也將在日誌中記錄一條404錯誤，所以你應該做網站中新增一個robots.txt。
 
　　誤區二：在robots.txt檔案中設定所有的檔案都可以被搜尋蜘蛛抓取，這樣可以增加網站的收錄率。
 
　　網站中的程式指令碼、樣式表等檔案即使被蜘蛛收錄，也不會增加網站的收錄率，還只會浪費伺服器資源。因此必須在robots.txt檔案裡設定不要讓搜尋蜘蛛索引這些檔案。
 
　　具體哪些檔案需要排除， 在robots.txt使用技巧一文中有詳細介紹。
 
　　誤區三：搜尋蜘蛛抓取網頁太浪費伺服器資源，在robots.txt檔案設定所有的搜尋蜘蛛都不能抓取全部的網頁。
 
　　如果這樣的話，會導致整個網站不能被搜尋引擎收錄。
 

robots.txt使用技巧

   1. 每當使用者試圖訪問某個不存在的URL時，伺服器都會在日誌中記錄404錯誤（無法找到檔案）。每當搜尋蜘蛛來尋找並不存在的robots.txt檔案時，伺服器也將在日誌中記錄一條404錯誤，所以你應該在網站中新增一個robots.txt。

 
　　2. 網站管理員必須使蜘蛛程式遠離某些伺服器上的目錄——保證伺服器效能。比如：大多數網站伺服器都有程式儲存在“cgi-bin”目錄下，因此在robots.txt檔案中加入“Disallow: /cgi-bin”是個好主意，這樣能夠避免將所有程式檔案被蜘蛛索引，可以節省伺服器資源。一般網站中不需要蜘蛛抓取的檔案有：後臺管理檔案、程式指令碼、附件、資料庫檔案、編碼檔案、樣式表檔案、模板檔案、導航圖片和背景圖片等等。
 
　　下面是VeryCMS裡的robots.txt檔案：
 
　　User-agent: *
 
　　Disallow: /admin/ 後臺管理檔案
 
　　Disallow: /require/ 程式檔案
 
　　Disallow: /attachment/ 附件
 
　　Disallow: /images/ 圖片
 
　　Disallow: /data/ 資料庫檔案
 
　　Disallow: /template/ 模板檔案
 
　　Disallow: /css/ 樣式表檔案
 
　　Disallow: /lang/ 編碼檔案
 
　　Disallow: /script/ 指令碼檔案
 
　　3. 如果你的網站是動態網頁，並且你為這些動態網頁建立了靜態副本，以供搜尋蜘蛛更容易抓取。那麼你需要在robots.txt檔案裡設定避免動態網頁被蜘蛛索引，以保證這些網頁不會被視為含重複內容。
 
　　4. robots.txt檔案裡還可以直接包括在sitemap檔案的連結。就像這樣：
 
　　Sitemap: sitemap.xml
 
　　目前對此表示支援的搜尋引擎公司有Google, Yahoo, Ask and MSN。而中文搜尋引擎公司，顯然不在這個圈子內。這樣做的好處就是，站長不用到每個搜尋引擎的站長工具或者相似的站長部分，去提交自己的sitemap檔案，搜尋引擎的蜘蛛自己就會抓取robots.txt檔案，讀取其中的sitemap路徑，接著抓取其中相連結的網頁。
 
　　5. 合理使用robots.txt檔案還能避免訪問時出錯。比如，不能讓搜尋者直接進入購物車頁面。因為沒有理由使購物車被收錄，所以你可以在robots.txt檔案裡設定來阻止搜尋者直接進入購物車頁面。