ps：由於公司網站配置的測試環境被百度爬蟲抓取，干擾了線上正常環境的使用，剛好看到每次搜尋淘寶時，都會有一句由於robots.txt檔案存在限制指令無法提供內容描述，於是便去學習了一波
1.原來一般來說搜尋引擎爬取網站時都會，先讀取下robots.txt檔案，並依照裡面所設定的規則去爬取網站（當然是指沒用登入限制的頁面）
2.下面我們就來說一說如何設定robots.txt檔案
1）.robots.txt檔案必須是放在檔案根目錄上：
例如：
├─admin
│ └─templates
│ header.tpl.php
│ task_add.tpl.php
│ └─robots.txt
2 ) .首先常用的命令為
User-agent : 可以具體制定User-agent適用，即搜尋引擎的名字，如果為 * 的話則為通配
Disallow : 可以設定檔案或資料夾，不允許被爬蟲爬取，且為 / 時禁止爬取整站 ，也可以指定檔案路徑，不可爬取
Crawl-delay: 延時爬取，防止爬蟲短時間內爬取網站過快導致網站崩潰，則可以設定該延時
Allow : 允許爬取指定頁面， 為 / 時爬取整站
3） 搜尋引擎別稱
Googlebot 谷歌
Baiduspider 百度
等等
類似我們測試環境就設定了
User-agent : / 所有搜尋引擎
Disallow : / 禁止整站