我們先來談一談 sed 好了, sed 本身也是一個管線命令,可以分析 standard input 的啦! 而且 sed 還可以將資料進行取代、刪除、新增、擷取特定行等等的功能呢!很不錯吧~ 我們先來了解一下 sed 的用法,再來聊他的用途好了!
[root@www ~]# sed [-nefr] [動作] 選項與引數: -n :使用安靜(silent)模式。在一般 sed 的用法中,所有來自 STDIN 的資料一般都會被列出到螢幕上。但如果加上 -n 引數後,則只有經過 sed 特殊處理的那一行(或者動作)才會被列出來。 -e :直接在命令列模式上進行 sed 的動作編輯; -f :直接將 sed 的動作寫在一個檔案內, -f filename 則可以執行 filename 內的 sed 動作; -r :sed 的動作支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法) -i :直接修改讀取的檔案內容,而不是由螢幕輸出。 動作說明: [n1[,n2]]function n1, n2 :不見得會存在,一般代表『選擇進行動作的行數』,舉例來說,如果我的動作 是需要在 10 到 20 行之間進行的,則『 10,20[動作行為] 』 function 有底下這些咚咚: a :新增, a 的後面可以接字串,而這些字串會在新的一行出現(目前的下一行)~ c :取代, c 的後面可以接字串,這些字串可以取代 n1,n2 之間的行! d :刪除,因為是刪除啊,所以 d 後面通常不接任何咚咚; i :插入, i 的後面可以接字串,而這些字串會在新的一行出現(目前的上一行); p :列印,亦即將某個選擇的資料印出。通常 p 會與引數 sed -n 一起執行~ s :取代,可以直接進行取代的工作哩!通常這個 s 的動作可以搭配 正規表示法!例如 1,20s/old/new/g 就是啦! |
- 以行為單位的新增/刪除功能
sed 光是用看的是看不懂的啦!所以又要來練習了!先來玩玩刪除與新增的功能吧!
範例一:將 /etc/passwd 的內容列出並且列印行號,同時,請將第 2~5 行刪除! [root@www ~]# nl /etc/passwd | sed '2,5d' 1 root:x:0:0:root:/root:/bin/bash 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown .....(後面省略)..... |
nl --,可以為輸出列加上編號
看到了吧?sed 的動作為 '2,5d' ,那個 d 就是刪除!因為 2-5 行給他刪除了,所以顯示的資料就沒有 2-5 行羅~ 另外,注意一下,原本應該是要下達 sed -e 才對,沒有 -e 也行啦!同時也要注意的是, sed 後面接的動作,請務必以 '' 兩個單引號括住喔!
如果題型變化一下,舉例來說,如果只要刪除第 2 行,可以使用『 nl /etc/passwd | sed '2d' 』來達成, 至於若是要刪除第 3 到最後一行,則是『 nl /etc/passwd | sed '3,$d' 』的啦,那個錢字號『 $ 』代表最後一行!
範例二:承上題,在第二行後(亦即是加在第三行)加上『drink tea?』字樣! [root@www ~]# nl /etc/passwd | sed '2a drink tea' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin drink tea 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin .....(後面省略)..... |
嘿嘿!在 a 後面加上的字串就已將出現在第二行後面羅!那如果是要在第二行前呢?『 nl /etc/passwd | sed '2i drink tea' 』就對啦!就是將『 a 』變成『 i 』即可。 新增一行很簡單,那如果是要增將兩行以上呢?
範例三:在第二行後面加入兩行字,例如『Drink tea or .....』與『drink beer?』 [root@www ~]# nl /etc/passwd | sed '2a Drink tea or ......\ > drink beer ?' 1 root:x:0:0:root:/root:/bin/bash 2 bin:x:1:1:bin:/bin:/sbin/nologin Drink tea or ...... drink beer ? 3 daemon:x:2:2:daemon:/sbin:/sbin/nologin .....(後面省略)..... |
這個範例的重點是『我們可以新增不只一行喔!可以新增好幾行』但是每一行之間都必須要以反斜線『 \ 』來進行新行的新增喔!所以,上面的例子中,我們可以發現在第一行的最後面就有 \ 存在啦!那是一定要的喔!
- 以行為單位的取代與顯示功能
剛剛是介紹如何新增與刪除,那麼如果要整行取代呢?看看底下的範例吧:
範例四:我想將第2-5行的內容取代成為『No 2-5 number』呢? [root@www ~]# nl /etc/passwd | sed '2,5c No 2-5 number' 1 root:x:0:0:root:/root:/bin/bash No 2-5 number 6 sync:x:5:0:sync:/sbin:/bin/sync .....(後面省略)..... |
透過這個方法我們就能夠將資料整行取代了!非常容易吧!sed 還有更好用的東東!我們以前想要列出第 11~20 行, 得要透過『head -n 20 | tail -n 10』之類的方法來處理,很麻煩啦~ sed 則可以簡單的直接取出你想要的那幾行!是透過行號來捉的喔!看看底下的範例先:
範例五:僅列出 /etc/passwd 檔案內的第 5-7 行 [root@www ~]# nl /etc/passwd | sed -n '5,7p' 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown |
上述的命令中有個重要的選項『 -n 』,按照說明檔案,這個 -n 代表的是『安靜模式』! 那麼為什麼要使用安靜模式呢?你可以自行下達 sed '5,7p' 就知道了 (5-7 行會重複輸出)! 有沒有加上 -n 的引數時,輸出的資料可是差很多的喔!你可以透過這個 sed 的以行為單位的顯示功能, 就能夠將某一個檔案內的某些行號捉出來查閱!很棒的功能!不是嗎?
- 部分資料的搜尋並取代的功能
除了整行的處理模式之外, sed 還可以用行為單位進行部分資料的搜尋並取代的功能喔! 基本上 sed 的搜尋與取代的與 vi 相當的類似!他有點像這樣:
sed 's/要被取代的字串/新的字串/g' |
上表中特殊字型的部分為關鍵字,請記下來!至於三個斜線分成兩欄就是新舊字串的替換啦! 我們使用底下這個取得 IP 資料的範例,一段一段的來處理給您瞧瞧,讓你瞭解一下什麼是我們們所謂的搜尋並取代吧!
那個 ^ 符號,在位元組集合符號(括號[])之內與之外是不同的! 在 [] 內代表『反向選擇』,在 [] 之外則代表定位在行首的意義
$表示行尾
這樣講不好懂,我們直接做個練習吧!假設我需要找出 g??d 的字串,亦即共有四個位元組, 起頭是 g 而結束是 d ,我可以這樣做:
因為強調 g 與 d 之間一定要存在兩個位元組
[root@www ~]# grep -n 'g..d' regular_express.txt
1:"Open Source" is a good mechanism to develop programs.
9:Oh! The soup taste good.
16:The world <Happy> is the same with "glad".
|
步驟一:先觀察原始資訊,利用 /sbin/ifconfig 查詢 IP 為何? [root@www ~]# /sbin/ifconfig eth0 eth0 Link encap:Ethernet HWaddr 00:90:CC:A6:34:84 inet addr:192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0 inet6 addr: fe80::290:ccff:fea6:3484/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 .....(以下省略)..... # 因為我們還沒有講到 IP ,這裡你先有個概念即可啊!我們的重點在第二行, # 也就是 192.168.1.100 那一行而已!先利用關鍵字捉出那一行! 步驟二:利用關鍵字配合 grep 擷取出關鍵的一行資料 [root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' inet addr:192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0 # 當場僅剩下一行!接下來,我們要將開始到 addr: 通通刪除,就是像底下這樣: # inet addr:192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0 # 上面的刪除關鍵在於『 ^.*inet addr: 』啦!正規表示法出現! ^_^ 步驟三:將 IP 前面的部分予以刪除 [root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' | \ > sed 's/^.*addr://g' 192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0 # 仔細與上個步驟比較一下,前面的部分不見了!接下來則是刪除後續的部分,亦即: # 192.168.1.100 Bcast:192.168.1.255 Mask:255.255.255.0 # 此時所需的正規表示法為:『 Bcast.*$ 』就是啦! 步驟四:將 IP 後面的部分予以刪除 [root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' | \ > sed 's/^.*addr://g' | sed 's/Bcast.*$//g' 19 |
透過這個範例的練習也建議您依據此一步驟來研究你的命令!就是先觀察,然後再一層一層的試做, 如果有做不對的地方,就先予以修改,改完之後測試,成功後再往下繼續測試。以鳥哥上面的介紹中, 那一大串命令就做了四個步驟!對吧! ^_^
讓我們再來繼續研究 sed 與正規表示法的配合練習!假設我只要 MAN 存在的那幾行資料, 但是含有 # 在內的註解我不想要,而且空白行我也不要!此時該如何處理呢?可以透過這幾個步驟來實作看看:
步驟一:先使用 grep 將關鍵字 MAN 所在行取出來 [root@www ~]# cat /etc/man.config | grep 'MAN' # when MANPATH contains an empty substring), to find out where the cat # MANBIN pathname # MANPATH manpath_element [corresponding_catdir] # MANPATH_MAP path_element manpath_element # MANBIN /usr/local/bin/man # Every automatically generated MANPATH includes these fields MANPATH /usr/man ....(後面省略).... 步驟二:刪除掉註解之後的資料! [root@www ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' MANPATH /usr/man ....(後面省略).... # 從上面可以看出來,原本註解的資料都變成空白行啦!所以,接下來要刪除掉空白行 [root@www ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | \ > sed '/^$/d' MANPATH /usr/man MANPATH /usr/share/man MANPATH /usr/local/man ....(後面省略).... |
- 直接修改檔案內容(危險動作)
你以為 sed 只有這樣的能耐嗎?那可不! sed 甚至可以直接修改檔案的內容呢!而不必使用管線命令或資料流重導向! 不過,由於這個動作會直接修改到原始的檔案,所以請你千萬不要隨便拿系統配置檔來測試喔! 我們還是使用你下載的 regular_express.txt 檔案來測試看看吧!
範例六:利用 sed 將 regular_express.txt 內每一行結尾若為 . 則換成 ! [root@www ~]# sed -i 's/\.$/\!/g' regular_express.txt # 上頭的 -i 選項可以讓你的 sed 直接去修改後面接的檔案內容而不是由螢幕輸出喔! # 這個範例是用在取代!請您自行 cat 該檔案去查閱結果羅! 範例七:利用 sed 直接在 regular_express.txt 最後一行加入『# This is a test』 [root@www ~]# sed -i '$a # This is a test' regular_express.txt # 由於 $ 代表的是最後一行,而 a 的動作是新增,因此該檔案最後新增羅! |
sed 的『 -i 』選項可以直接修改檔案內容,這功能非常有幫助!舉例來說,如果你有一個 100 萬行的檔案,你要在第 100 行加某些文字,此時使用 vim 可能會瘋掉!因為檔案太大了!那怎辦?就利用 sed 啊!透過 sed 直接修改/取代的功能,你甚至不需要使用 vim 去修訂!很棒吧!
總之,這個 sed 不錯用啦!而且很多的 shell script 都會使用到這個命令的功能~ sed 可以幫助系統管理員管理好日常的工作喔!要仔細的學習呢!