Linux三劍客之sed

*一炁化三清*發表於2024-08-09

工作原理

sed是Stream Editor(流編輯器)的縮寫,簡稱(行)流編輯器;用來處理檔案的。

  • 首先sed讀取檔案中的一行內容,把其儲存在一個臨時記憶體空間中(也稱為模式空間);
  • 然後根據需求處理臨時緩衝區中的行,完成後把該行傳送到螢幕上;
  • 預設不編輯原始檔,只對模式空間做處理。(由於sed把每一行都存在臨時緩衝區中,對這個副本進行編輯,所以不會直接修改原始檔)

格式

sed [options] 'AddressCommand' file …

選項(options)

用來指定sed的行為方式,如是否顯示未修改的行等。

引數 含義
-e 以選項中指定的script來處理輸入的文字檔案。
-f 以選項中指定的script檔案來處理輸入的文字檔案。
-h 顯示幫助。
-n 僅顯示符合條件的行,靜默模式。 預設不符和條件的也會列印出來
-V 顯示版本資訊。
-r 使用擴充套件正規表示式
-i 修改原始檔
-f FILE 指定sed指令碼的檔名
-e 可以執行多個指令碼

指令(Address+Command):

這是sed命令的核心,用於定義要執行的操作。

指令通常包含以下元素:

  • 地址(Address):指定要應用指令的行。可以是行號、正規表示式或$(表示最後一行)。
  • 動作(Command):對選定的行執行的操作,如s(替換)、d(刪除)、a(新增)、i(在行前插入)等。

地址和動作

地址(Address)

  • Startline,endline
    1,100
    $:表示最後一行
  • 正規表示式指定的模式定義,模式匹配需要雙斜線。
    /^root/
    /模式1/,/模式2/
  • 指定的行
    startline, +N
    從startline開始,向後的N行。

動作(Command)

引數 含義
a 新增, 在指定的行後追加新的行(目前的下一行)
c 取代, 的後面可以接字串,這些字串可以取代 n1,n2 之間的行!
d 刪除符合條件的行
i 插入,在指定的行前面新增新的行(目前的上一行);
p 列印,顯示符合條件的行。通常p會與引數sed -n 一起執行
s 取代,查詢並替換,可使用正規表示式。/查詢內容/替換成的內容/
r FILE 將指定檔案的內容追加至符合條件的行處
w FILE 將指定範圍內的內容另存至指定的檔案中

用法

  • sed替換標記
s:表示search搜尋;
\n:換行符
\:轉譯符
g:表示全域性替換,每一行中的所有匹配字串進行替換(修飾符)
p:表示列印行。  
w:表示把行寫入一個檔案。  
x:表示互換模板塊中的文字和緩衝區中的文字。  
y:表示把一個字元翻譯為另外的字元(但是不用於正規表示式)
\1:子串匹配標記
&:已匹配字串標記
  • sed元字符集

在 sed 流編輯器中,元字符集(也稱為字元類或字符集)是一種特殊的正規表示式構造,用於匹配一組特定的字元。

.(點):匹配任意單個字元(換行符除外)。如:/s.d/匹配s後接一個任意字元,最後是d。

^:匹配輸入字串的開始位置。當在字元類中使用時,它表示不接受該字符集中的任何字元。如:/^sed/匹配所有以sed開頭的行。

$:匹配輸入字串的結束位置。如:/sed$/匹配所有以sed結尾的行。

[](方括號):匹配方括號內的任意字元。例如,[abc] 匹配 "a"、"b" 或 "c"。

[^] 或 [!]:匹配除了方括號內字符集中的字元之外的任意字元。

()(圓括號):在擴充套件正規表示式(ERE)中,用於分組。在基本正規表示式(BRE)中,sed 不支援圓括號分組,但可以透過 -E 選項啟用ERE。

|(豎線):在ERE中,用作選擇運算子,表示邏輯“或”。在BRE中,需要使用 \|。

*(星號):在BRE中,表示前面的字元可以出現零次或多次。在ERE中,* 有懶惰匹配的特性,匹配儘可能少的字元。

+(加號):在ERE中,表示前面的字元至少出現一次。在BRE中,需要使用 \+。

?(問號):在ERE中,表示前面的字元出現零次或一次。在BRE中,需要使用 \?。

{n}:在ERE中,表示前面的字元恰好出現 n 次。在BRE中不支援。

{n,}:在ERE中,表示前面的字元至少出現 n 次。

{n,m}:在ERE中,表示前面的字元至少出現 n 次,但不超過 m 次。在BRE中不支援。

\(..\): 匹配子串,儲存匹配的字元,如s/\(love\)able/\1rs,loveable被替換成lovers。

&: 儲存搜尋字元用來替換其他字元,如s/love/**&**/,love這成**love**。

\< :匹配單詞的開始,如:/\<love/匹配包含以love開頭的單詞的行。

\> :匹配單詞的結束,如/love\>/匹配包含以love結尾的單詞的行。

x\{m\} :重複字元x,m次,如:/0\{5\}/匹配包含5個0的行。

x\{m,\} :重複字元x,至少m次,如:/0\{5,\}/匹配至少有5個0的行。

x\{m,n\} :重複字元x,至少m次,不多於n次,如:/0\{5,10\}/匹配5~10個0的行。

1、搜尋替換操作 ( S )

sed 選項 's/搜尋的內容/替換的內容/動作' filename

注意:

  • 正規表示式必須以"/"前後規範間隔
s後邊以/、#、@作為分隔符
	s///
	s@@@
	s###
  • 在正規表示式中如果出現特殊字元(^$.*/[]),需要反斜槓做轉義
  • -ni選項不要一起使用
  • p命令不要再使用-i時使用

案例

  • 替換操作
替換文字中的字串:
sed 's/book/books/' file

-n選項和p命令一起使用表示只列印那些發生替換的行
sed -n 's/test/TEST/p' file

直接編輯檔案選項-i,匹配每一行的所有book進行替換
sed -i 's/book/books/g' file

直接編輯檔案選項-i,會匹配file檔案中每一行的第一個book替換為books:
sed -i 's/book/books/' file

sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/' /usr/etc/sshd_config
  • 定界符
以上命令中字元 / 在sed中作為定界符使用,也可以使用任意的定界符:
sed 's:test:TEXT:g'
sed 's|test|TEXT|g'

定界符出現在樣式內部時,需要進行轉義:
sed 's/\/bin/\/usr\/local\/bin/g'
  • 刪除操作
刪除空白行:
sed '/^$/d' file

刪除檔案的第2行:
sed '2d' file

刪除檔案的第2行到末尾所有行:
sed '2,$d' file

刪除檔案最後一行:
sed '$d' file

刪除檔案第1行
sed '1d' a.txt 

刪除檔案中所有開頭是test的行:
sed '/^test/'d file
  • 增加
i 地址定位的上面插入
a 下面插入
sed '$a99999' a.txt 		檔案最後一行下面增加內容
sed 'a99999' a.txt 		    檔案每行下面增加內容
sed '5a99999' a.txt 		檔案第5行下面增加內容
sed '$i99999' a.txt 		檔案最後一行上一行增加內容
sed 'i99999' a.txt 		    檔案每行上一行增加內容
sed '6i99999' a.txt 		檔案第6行上一行增加內容
sed '/^uucp/ihello'		    以uucp開頭行的上一行插入內容
  • 從檔案讀入:r命令
file裡的內容被讀進來,顯示在與test匹配的行後面,如果匹配多行,則file的內容將顯示在所有匹配行的下面:
sed '/test/r file' filename
  • 寫入檔案:w命令
在example中所有包含test的行都被寫入file裡:
sed -n '/test/w file' example
  • 追加(行下):a\命令
將 this is a test line 追加到 以test 開頭的行後面:

sed '/^test/a\this is a test line' file
在 test.conf 檔案第2行之後插入 this is a test line:

sed -i '2a\this is a test line' test.conf
  • 插入(行上):i\命令
將 this is a test line 追加到以test開頭的行前面:

sed '/^test/i\this is a test line' file
在test.conf檔案第5行之前插入this is a test line:

sed -i '5i\this is a test line' test.conf
  • 已匹配字串標記&
正規表示式 \w\+ 匹配每一個單詞,使用 [&] 替換它,& 對應於之前所匹配到的單詞:

echo this is a test line | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]
所有以192.168.0.1開頭的行都會被替換成它自已加localhost:

sed 's/^192.168.0.1/&localhost/' file
192.168.0.1localhost
  • 子串匹配標記\1
匹配給定樣式的其中一部分:
echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
this is 7 in a number
命令中 digit 7,被替換成了 7。樣式匹配到的子串是 7,\(..\) 用於匹配子串,對於匹配到的第一個子串就標記為 \1,依此類推匹配到的第二個結果就是 \2,例如:

echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
BBB aaa
love被標記為1,所有loveable會被替換成lovers,並列印出來:

sed -n 's/\(love\)able/\1rs/p' file
  • 組合多個表示式
sed '表示式' | sed '表示式'
等價於:
sed '表示式; 表示式'
  • 引用
sed表示式可以使用單引號來引用,但是如果表示式內部包含變數字串,就需要使用雙引號。

test=hello
echo hello WORLD | sed "s/$test/HELLO"
HELLO WORLD
  • 選定行的範圍:,(逗號)
所有在模板test和check所確定的範圍內的行都被列印:

sed -n '/test/,/check/p' file
列印從第5行開始到第一個包含以test開始的行之間的所有行:

sed -n '5,/^test/p' file
對於模板test和west之間的行,每行的末尾用字串aaa bbb替換:

sed '/test/,/west/s/$/aaa bbb/' file
  • 多點編輯:e命令
-e選項允許在同一行裡執行多條命令:

sed -e '1,5d' -e 's/test/check/' file
上面sed表示式的第一條命令刪除1至5行,第二條命令用check替換test。命令的執行順序對結果有影響。如果兩個命令都是替換命令,那麼第一個替換命令將影響第二個替換命令的結果。

和 -e 等價的命令是 --expression:

sed --expression='s/test/check/' --expression='/love/d' file
  • 下一個:n命令
如果test被匹配,則移動到匹配行的下一行,替換這一行的aa,變為bb,並列印該行,然後繼續:

sed '/test/{ n; s/aa/bb/; }' file
  • 變形:y命令
把1~10行內所有abcde轉變為大寫,注意,正規表示式元字元不能使用這個命令:

sed '1,10y/abcde/ABCDE/' file
  • 退出:q命令
列印完第10行後,退出sed

sed '10q' file
  • 保持和獲取:h命令和G命令
在sed處理檔案的時候,每一行都被儲存在一個叫模式空間的臨時緩衝區中,除非行被刪除或者輸出被取消,否則所有被處理的行都將 列印在螢幕上。接著模式空間被清空,並存入新的一行等待處理。

sed -e '/test/h' -e '$G' file
在這個例子裡,匹配test的行被找到後,將存入模式空間,h命令將其複製並存入一個稱為保持快取區的特殊緩衝區內。第二條語句的意思是,當到達最後一行後,G命令取出保持緩衝區的行,然後把它放回模式空間中,且追加到現在已經存在於模式空間中的行的末尾。在這個例子中就是追加到最後一行。簡單來說,任何包含test的行都被複制並追加到該檔案的末尾。

  • 保持和互換:h命令和x命令
互換模式空間和保持緩衝區的內容。也就是把包含test與check的行互換:

sed -e '/test/h' -e '/check/x' file

  • 指令碼scriptfile
sed指令碼是一個sed的命令清單,啟動Sed時以-f選項引導指令碼檔名。Sed對於指令碼中輸入的命令非常挑剔,在命令的末尾不能有任何空白或文字,如果在一行中有多個命令,要用分號分隔。以#開頭的行為註釋行,且不能跨行。

sed [options] -f scriptfile file(s)
  • 列印奇數行或偶數行
方法1:

sed -n 'p;n' test.txt  #奇數行
sed -n 'n;p' test.txt  #偶數行
方法2:

sed -n '1~2p' test.txt  #奇數行
sed -n '2~2p' test.txt  #偶數行
  • 列印匹配字串的下一行
grep -A 1 SCC URFILE
sed -n '/SCC/{n;p}' URFILE
awk '/SCC/{getline; print}' URFILE

參考

https://blog.csdn.net/qq_45206551/article/details/104498965

相關文章