awk是處理文字檔案的一個應用程式，幾乎所有 Linux 系統都自帶這個程式。
它依次處理檔案的每一行，並讀取裡面的每一個欄位。對於日誌、CSV 那樣的每行格式相同的文字檔案，awk可能是最方便的工具。
awk其實不僅僅是工具軟體，還是一種程式語言。不過，本文只介紹它的命令列用法，對於大多數場合，應該足夠用了。
一、基本用法
awk的基本用法就是下面的形式。
|
1 2 3 4 5 |
# 格式 $ awk 動作 檔名 # 示例 $ awk '{print $0}' demo.txt |
上面示例中，demo.txt是awk所要處理的文字檔案。前面單引號內部有一個大括號，裡面就是每一行的處理動作print $0。其中，print是列印命令，$0代表當前行，因此上面命令的執行結果，就是把每一行原樣列印出來。
awk也可以處理標準輸入（stdin）。
|
1 2 |
$ echo 'this is a test' | awk '{print $0}' this is a test |
上面程式碼中，print $0就是把標準輸入this is a test，重新列印了一遍。
awk會根據空格和製表符，將每一行分成若干欄位，依次用$1、$2、$3代表第一個欄位、第二個欄位、第三個欄位等等。
|
1 2 |
$ echo 'this is a test' | awk '{print $3}' a |
上面程式碼中，$3代表this is a test的第三個欄位a。
下面，為了便於舉例，我們把/etc/passwd檔案儲存成demo.txt。
|
1 2 3 4 5 |
root:x:0:0:root:/root:/usr/bin/zsh daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin bin:x:2:2:bin:/bin:/usr/sbin/nologin sys:x:3:3:sys:/dev:/usr/sbin/nologin sync:x:4:65534:sync:/bin:/bin/sync |
這個檔案的欄位分隔符是冒號（:），所以要用-F引數指定分隔符為冒號。然後，才能提取到它的第一個欄位。
|
1 2 3 4 5 6 |
$ awk -F ':' '{ print $1 }' demo.txt root daemon bin sys sync |
二、變數
除了$ + 數字表示某個欄位，awk還提供其他一些變數。
變數NF表示當前行有多少個欄位，因此$NF就代表最後一個欄位。
|
1 2 |
$ echo 'this is a test' | awk '{print $NF}' test |
$(NF-1)代表倒數第二個欄位。
|
1 2 3 4 5 6 |
$ awk -F ':' '{print $1, $(NF-1)}' demo.txt root /root daemon /usr/sbin bin /bin sys /dev sync /bin |
上面程式碼中，print命令裡面的逗號，表示輸出的時候，兩個部分之間使用空格分隔。
變數NR表示當前處理的是第幾行。
|
1 2 3 4 5 6 |
$ awk -F ':' '{print NR ") " $1}' demo.txt 1) root 2) daemon 3) bin 4) sys 5) sync |
上面程式碼中，print命令裡面，如果原樣輸出字元，要放在雙引號裡面。
awk的其他內建變數如下。
FILENAME：當前檔名FS：欄位分隔符，預設是空格和製表符。RS：行分隔符，用於分割每一行，預設是換行符。OFS：輸出欄位的分隔符，用於列印時分隔欄位，預設為空格。ORS：輸出記錄的分隔符，用於列印時分隔記錄，預設為換行符。OFMT：數字輸出的格式，預設為％.6g。
三、函式
awk還提供了一些內建函式，方便對原始資料的處理。
函式toupper()用於將字元轉為大寫。
|
1 2 3 4 5 6 |
$ awk -F ':' '{ print toupper($1) }' demo.txt ROOT DAEMON BIN SYS SYNC |
上面程式碼中，第一個欄位輸出時都變成了大寫。
其他常用函式如下。
tolower()：字元轉為小寫。length()：返回字串長度。substr()：返回子字串。sin()：正弦。cos()：餘弦。sqrt()：平方根。rand()：隨機數。
awk內建函式的完整列表，可以檢視手冊。
四、條件
awk允許指定輸出條件，只輸出符合條件的行。
輸出條件要寫在動作的前面。
|
1 |
$ awk '條件 動作' 檔名 |
請看下面的例子。
|
1 2 3 4 5 |
$ awk -F ':' '/usr/ {print $1}' demo.txt root daemon bin sys |
上面程式碼中，print命令前面是一個正規表示式，只輸出包含usr的行。
下面的例子只輸出奇數行，以及輸出第三行以後的行。
|
1 2 3 4 5 6 7 8 9 10 |
# 輸出奇數行 $ awk -F ':' 'NR % 2 == 1 {print $1}' demo.txt root bin sync # 輸出第三行以後的行 $ awk -F ':' 'NR >3 {print $1}' demo.txt sys sync |
下面的例子輸出第一個欄位等於指定值的行。
|
1 2 3 4 5 6 |
$ awk -F ':' '$1 == "root" {print $1}' demo.txt root $ awk -F ':' '$1 == "root" || $1 == "bin" {print $1}' demo.txt root bin |
五、if 語句
awk提供了if結構，用於編寫複雜的條件。
|
1 2 3 4 |
$ awk -F ':' '{if ($1 > "m") print $1}' demo.txt root sys sync |
上面程式碼輸出第一個欄位的第一個字元大於m的行。
if結構還可以指定else部分。
|
1 2 3 4 5 6 |
$ awk -F ':' '{if ($1 > "m") print $1; else print "---"}' demo.txt root --- --- sys sync |
六、參考連結
- An Awk tutorial by Example, Greg Grothaus
- 30 Examples for Awk Command in Text Processing, Mokhtar Ebrahim
（完）