如何在Linux中使用awk命令

文字處理是Unix的核心。從管道到/proc子系統，“一切都是檔案”的理念貫穿於作業系統和所有基於它構造的工具。正因為如此，輕鬆地處理文字是一個期望成為Linux系統管理員甚至是資深使用者的最重要的技能之一，而 awk是通用程式語言之外最強大的文字處理工具之一。

最簡單的awk的任務是從標準輸入中選擇欄位；如果你對awk除了這個用途之外，從來沒了解過它的其他用途，你會發現它還是會是你身邊一個非常有用的工具。

預設情況下，awk通過空格分隔輸入。如果您想選擇輸入的第一個欄位，你只需要告訴awk輸出$ 1：

$ echo 'one two three four' | awk '{print $1}'

one

（是的，大括號語法是有點古怪，但我保證這是我們這節課一直會遇到。）

你能猜出如何選擇第二，第三或第四個欄位麼？是的，分別用$2，$ 3，$ 4。

$ echo 'one two three four' | awk '{print $3}'

three

通常在文字改寫時，你需要建立一個特定的資料格式，並且它覆蓋不止一個單詞。好訊息是，awk中可以很容易地列印多個欄位，甚至包含靜態字串：

 $ echo 'one two three four' | awk '{print $3,$1}' 

three one

---

$ echo 'one two three four' | awk '{print "foo:",$3,"| bar:",$1}' 

foo: three | bar: one

好吧，如果你的輸入不是由空格分隔怎麼辦？只需用awk中的'-F'標誌指定你的分隔符：

$ echo 'one mississippi,two mississippi,three mississippi,four mississippi' | awk -F , '{print $4}' 

four mississippi

偶爾間，你會發現自己正在處理欄位數量不同的資料，但你只知道你想要的最後欄位。 awk中內建的$NF變數代表欄位的數量，這樣你就可以用它來抓取最後一個元素：

$ echo 'one two three four' | awk '{print $NF}' 

four

你也可以用$NF做簡單的數學，假如你需要倒數第二個欄位：

$ echo 'one two three four' | awk '{print $(NF-1)}' 

three

甚至是中間的欄位：

$ echo 'one two three four' | awk '{print $((NF/2)+1)}' 

three

而且這一切都非常有用，同樣你可以擺脫強制使用sed，cut，和grep來得到這些結果（儘管要做更多的操作）。

因此，我將最後為你介紹awk的一個特性，維持跨行狀態。

 $ echo -e 'one 1\ntwo 2' | awk '{print $2}' 

1

2

$ echo -e 'one 1\ntwo 2' | awk '{sum+=$2} END {print sum}' 

3

（END代表的是我們在執行完每行的處理之後只處理下面的程式碼塊）

這裡我使用的例子是統計web伺服器請求日誌的位元組大小。想象一下我們有如下這樣的日誌：

$ cat requests.log 

Jul 23 18:57:12 httpd[31950]: "GET /foo/bar HTTP/1.1" 200 344

Jul 23 18:57:13 httpd[31950]: "GET / HTTP/1.1" 200 9300

Jul 23 19:01:27 httpd[31950]: "GET / HTTP/1.1" 200 9300

Jul 23 19:01:55 httpd[31950]: "GET /foo/baz HTTP/1.1" 200 6401

Jul 23 19:02:31 httpd[31950]: "GET /foo/baz?page=2 HTTP/1.1" 200 6312

我們知道最後一個欄位是響應的位元組大小。我們已經學習瞭如何使用$NF來抽取他們：

$ < requests.log awk '{print $NF}' 

344

9300

9300

6401

6312

接著我們可以將它們累加到一個變數中來收集我們的web服務其在日誌中這段時間內的響應客戶端的位元組數量

$ < requests.log awk '{totalBytes+=$NF} END {print totalBytes}' 

31657

如果你正在尋找關於awk的更多資料，你可以在Amazon中花費不到15美元買到原始awk手冊的二手書。你也許還可以看看Eric Pement的單行awk命令收集這本書。

---

via: http://xmodulo.com/2014/07/use-awk-command-linux.html

作者：James Pearson 譯者：geekpi 校對：wxy

本文由 LCTT 原創翻譯，Linux中國 榮譽推出