『忘了再學』Shell基礎 — 27、AWK程式設計的介紹和基本使用

繁華似錦Fighting 發表於 2022-06-08

1、AWK介紹

(1)AWK概述

AWK是一種處理文字檔案的語言,是一個強大的文字分析工具。

AWK可以看成一門獨立的語言,它擁有語言的基本特徵,換句話說AWK可以寫出極其繁瑣和複雜的程式,AWK的語法比Shell的語法還難以接收。但絕大多數情況下,我們並不需要用AWK寫過於複雜的東西,建議能用Shell處理的需求就不用AWK來解決。

當用AWK處理需求遠要比Shell處理簡單的多的時候,我們就用AWK來解決。

AWK也是用來擷取列資訊的,它比Shell中的cut命令更先進,比如對空格作為分隔符的處理。

(2)printf格式化輸出

在學習AWK之前,我們要先學習一下printf格式化輸出命令,這個命令是AWK基本輸出中必須要用到的一個命令。

AWK的標準輸出支援print命令和printf命令,這兩個命令在AWK當中基本作用是一樣的,但是Linux命令中只支援printf命令,如下:

# 在Linux中執行print命令和printf命令

[[email protected] ~]# print
# 報錯命令沒有找到
-bash: print: command not found

[[email protected] ~]# printf
# 提示你命令格式寫錯了
printf: usage: printf [-v var] format [arguments]

我們可以看到Linux系統中只支援printf命令,所以我們這裡就先學習一下printf命令。

(3)printf命令說明

[[email protected] ~]# printf '輸出型別輸出格式' 輸出內容

輸出型別:
  %ns:輸出字串。n是數字指輸出幾個字元。
  %ni:輸出整數。n是數字指輸出幾個數字。
  %m.nf:輸出浮點數。m和n是數字,指輸出的總位數和小數位數。如%8.2f代表共輸出8位數,其中2位是小數,6位是整數。

輸出格式:
  \a:輸出警告聲音。
  \b:輸出退格鍵,也就是Backspace鍵。
  \f:清除螢幕。
  \n:換行。
  \r:回車,也就是Enter鍵。
  \t:水平輸出退格鍵,也就是Tab鍵
  \v:垂直輸出退格鍵,也就是Tab鍵。

練習,使用如下文字:

ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96,66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

執行printf命令:

[[email protected] tmp]# printf '%s' $(cat student.txt)

說明:printf命令後是沒有辦法直接寫引數的,也就是不能直接加檔名來讀取檔案的內容,printf命令支援的是其他命令結果的輸出,交給printf命令來處理。所以說printf命令很少單獨使用,一般都放在AWK當中來使用,這樣更加合理,否則就和上邊一樣,看起來很難受。

結果:

[[email protected] tmp]# printf '%s' $(cat student.txt)
IDNamePythonLinuxMySQLJava1Tangs88878685.552Sunwk99989796,663Zhubj77767574.444Shahs66656463.33[[email protected] tmp]#

我們可以看到上面的結果非常的爛,他是把所有的內容一個字元緊接著一個字元的輸出,中間沒有空格或者回車。

這就是printf命令,如果不指定輸出的格式,則會把所有輸出內容連在一起輸出。其實文字的輸出本身就是這樣的,cat等文字輸出命令之所以可以按照漂亮的格式輸出,那是因為cat命令已經設定了輸出格式。

那麼為了讓printf輸出合理的格式,就需要手動自定義自己需要的格式。

printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)

說明:就是輸出一個字串(%s),後邊加上一個製表符(tab鍵)隔開(\t),這樣一共有6列,寫6個%s\t,然後每一行最後加上一個回車(\n)。

執行命令結果如下:

[[email protected] tmp]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96.66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

注意:'%s\t %s\t %s\t %s\t %s\t %s\t \n'中的空格是沒有意思的,寫多少都行,只是方便自己看,printf命令,只認\n \t等輸出格式。

如果不想把成績當成字串輸出,而是按照整型和浮點型輸出,執行如下命令:

[[email protected] tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep -v "Name")
1    Tangs  88  87  86     85.55
2    Sunwk  99  98  97     96.66
3    Zhubj  77  76  75     74.44
4    Shahs  66  65  64     63.33

這個例子不是很好,但一定要把標題顧慮掉,否則會出現如下效果,標題都被變成了整型資料。

[[email protected] tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt)
-bash: printf: ID: invalid number
-bash: printf: Python: invalid number
-bash: printf: Linux: invalid number
-bash: printf: MySQL: invalid number
-bash: printf: Java: invalid number
0    Name    0   0   0       0.00
1    Tangs   88  87  86     85.55
2    Sunwk   99  98  97     96.66
3    Zhubj   77  76  75     74.44
4    Shahs   66  65  64     63.33

2、AWK的基本使用

(1)AWK命令說明

[[email protected] ~]# awk '條件1{動作1} 條件2{動作2} ...' 檔名

條件(Pattern):
  一般使用關係表示式作為條件。這些關係表示式非常多,具體看下面一點。
  簡單舉例:
    x>10:判斷變數x是否大於10。
    x==y:判斷變數x是否等於變數y 。
    A~B:判斷字串A中是否包含能匹配B表示式的子字串。
    A!~B:判斷字串A中是否不包含能匹配B表示式的子字串。

動作(Action):
  格式化輸出。
  流程控制語句。

提示:先判斷條件是否成立,在進行對應動作。可以沒有條件直接寫動作,如果沒有條件,則直接執行動作。

(2)AWK命令使用

1)基本使用

使用如下文字:

ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96,66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

執行命令:awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt

結果:

[[email protected] tmp]# awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
Name    Python  Java
Tangs   88      85.55
Sunwk   99      96.66
Zhubj   77      74.44
Shahs   66      63.33

說明:

  • AWK的動作條件是需要用單引號括起來的,所以在動作條件中的printf命令中定義的輸出格式時,單引號就需要改換成雙引號了,這裡要注意。
  • 沒有條件就是每一行都處理。
  • AWK的主要動作就是用printf命令來輸出的。
  • AWK中可以直接新增文字檔案,來獲取檔案中所需內容。

這裡在補充一下print命令和printf命令用法差不多,print命令自帶換行符,但是Linux系統不支援print命令。

# 使用`print`命令就不需要加上\n換行符了。
[[email protected] tmp]# awk '{print $2 "\t" $3 "\t" $6 "\t"}' student.txt
Name    Python  Java
Tangs   88      85.55
Sunwk   99      96.66
Zhubj   77      74.44
Shahs   66      63.33

2)處理分隔符是空格的情況

看磁碟情況的df命令的結果中,資料之間的分隔符是空格,用cut命令是處理不了的。

如下:

# 檢視磁碟情況
[[email protected] tmp]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

# 獲取第二列資訊
[[email protected] tmp]# df -h | cut -f 2
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

使用AWK解決需求,獲取磁碟情況的第1列和第5列的資訊。

[[email protected] tmp]# df -h | awk '{printf $1 "\t" $5 "\t" "\n"}'
Filesystem  Use%
/dev/sda3   12%
tmpfs       0%
/dev/sda1   15%

3)綜合練習

獲取下面資訊中根分割槽的佔有率12。

[[email protected] tmp]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

執行命令:

[[email protected] tmp]# df -h | grep "dev/sda3" | awk '{print $5}' | cut -d "%" -f 1
12