1、AWK介紹
(1)AWK概述
AWK是一種處理文字檔案的語言,是一個強大的文字分析工具。
AWK可以看成一門獨立的語言,它擁有語言的基本特徵,換句話說AWK可以寫出極其繁瑣和複雜的程式,AWK的語法比Shell的語法還難以接收。但絕大多數情況下,我們並不需要用AWK寫過於複雜的東西,建議能用Shell處理的需求就不用AWK來解決。
當用AWK處理需求遠要比Shell處理簡單的多的時候,我們就用AWK來解決。
AWK也是用來擷取列資訊的,它比Shell中的cut
命令更先進,比如對空格作為分隔符的處理。
(2)printf
格式化輸出
在學習AWK之前,我們要先學習一下printf
格式化輸出命令,這個命令是AWK基本輸出中必須要用到的一個命令。
AWK的標準輸出支援print
命令和printf
命令,這兩個命令在AWK當中基本作用是一樣的,但是Linux命令中只支援printf
命令,如下:
# 在Linux中執行print命令和printf命令
[root@192 ~]# print
# 報錯命令沒有找到
-bash: print: command not found
[root@192 ~]# printf
# 提示你命令格式寫錯了
printf: usage: printf [-v var] format [arguments]
我們可以看到Linux系統中只支援printf
命令,所以我們這裡就先學習一下printf
命令。
(3)printf
命令說明
[root@localhost ~]# printf '輸出型別輸出格式' 輸出內容
輸出型別:
%ns:輸出字串。n是數字指輸出幾個字元。
%ni:輸出整數。n是數字指輸出幾個數字。
%m.nf:輸出浮點數。m和n是數字,指輸出的總位數和小數位數。如%8.2f代表共輸出8位數,其中2位是小數,6位是整數。
輸出格式:
\a:輸出警告聲音。
\b:輸出退格鍵,也就是Backspace鍵。
\f:清除螢幕。
\n:換行。
\r:回車,也就是Enter鍵。
\t:水平輸出退格鍵,也就是Tab鍵
\v:垂直輸出退格鍵,也就是Tab鍵。
練習,使用如下文字:
ID Name Python Linux MySQL Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96,66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
執行printf
命令:
[root@localhost tmp]# printf '%s' $(cat student.txt)
說明:printf
命令後是沒有辦法直接寫引數的,也就是不能直接加檔名來讀取檔案的內容,printf
命令支援的是其他命令結果的輸出,交給printf
命令來處理。所以說printf
命令很少單獨使用,一般都放在AWK當中來使用,這樣更加合理,否則就和上邊一樣,看起來很難受。
結果:
[root@localhost tmp]# printf '%s' $(cat student.txt)
IDNamePythonLinuxMySQLJava1Tangs88878685.552Sunwk99989796,663Zhubj77767574.444Shahs66656463.33[root@192 tmp]#
我們可以看到上面的結果非常的爛,他是把所有的內容一個字元緊接著一個字元的輸出,中間沒有空格或者回車。
這就是printf
命令,如果不指定輸出的格式,則會把所有輸出內容連在一起輸出。其實文字的輸出本身就是這樣的,cat
等文字輸出命令之所以可以按照漂亮的格式輸出,那是因為cat
命令已經設定了輸出格式。
那麼為了讓printf
輸出合理的格式,就需要手動自定義自己需要的格式。
printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
說明:就是輸出一個字串(
%s
),後邊加上一個製表符(tab
鍵)隔開(\t
),這樣一共有6列,寫6個%s\t
,然後每一行最後加上一個回車(\n
)。
執行命令結果如下:
[root@localhost tmp]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
ID Name Python Linux MySQL Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
注意:
'%s\t %s\t %s\t %s\t %s\t %s\t \n'
中的空格是沒有意思的,寫多少都行,只是方便自己看,printf
命令,只認\n
、\t
等輸出格式。
如果不想把成績當成字串輸出,而是按照整型和浮點型輸出,執行如下命令:
[root@192 tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep -v "Name")
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
這個例子不是很好,但一定要把標題顧慮掉,否則會出現如下效果,標題都被變成了整型資料。
[root@localhost tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt)
-bash: printf: ID: invalid number
-bash: printf: Python: invalid number
-bash: printf: Linux: invalid number
-bash: printf: MySQL: invalid number
-bash: printf: Java: invalid number
0 Name 0 0 0 0.00
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
2、AWK的基本使用
(1)AWK命令說明
[root@localhost ~]# awk '條件1{動作1} 條件2{動作2} ...' 檔名
條件(Pattern):
一般使用關係表示式作為條件。這些關係表示式非常多,具體看下面一點。
簡單舉例:
x>10:判斷變數x是否大於10。
x==y:判斷變數x是否等於變數y 。
A~B:判斷字串A中是否包含能匹配B表示式的子字串。
A!~B:判斷字串A中是否不包含能匹配B表示式的子字串。
動作(Action):
格式化輸出。
流程控制語句。
提示:先判斷條件是否成立,在進行對應動作。可以沒有條件直接寫動作,如果沒有條件,則直接執行動作。
(2)AWK命令使用
1)基本使用
使用如下文字:
ID Name Python Linux MySQL Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96,66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
執行命令:awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
結果:
[root@localhost tmp]# awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
Name Python Java
Tangs 88 85.55
Sunwk 99 96.66
Zhubj 77 74.44
Shahs 66 63.33
說明:
- AWK的動作條件是需要用單引號括起來的,所以在動作條件中的
printf
命令中定義的輸出格式時,單引號就需要改換成雙引號了,這裡要注意。- 沒有條件就是每一行都處理。
- AWK的主要動作就是用
printf
命令來輸出的。- AWK中可以直接新增文字檔案,來獲取檔案中所需內容。
這裡在補充一下print
命令和printf
命令用法差不多,print
命令自帶換行符,但是Linux系統不支援print
命令。
# 使用`print`命令就不需要加上\n換行符了。
[root@localhost tmp]# awk '{print $2 "\t" $3 "\t" $6 "\t"}' student.txt
Name Python Java
Tangs 88 85.55
Sunwk 99 96.66
Zhubj 77 74.44
Shahs 66 63.33
2)處理分隔符是空格的情況
看磁碟情況的df
命令的結果中,資料之間的分隔符是空格,用cut
命令是處理不了的。
如下:
# 檢視磁碟情況
[root@localhost tmp]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot
# 獲取第二列資訊
[root@localhost tmp]# df -h | cut -f 2
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot
使用AWK解決需求,獲取磁碟情況的第1列和第5列的資訊。
[root@localhost tmp]# df -h | awk '{printf $1 "\t" $5 "\t" "\n"}'
Filesystem Use%
/dev/sda3 12%
tmpfs 0%
/dev/sda1 15%
3)綜合練習
獲取下面資訊中根分割槽的佔有率12。
[root@localhost tmp]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot
執行命令:
[root@localhost tmp]# df -h | grep "dev/sda3" | awk '{print $5}' | cut -d "%" -f 1
12