首先宣告,此係列shell系列部落格分為四篇釋出,分別是:
基礎篇:https://www.cnblogs.com/lsy131479/p/9914747.html
提升篇:https://www.cnblogs.com/lsy131479/p/9914897.html
高階篇:https://www.cnblogs.com/lsy131479/p/9914962.html
面試篇:
10. Shell工具(重點)
10.1 cut
cut的工作就是“剪”,具體的說就是在檔案中負責剪下資料用的。cut 命令從檔案的每一行剪下位元組、字元和欄位並將這些位元組、字元和欄位輸出。
1.基本用法
cut [選項引數] filename
說明:預設分隔符是製表符
2.選項引數說明
參數列
選項引數 |
功能 |
-f |
列號,提取第幾列 |
-d |
分隔符,按照指定分隔符分割列 |
3.案例實操
(0)資料準備
[fsdm@hadoop101 datas]$ touch cut.txt [fsdm@hadoop101 datas]$ vim cut.txt bei shen jing zhen wo wo lai lai le le
注意:標紅部分第三行,第四行,第五行,中間是兩個空格 第一行,第二行是一個空格
(1)切割cut.txt第一列
[fsdm@hadoop101 datas]$ cut -d " " -f 1 cut.txt bei jing wo lai le
(2)切割cut.txt第二列
[fsdm@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt shen zhen
(3)切割cut.txt第二、三列
[fsdm@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt shen zhen wo lai le
(4)在cut.txt檔案中切割出guan
[fsdm@hadoop101 datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1 guan
(5)選取系統PATH變數值,第2個“:”開始後的所有路徑:
[fsdm@hadoop101 datas]$ echo $PATH /usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/fsdm/bin [fsdm@hadoop102 datas]$ echo $PATH | cut -d: -f 2- /usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/fsdm/bin
(6)切割ifconfig 後列印的IP地址
[fsdm@hadoop101 datas]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1 192.168.1.102
10.2 sed
sed是一種流編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”,接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,這樣不斷重複,直到檔案末尾。檔案內容並沒有改變,除非你使用重定向儲存輸出。
1. 基本用法
sed [選項引數] ‘command’ filename
2. 選項引數說明
參數列
選項引數 |
功能 |
-e |
直接在指令列模式上進行sed的動作編輯。 |
3. 命令功能描述
功能描述表
命令 |
功能描述 |
a |
新增,a的後面可以接字串,在下一行出現 |
d |
刪除 |
s |
查詢並替換 |
4. 案例實操
(0)資料準備
[fsdm@hadoop102 datas]$ touch sed.txt [fsdm@hadoop102 datas]$ vim sed.txt bei shen jing zhen wo wo lai lai le le
(1)將“mei nv”這個單詞插入到sed.txt第二行下,列印。
[fsdm@hadoop102 datas]$ sed `2a mei nv` sed.txt dong shen guan zhen mei nv wo wo lai lai le le [fsdm@hadoop102 datas]$ cat sed.txt dong shen guan zhen wo wo lai lai le le
注意:實際檔案內容並沒有改變
(2)刪除sed.txt檔案所有包含wo的行
[fsdm@hadoop102 datas]$ sed `/wo/d` sed.txt dong shen guan zhen lai lai le le
(3)將sed.txt檔案中wo替換為ni
[fsdm@hadoop102 datas]$ sed `s/wo/ni/g` sed.txt dong shen guan zhen ni ni lai lai le le
注意:‘g’表示global,全部替換的意思
(4)將sed.txt檔案中的第二行刪除並將wo替換為ni
[fsdm@hadoop102 datas]$ sed -e `2d` -e `s/wo/ni/g` sed.txt dong shen ni ni lai lai le le
10.3 awk
一個強大的文字分析工具,把檔案逐行的讀入,以空格為預設分隔符將每行切片,切開的部分再進行分析處理。
1. 基本用法
awk [選項引數] ‘pattern1{action1} pattern2{action2}...’ filename
pattern:表示AWK在資料中查詢的內容,就是匹配模式
action:在找到匹配內容時所執行的一系列命令
2. 選項引數說明
參數列
選項引數 |
功能 |
-F |
指定輸入檔案折分隔符 |
-v |
賦值一個使用者定義變數 |
3. 案例實操
(0)資料準備
[fsdm@hadoop102 datas]$ sudo cp /etc/passwd ./
(1)搜尋passwd檔案以root關鍵字開頭的所有行,並輸出該行的第7列。
[fsdm@hadoop102 datas]$ awk -F: `/^root/{print $7}` passwd /bin/bash
(2)搜尋passwd檔案以root關鍵字開頭的所有行,並輸出該行的第1列和第7列,中間以“,”號分割。
[fsdm@hadoop102 datas]$ awk -F: `/^root/{print $1","$7}` passwd root,/bin/bash
注意:只有匹配了pattern的行才會執行action
(3)只顯示/etc/passwd的第一列和第七列,以逗號分割,且在所有行前面新增列名user,shell在最後一行新增“dahaige,/bin/zuishuai”。
[fsdm@hadoop102 datas]$ awk -F : `BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}` passwd user, shell root,/bin/bash bin,/sbin/nologin 。。。 fsdm,/bin/bash dahaige,/bin/zuishuai
注意:BEGIN 在所有資料讀取行之前執行;END 在所有資料執行之後執行。
(4)將passwd檔案中的使用者id增加數值1並輸出
[fsdm@hadoop102 datas]$ awk -v i=1 -F: `{print $3+i}` passwd 1 2 3 4
4. awk的內建變數
變數表
變數 |
說明 |
FILENAME |
檔名 |
NR |
已讀的記錄數 |
NF |
瀏覽記錄的域的個數(切割後,列的個數) |
5. 案例實操
(1)統計passwd檔名,每行的行號,每行的列數
[fsdm@hadoop102 datas]$ awk -F: `{print "filename:" FILENAME ", linenumber:" NR ",columns:" NF}` passwd filename:passwd, linenumber:1,columns:7 filename:passwd, linenumber:2,columns:7 filename:passwd, linenumber:3,columns:7
(2)切割IP
[fsdm@hadoop102 datas]$ ifconfig eth0 | grep "inet addr" | awk -F: `{print $2}` | awk -F " " `{print $1}` 192.168.1.102
(3)查詢sed.txt中空行所在的行號
[fsdm@hadoop102 datas]$ awk `/^$/{print NR}` sed.txt 5
10.4 sort
sort命令是在Linux裡非常有用,它將檔案進行排序,並將排序結果標準輸出。
1. 基本語法
sort(選項)(引數)
參數列
選項 |
說明 |
-n |
依照數值的大小排序 |
-r |
以相反的順序來排序 |
-t |
設定排序時所用的分隔字元 |
-k |
指定需要排序的列 |
引數:指定待排序的檔案列表
2. 案例實操
(0)資料準備
[fsdm@hadoop102 datas]$ touch sort.sh [fsdm@hadoop102 datas]$ vim sort.sh bb:40:5.4 hehe:20:4.2 haha:50:2.3 heihei:10:3.5 ss:30:1.6
(1)按照“:”分割後的第三列倒序排序。
[fsdm@hadoop102 datas]$ sort -t : -nrk 3 sort.sh bb:40:5.4 hehe:20:4.2 heihei:10:3.5 haha:50:2.3 ss:30:1.6
高階篇結束,如需深入請閱讀後續篇章,如有疑問私信或評論指出