大資料系列部落格之 — 深入簡出 Shell 指令碼語言(高階篇)

房上的貓發表於2018-11-06

 

首先宣告,此係列shell系列部落格分為四篇釋出,分別是:

  基礎篇:https://www.cnblogs.com/lsy131479/p/9914747.html

  提升篇:https://www.cnblogs.com/lsy131479/p/9914897.html

  高階篇:https://www.cnblogs.com/lsy131479/p/9914962.html

  面試篇:

 

10. Shell工具(重點)

10.1 cut

cut的工作就是,具體的說就是在檔案中負責剪下資料用的。cut 命令從檔案的每一行剪下位元組、字元和欄位並將這些位元組、字元和欄位輸出。

1.基本用法

cut [選項引數]  filename

 

說明:預設分隔符是製表符

2.選項引數說明

參數列

選項引數

功能

-f

列號,提取第幾列

-d

分隔符,按照指定分隔符分割列

 

3.案例實操

0)資料準備

 

[fsdm@hadoop101 datas]$ touch cut.txt
[fsdm@hadoop101 datas]$ vim cut.txt
bei shen
jing zhen
wo  wo
lai  lai
le  le

 

  注意:標紅部分第三行,第四行,第五行,中間是兩個空格 第一行,第二行是一個空格

1)切割cut.txt第一列

 

[fsdm@hadoop101 datas]$ cut -d " " -f 1 cut.txt 
bei
jing
wo
lai
le

 

(2)切割cut.txt第二

 

[fsdm@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt 
shen
zhen

 

 

 

3)切割cut.txt第二、三

 

[fsdm@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt 
shen
zhen
 wo
 lai
 le

 

4)在cut.txt檔案中切割出guan

[fsdm@hadoop101 datas]$ cat cut.txt | grep "guan" | cut -d " " -f 1
guan

5選取系統PATH變數值2“:”開始後的所有路徑:

 

[fsdm@hadoop101 datas]$ echo $PATH
/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/fsdm/bin

[fsdm@hadoop102 datas]$ echo $PATH | cut -d: -f 2-
/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/fsdm/bin

 

(6)切割ifconfig 列印的IP地址

[fsdm@hadoop101 datas]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
192.168.1.102

 

10.2 sed

sed是一種編輯器,它一次處理一行內容。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”,接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,這樣不斷重複,直到檔案末尾。檔案內容並沒有改變,除非你使用重定向儲存輸出。

 

1. 基本用法

 

sed [選項引數]  ‘command’  filename

 

2. 選項引數說

參數列

選項引數

功能

-e

直接在指令列模式上進行sed的動作編輯。

 

3. 命令功能描述

功能描述表

命令

功能描述

a 

新增,a的後面可以接字串,在下一行出現

d

刪除

s

查詢並替換

4. 案例實操

0)資料準備

 

[fsdm@hadoop102 datas]$ touch sed.txt
[fsdm@hadoop102 datas]$ vim sed.txt
bei shen
jing zhen
wo  wo
lai  lai

le  le

 

1)將“mei nv”這個單詞插入到sed.txt第二行下,列印。

 

[fsdm@hadoop102 datas]$ sed `2a mei nv` sed.txt 
dong shen
guan zhen
mei nv
wo  wo
lai  lai

le  le
[fsdm@hadoop102 datas]$ cat sed.txt 
dong shen
guan zhen
wo  wo
lai  lai

le  le

 

注意:實際檔案內容並沒有改變

 

2)刪除sed.txt檔案所有包含wo的行

 

[fsdm@hadoop102 datas]$ sed `/wo/d` sed.txt
dong shen
guan zhen
lai  lai

le  le

 

3)將sed.txt檔案中wo替換為ni

[fsdm@hadoop102 datas]$ sed `s/wo/ni/g` sed.txt 
dong shen
guan zhen
ni  ni
lai  lai

le  le

注意‘g’表示global,全部替換的意思

 

4)將sed.txt檔案中的第二行刪除並將wo替換為ni

[fsdm@hadoop102 datas]$ sed -e `2d` -e `s/wo/ni/g` sed.txt 
dong shen
ni  ni
lai  lai

le  le

10.3 awk

一個強大的文字分析工具,把檔案逐行的讀入,以空格為預設分隔符將每行切片,切開的部分再進行分析處理。

1. 基本用法

awk [選項引數] ‘pattern1{action1}  pattern2{action2}...’ filename

 

pattern:表示AWK在資料中查詢的內容,就是匹配模式

action:在找到匹配內容時所執行的一系列命令

2. 選項引數說

參數列

選項引數

功能

-F

指定輸入檔案折分隔符

-v

賦值一個使用者定義變數

3. 案例實操

0)資料準備

 

[fsdm@hadoop102 datas]$ sudo cp /etc/passwd ./

 

1)搜尋passwd檔案以root關鍵字開頭的所有行,並輸出該行的第7列。

 

[fsdm@hadoop102 datas]$ awk -F: `/^root/{print $7}` passwd 
/bin/bash

 

2)搜尋passwd檔案以root關鍵字開頭的所有行,並輸出該行的第1列和7,中間以“,”號分割。

 

[fsdm@hadoop102 datas]$ awk -F: `/^root/{print $1","$7}` passwd 
root,/bin/bash

 

注意:只有匹配了pattern的行才會執行action

3)只顯示/etc/passwd的第一列和第七列,以逗號分割,且在所有行前面新增列名usershell在最後一行新增dahaige/bin/zuishuai”

 

[fsdm@hadoop102 datas]$ awk -F : `BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}` passwd
user, shell
root,/bin/bash
bin,/sbin/nologin
。。。
fsdm,/bin/bash
dahaige,/bin/zuishuai

 

注意:BEGIN 在所有資料讀取行之前執行;END 在所有資料執行之後執行。

 

4)將passwd檔案中的使用者id增加數值1並輸出

 

[fsdm@hadoop102 datas]$ awk -v i=1 -F: `{print $3+i}` passwd
1
2
3
4

 

4. awk的內建變數

變數表

變數

說明

FILENAME

檔名

NR

已讀的記錄數

NF

瀏覽記錄的域的個數(切割,列的個數

5. 案例實操

1)統計passwd檔名,每行的行號,每行的列數

 

[fsdm@hadoop102 datas]$ awk -F: `{print "filename:"  FILENAME ", linenumber:" NR  ",columns:" NF}` passwd 
filename:passwd, linenumber:1,columns:7
filename:passwd, linenumber:2,columns:7
filename:passwd, linenumber:3,columns:7

 

  2)切割IP

 

[fsdm@hadoop102 datas]$ ifconfig eth0 | grep "inet addr" | awk -F: `{print $2}` | awk -F " " `{print $1}` 
192.168.1.102

 

  3)查詢sed.txt中空行所在的行號

 

[fsdm@hadoop102 datas]$ awk `/^$/{print NR}` sed.txt 
5

 

10.4 sort

sort命令是在Linux裡非常有用,它將檔案進行排序,並將排序結果標準輸出。

1. 基本語法

sort(選項)(引數)

參數列

選項

說明

-n

依照數值的大小排序

-r

以相反的順序來排序

-t

設定排序時所用的分隔字元

-k

指定需要排序的列

引數:指定待排序的檔案列表

2. 案例實操

0)資料準備

 

[fsdm@hadoop102 datas]$ touch sort.sh
[fsdm@hadoop102 datas]$ vim sort.sh 
bb:40:5.4
hehe:20:4.2
haha:50:2.3
heihei:10:3.5
ss:30:1.6

 

1)按照“:”分割後的第三列倒序排序。

 

[fsdm@hadoop102 datas]$ sort -t : -nrk 3  sort.sh 
bb:40:5.4
hehe:20:4.2
heihei:10:3.5
haha:50:2.3
ss:30:1.6

 

 

 

高階篇結束,如需深入請閱讀後續篇章,如有疑問私信或評論指出

 

相關文章