好程式設計師大資料學習路線分享AWK詳解

　　好程式設計師大資料學習路線分享 AWK 怎詳解 ， awk是一個強大的文字分析工具，相對於grep的查詢，sed的編輯，awk在其對資料分析並生成報告時，顯得尤為強大。簡單來說awk就是把檔案逐行的讀入，以空格為預設分隔符將每行切片，切開的部分再進行各種分析處理。

　　 awk是在檔案或者字串中基於指定規則瀏覽和抽取資訊，awk抽取資訊後，才能進行其他文字操作。完整的awk指令碼通常用來格式化文字檔案中的資訊。

　　 通常，awk是以檔案的一行為處理單位的。awk每接收檔案的一行，然後執行相應的命令，來處理文字。

awk操作

有三種方式呼叫awk

1.  命令列方式

　　 awk [-F  field-separator]  'commands'  input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可選的。 input-file(s) 是待處理的檔案。在awk中，檔案的每一行中，由域分隔符分開的每一項稱為一個域。通常，在不指名-F域分隔符的情況下， 預設的域分隔符是空格。

2.shell指令碼方式

　　 將所有的awk命令插入一個檔案，並使awk程式可執行，然後awk命令直譯器作為指令碼的首行，一遍透過鍵入指令碼名稱來呼叫。

　　 相當於shell指令碼首行的：#!/bin/sh

　　 可以換成：#!/bin/awk

3.將所有的awk命令插入一個單獨檔案，然後呼叫：awk -f awk-script-file input-file(s)

　　 其中，-f選項載入awk-script-file中的awk指令碼，input-file(s)跟上面的是一樣的。

 

awk語法

1、awk命令格式

(1) awk [-F 分隔域] 'command' input-file(s)

(2) awk -f awk-script-file input-file(s)

 

模擬檔案：

cat employee.txt

100  Thomas  Manager Sales 5000

200  Jason   Developer  Technology  5500

300  Sanjay  Sysadmin   Technology  7000

400  Nisha   Manager    Marketing   9500

500  Randy   DBA        Technology  60002

 

2.awk操作

 

1.輸出檔案的每一行：

　　 awk '{print $0}' ./employee.txt

　　

2.輸出/etc/passwd第一個欄位

　　  awk  -F ":" '{print $1}' /etc/passwd

 

3.列印檔案的全部內容

　　 awk '{print $0}' employee.txt

 

4.抽取檔案test中的第一列

　　 awk '{print $1}' employee.txt  

　　 或者

　　 awk -F ' ' '{print $1}' employee.txt

　　

　　

5.列出所有的使用者名稱和登陸的shell名

　　 awk -F ':' '{print $1,$6}' /etc/passwd

　　

　　 當分隔符為多個符號時，如：

　　 a , b , c , d

　　 a1 , b1 , c1 , d1

　　 awk -F ' , ' '{print $1,$2}' 檔名

 

 

6.列印使用者名稱為root的那一行

　　 awk -F ':' '$1=="root" {print $0}' /etc/passwd

　　 或者

　　 awk -F ':' '$1=="keke" {print $1}' /etc/passwd

　　

　　 說明:$1=="root"和$1=="keke"都是屬於判斷條件  

 

 

awk工作流程是這樣的： 讀入有'\n'換行符分割的一條記錄，然後將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個域,$n表示第n個域。預設域分隔符是"空白鍵" 或 "[tab]鍵"。

 

 

7.給輸出資訊加上表頭

awk -F ":" 'BEGIN {print "name\tshell\n--------------------------------"}

　　 {print $1"\t"$6}' /etc/passwd

　　

8.給輸出資訊加上表頭和末尾

awk -F : 'BEGIN {print "name\tshell\n--------------------------------"} {print $1"\t"$6}

　　 END {print "end-of-report"}' /etc/passwd

awk -F ":" 'BEGIN {print"--BEGIN--"}

           $1=="root" { print $1}

   END{print"----END------"}' /etc/passwd

   

awk -F ":" 'BEGIN {print"--BEGIN--"} {if( $1=="root") print $1}

　　 END{print"----END------"}' /etc/passwd

 

awk工作流程是這樣的： 先執行BEGING，然後讀取檔案，讀入有/n換行符分割的一條記錄，然後將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個域,$n表示第n個域,隨後開始執行模式所對應的動作action。接著開始讀入第二條記錄······直到所有的記錄都讀完，最後執行END操作。

 

awk與mapreduce區別

 

1.  awk主要用於單機版檔案的操作

2.  mapreduce則可以用於分散式檔案系統，可用於對大量資料的操作，缺點是程式設計比awk複雜，不過在框架的支援下，編寫mapreducce程式只需要負責業務邏輯即可。