Linux命令列裡的“瑞士軍刀”

aqee發表於2013-06-08

  這裡說的“瑞士軍刀”是指那些簡單的一句命令就能完成其它高階語言一大片程式碼才能完成的工作。

  下面的這些內容是Quora網站上Joshua Levy網友的總結:

  • 通過sort/uniq獲取檔案內容的交集、合集和不同之處:假設有a、b兩個文字檔案,檔案本身已經去除了重複內容。下面是效率最高的方法,可以處理任何體積的檔案,甚至幾個G的檔案。(Sort對記憶體沒有要求,但也許你需要用 -T 引數。)可以試著比較一下,你可以看看如果用Java來處理磁碟上檔案的合併,需要用多少行程式碼。

cat a b | sort | uniq > c   # c 是a和b的合集

cat a b | sort | uniq -d > c   # c 是a和b的交集

cat a b b | sort | uniq -u > c   # c 是a和b的不同

  • 彙總一個文字內容裡第三列數字的和(這個方法要比用Python來做快3倍並只需1/3的程式碼量):

awk ‘{ x += $3 } END { print x }’ myfile

  • 如果你想檢視一個目錄樹裡的檔案的體積和修改日期,用下面的方法,相當於你挨個目錄做”ls -l”,而且輸出的形式比你用”ls -lR”更可讀:

find . -type f -ls

  • 使用xargs命令。這個命令非常的強大。注意每行上你可以控制多少個東西的執行。如果你不確定它是正確的執行,先使用xargs echo。同樣,-I{} 也非常有用。例子:

find . -name \*.py | xargs grep some_function

cat hosts | xargs -I{} ssh root@{} hostname

  • 假設你有一個文字檔案,比如一個web伺服器日誌,在某些行上有一些值,比如URL中的acct_id引數。如果你想統計每個acct_id的所有請求記錄:

cat access.log | egrep -o ‘acct_id=[0-9]+’ | cut -d= -f2 | sort | uniq -c | sort -rn

  英文原文:What are the most useful "Swiss army knife" one-liners on Unix?

相關文章