xargs 命令詳解,xargs 與管道的區別

lizhiqiang666發表於2018-12-20

為什麼要用xargs,問題的來源

在工作中經常會接觸到xargs命令,特別是在別人寫的指令碼里面也經常會遇到,但是卻很容易與管道搞混淆,本篇會詳細講解到底什麼是xargs命令,為什麼要用xargs命令以及與管道的區別。為什麼要用xargs呢,我們知道,linux命令可以從兩個地方讀取要處理的內容,一個是通過命令列引數,一個是標準輸入。例如cat、grep就是這樣的命令,舉個例子:

echo 'main' | cat test.cpp

這種情況下cat會輸出test.cpp的內容,而不是'main'字串,如果test.cpp不存在則cat命令報告該檔案不存在,並不會嘗試從標準輸入中讀取。echo 'main' | 會通過管道將 echo 的標準輸出(也就是字串'main')匯入到 cat 的標準輸入,也就是說此時cat的標準輸入中是有內容的,其內容就是字串'main'但是上面的內容中cat不會從它的標準輸入中讀入要處理的內容。(注:標準輸入是有一個緩衝區的,就像我們在程式中使用scanf函式從標準輸入中讀取一樣,實際上是從標準輸入的緩衝區中讀取的)。其實基本上linux的命令中很多的命令的設計是先從命令列引數中獲取引數,然後從標準輸入中讀取,反映在程式上,命令列引數是通過main函式 int main(int argc,char*argv[]) 的函式引數獲得的,而標準輸入則是通過標準輸入函式例如C語言中的scanf讀取到的。他們獲取的地方是不一樣的。例如:

echo 'main' | cat

這條命令中cat會從其標準輸入中讀取內容並處理,也就是會輸出 'main' 字串。echo命令將其標準輸出的內容 'main' 通過管道定向到 cat 的標準輸入中。

cat

如果僅僅輸入cat並回車,則該程式會等待輸入,我們需要從鍵盤輸入要處理的內容給cat,此時cat也是從標準輸入中得到要處理的內容的,因為我們的cat命令列中也沒有指定要處理的檔名。大多數命令有一個引數 - 如果直接在命令的最後指定 - 則表示從標準輸入中讀取,例如:

echo 'main' | cat -

這樣也是可行的,會顯示 'main' 字串,同樣輸入 cat - 直接回車與輸入 cat 直接回車的效果也一樣,但是如果這樣呢:
echo 'main' | cat test.cpp -

同時指定test.cpp 和 - 引數,此時cat程式還是會顯示test.cpp的內容。但是有一個程式的策略則不同,它是grep,例如:

echo 'main' | grep 'main' test.cpp -

該命令的輸出結果是:

test.cpp:int main()
(standard input):main

此時grep會同時處理標準輸入和檔案test.cpp中的內容,也就是說會在標準輸入中搜尋 'main' 也會在檔案 test.cpp (該檔名從grep命令列引數中獲得)中搜尋 'main'。也就是說當命令列中 test.cpp 和 - 兩個引數同時存在的時候,不同的程式處理不同。我們看到了cat與grep處理就不同。但是有一點是一樣的,首先在命令列中查詢要處理的內容的來源(是從檔案還是從標準輸入,還是都有),如果在命令列中找不到與要處理的內容的來源相關的引數則預設從標準輸入中讀取要處理的內容了。

另外很多程式是不處理標準輸入的,例如 kill , rm 這些程式如果命令列引數中沒有指定要處理的內容則不會預設從標準輸入中讀取。所以:

echo '516' | kill

這種命裡是不能執行的。

echo 'test' | rm -f

這種也是沒有效果的。

這兩個命令只接受命令列引數中指定的處理內容,不從標準輸入中獲取處理內容。想想也很正常,kill 是結束程式,rm是刪除檔案,如果要結束的程式pid和要刪除的檔名需要從標準輸入中讀取,這個也很怪異吧。 但是像 cat與grep這些文書處理工具從標準輸入中讀取待處理的內容則很自然。

但是有時候我們的指令碼卻需要 echo '516' | kill 這樣的效果,例如 ps -ef | grep 'ddd' | kill 這樣的效果,篩選出符合某條件的程式pid然後結束。這種需求對於我們來說是理所當然而且是很常見的,那麼應該怎樣達到這樣的效果呢。有幾個解決辦法:

  1. 通過 kill ps -ef | grep 'ddd'

    • 這種形式,這個時候實際上等同於拼接字串得到的命令,其效果類似於 kill $pid
  2. for procid in $(ps -aux | grep "some search" | awk '{print $2}'); do kill -9 $procid; done

    • 其實與第一種原理一樣,只不過需要多次kill的時候是迴圈處理的,每次處理一個
  3. ps -ef | grep 'ddd' | xargs kill

    • OK,使用了xargs命令,鋪墊了這麼久終於鋪到了主題上。xargs命令可以通過管道接受字串,並將接收到的字串通過空格分割成許多引數(預設情況下是通過空格分割) 然後將引數傳遞給其後面的命令,作為後面命令的命令列引數

xargs是什麼,與管道有什麼不同

xargs與管道有什麼不同呢,這是兩個很容易混淆的東西,看了上面的xargs的例子還是有點雲裡霧裡的話,我們來看下面的例子弄清楚為什麼需要xargs:

echo '--help' | cat
輸出:
--help
echo '--help' | xargs cat
輸出:

Usage: cat [OPTION]... [FILE]...
Concatenate FILE(s), or standard input, to standard output.

  -A, --show-all           equivalent to -vET
  -b, --number-nonblank    number nonempty output lines
  -e                       equivalent to -vE
  -E, --show-ends          display $ at end of each line
  -n, --number             number all output lines
  -s, --squeeze-blank      suppress repeated empty output lines
  -t                       equivalent to -vT
  -T, --show-tabs          display TAB characters as ^I
  -u                       (ignored)
  -v, --show-nonprinting   use ^ and M- notation, except for LFD and TAB
      --help     display this help and exit
      --version  output version information and exit

With no FILE, or when FILE is -, read standard input.

Examples:
  cat f - g  Output f's contents, then standard input, then g's contents.
  cat        Copy standard input to standard output.

Report cat bugs to bug-coreutils@gnu.org
GNU coreutils home page: <http://www.gnu.org/software/coreutils/>
General help using GNU software: <http://www.gnu.org/gethelp/>
For complete documentation, run: info coreutils 'cat invocation'

可以看到 echo '--help' | cat 該命令輸出的是echo的內容,也就是說將echo的內容當作cat處理的檔案內容了,實際上就是echo命令的輸出通過管道定向到cat的輸入了。然後cat從其標準輸入中讀取待處理的文字內容。這等價於在test.txt檔案中有一行字元 '--help' 然後執行 cat test.txt 的效果。

而 echo '--help' | xargs cat 等價於 cat --help 什麼意思呢,就是xargs將其接受的字串 --help 做成cat的一個命令引數來執行cat命令,同樣 echo 'test.c test.cpp' | xargs cat 等價於 cat test.c test.cpp 此時會將test.c和test.cpp的內容都顯示出來。
回到頂部
xargs的一些有用的選項

相信到這裡應該都知道xargs的作用了,那麼我們看看xargs還有一些有用的選項:

  1. -d 選項
    預設情況下xargs將其標準輸入中的內容以空白(包括空格、Tab、回車換行等)分割成多個之後當作命令列引數傳遞給其後面的命令,並執行之,我們可以使用 -d 命令指定分隔符,例如:
    echo '11@22@33' | xargs echo
    輸出:
    11@22@33
    預設情況下以空白分割,那麼11@22@33這個字串中沒有空白,所以實際上等價於 echo 11@22@33 其中字串 '11@22@33' 被當作echo命令的一個命令列引數

echo '11@22@33' | xargs -d '@' echo
輸出:
11 22 33
指定以@符號分割引數,所以等價於 echo 11 22 33 相當於給echo傳遞了3個引數,分別是11、22、33

  1. -p 選項
    使用該選項之後xargs並不會馬上執行其後面的命令,而是輸出即將要執行的完整的命令(包括命令以及傳遞給命令的命令列引數),詢問是否執行,輸入 y 才繼續執行,否則不執行。這種方式可以清楚的看到執行的命令是什麼樣子,也就是xargs傳遞給命令的引數是什麼,例如:
    echo '11@22@33' | xargs -p -d '@' echo
    輸出:
    echo 11 22 33
    ?...y ==>這裡詢問是否執行命令 echo 11 22 33 輸入y並回車,則顯示執行結果,否則不執行
    11 22 33 ==>執行結果

  2. -n 選項
    該選項表示將xargs生成的命令列引數,每次傳遞幾個引數給其後面的命令執行,例如如果xargs從標準輸入中讀入內容,然後以分隔符分割之後生成的命令列引數有10個,使用 -n 3 之後表示一次傳遞給xargs後面的命令是3個引數,因為一共有10個引數,所以要執行4次,才能將引數用完。例如:

echo '11@22@33@44@55@66@77@88@99@00' | xargs -d '@' -n 3 echo
輸出結果:

11 22 33
44 55 66
77 88 99
00

等價於:

echo 11 22 33
echo 44 55 66
echo 77 88 99
echo 00

實際上執行了4次,每次傳遞3個引數,最後還剩一個,就直接傳遞一個引數。

  1. -E 選項,有的系統的xargs版本可能是-e eof-str
    該選項指定一個字串,當xargs解析出多個命令列引數的時候,如果搜尋到-e指定的命令列引數,則只會將-e指定的命令列引數之前的引數(不包括-e指定的這個引數)傳遞給xargs後面的命令
    echo '11 22 33' | xargs -E '33' echo
    輸出:
    11 22

可以看到正常情況下有3個命令列引數 11、22、33 由於使用了-E '33' 表示在將命令列引數 33 之前的引數傳遞給執行的命令,33本身不傳遞。等價於 echo 11 22 這裡-E實際上有搜尋的作用,表示只取xargs讀到的命令列引數前面的某些部分給命令執行。

注意:-E只有在xargs不指定-d的時候有效,如果指定了-d則不起作用,而不管-d指定的是什麼字元,空格也不行。

echo '11 22 33' | xargs -d ' ' -E '33' echo  => 輸出 11 22 33
echo '11@22@33@44@55@66@77@88@99@00 aa 33 bb' | xargs -E '33' -d '@' -p  echo  => 輸出 11 22 33 44 55 66 77 88 99 00 aa 33 bb

-0 選項表示以 '\0' 為分隔符,一般與find結合使用

find . -name "*.txt"
輸出:

./2.txt
./3.txt
./1.txt     => 預設情況下find的輸出結果是每條記錄後面加上換行,也就是每條記錄是一個新行

find . -name "*.txt" -print0

輸出:

./2.txt./3.txt./1.txt     => 加上 -print0 參數列示find輸出的每條結果後面加上 '\0' 而不是換行

find . -name "*.txt" -print0 | xargs -0 echo

輸出:

./2.txt ./3.txt ./1.txt

find . -name "*.txt" -print0 | xargs -d '\0' echo

輸出:
./2.txt ./3.txt ./1.txt

xargs的 -0 和 -d '\0' 表示其從標準輸入中讀取的內容使用 '\0' 來分割,由於 find 的結果是使用 '\0' 分隔的,所以xargs使用 '\0' 將 find的結果分隔之後得到3個引數: ./2.txt ./3.txt ./1.txt 注意中間是有空格的。上面的結果就等價於 echo ./2.txt ./3.txt ./1.txt

實際上使用xargs預設的空白分隔符也是可以的 find . -name "*.txt" | xargs echo 因為換行符也是xargs的預設空白符的一種。find命令如果不加-print0其搜尋結果的每一條字串後面實際上是加了換行

本作品採用《CC 協議》,轉載必須註明作者和本文連結

相關文章