高效Linux使用者需要了解的命令列技能

　　下面介紹的都是一些命令列工具，這些工具在幾位回答者的日常工作中都很有用。對於任何不瞭解的命令，請使用“man <COMMANDNAME>“檢視，或者使用Google。有些命令需要先用 yum, apt-get install 命令安裝。

　1 基本命令

　　瞭解基本的bash

　　通讀整個bash man page.

　　學習VIM

　　在Linux系統上，雖然你有Emacs和Eclipse，但是VIM仍然是無出其右的利器。

　　瞭解SSH，基本的無密碼驗證方式。

　　例如通過ssh-agent, ssh-add等。 《靈犀志趣》平時都使用如下指令碼完成無密碼驗證，省事省力。

　　執行方式 sh nopasswd USER REMOTE_HOST

　　執行此指令碼前，請確認： 

• 本機上已有 id_dsa.pub ,若無。 使用命令 ssh-keygen -t dsa 獲得。
• 遠端機上登入使用者家目錄下，已經有 .ssh 資料夾，若無建立之。

$ cat  nopasswd 
#!/bin/sh

scp ~/.ssh/id_dsa.pub  $1@$2:~/
ssh $1@$2 " touch ~/.ssh/authorized_keys ; cat ~/id_dsa.pub  >> ~/.ssh/authorized_keys; chmod 644 ~/.ssh/authorized_keys; exit"

　　熟悉Bash中常用的任務管理命令

　　&,Ctrl-Z,Ctrl-C,jobs,fg,bg,kill 等。

　　基本的檔案管理命令

　　ls, ls-l, less, head, tail, tail -f, ln, ln -s, chmod, chown, du, du -sk *, df, mount

　　基本的網路管理命令

　　ipconfig, ifconfig, dig

　　熟悉正規表示式，以及 grep，egrep用到的選項

　　-o, -A, -B

　　軟體安裝命令瞭解

　　apt-get 和 yum

　　cat -n

　　可以幫助顯示行號。

 

　2 一些表示式

　　!!

　　再次執行上一條命令

　　!$

　　上一條命令的最後一個單詞

　　{a..b}

　　按照從a到b順序的一個數字列表

　　{a,b,c}

　　三個詞a,b,c. 可以這樣使用 touch /tmp/{foo,bar,baz}

　　{$1-$9}

　　執行shell指令碼時的命令列引數

　　$0

　　正在執行的命令名稱

　　$#

　　當前啟動的命令中傳入的引數個數

　　$?

　　上一條命令的執行返回值。

　　$$

　　該shell的程式號。

　　$*

　　從$1開始，啟動該shell指令碼的所有引數。

 

　3 日常使用命令

　　Ctrl-R

　　在bash中， Ctrl-R用於在歷史命令中搜尋

　　Ctrl-W, Ctrl-U, Alt-BackSpace

　　bash中，Ctrl-W刪除最後一個詞，Ctrl-U刪除最後一行, Alt-BackSpace 刪除游標前的一個詞 man readline 中包含了大量bash中的預設熱鍵繫結.

　　cd -

　　返回前一個工作路徑

　　xargs

　　非常強大的命令。如果你還不確定是否能正確的執行任務，可以先用xargs echo檢視。下面是一個用該功能的例子：

find . -name \*.py | xargs grep some_function
cat hosts | xargs -l {} ssh root@{} hostname

　　parallel

　　一個更加強大的命令. 可以實現並行執行任務,並可以分割輸入檔案, 指定多個節點同時執行命令等功能.詳細的功能可以參考這個連結.

　　pstree -p

　　列印程式樹的得力工具

　　pgrep,pkill

　　使用名字查詢程式，或者直接向指定名字的程式傳送訊號。

• 瞭解使用者能傳送給程式的一些訊號。比如 kill -STOP [pid] ，讓pid程式掛起。

　　nohup，disown,screen, tmux

　　當你需要將程式永遠處在後臺執行是，這兩個命令很有用。

　　lsof, netstat -lntp

　　查詢當前什麼程式在監聽什麼埠。

　　set

　　在bash指令碼中， 使用 set -x 獲得debug輸出，使用 set -e 獲得錯誤輸出。

　　;

　　分號用於開啟一個子shell並執行至結束後關閉。 例如：

#在當前路徑下執行一些命令
(cd /some/other/dir; other-command)
# 工作路徑仍然是當前目錄

　　瞭解shell中的多種參數列達式

　　${name:?error message}

　　檢查某個變數是否存在，若不存在輸出 error message。

　　${var%suffix}, ${var#prefix}

　　輸出var變數除字首或者字尾外的部分。如下面的程式碼輸出為foo.txt.

var = foo.pdf
echo ${var%pdf}.txt

　　<,>

　　輸入輸出重定向操作。

　　some_command > logfile 2>&1

　　將 some_command 執行過程中的標準輸出和標準錯誤輸出都輸出到檔案logfile中。

　　man ascii

　　獲得一個好用的ASCII表格，包含10進位制和16進位制的值。

　　screen,dtach

　　在遠端ssh繪畫中，使用這兩個命令可以儲存你的會話，避免因為網路問題導致中斷。

　　curl, curl -l, wget

　　在web頁面除錯中，這幾個命令能幫你下載網頁程式碼，很有用。

　　lynx -dump -stdin

　　將HTML轉換為文字

　　xmlstarlet

　　需要處理XML時，這個命令很有用。

　　ssh -L, ssh -D

　　需要利用遠端伺服器訪問網頁時，這命令可以幫助你在遠端伺服器和你的機器之間建立ssh 隧道。

　　ssh連線優化

　　如下配置能幫你避免連結丟失，不需要每次都輸入yes確認和遠端伺服器的連結，以及在連結中啟用壓縮。建議將它放到.ssh/config中。

TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
StrictHostKeyChecking=no
Compression=yes
ForwardAgent=yes

　　在正輸入的命令前加#

　　命令已經輸入一半，忽然間改主意想少收執行時，可以使用 Alt-# 在命令前加‘#’，將整個命令變成註釋。這樣你稍後就能在命令歷史中找到該命令了。

　　cron

　　可以幫助你制定一些定時執行的計劃任務。

　　Ctrl-S Ctrl-C

　　將一不小心需要大量輸出文字時，依次輸入這兩個操作，比單純的頻繁按Ctrl-C能更快讓程式終止。

　4 資料處理

　　sort,uniq, uniq -u, uniq -d

　　瞭解這些排序命令

　　cut,paste, join

　　瞭解這些文字檔案的維護工具。很多人都在使用cut後，忘記join

　　使用sort/uniq進行集合的交、並、補運算=

　　假設a和b是兩個文字檔案，其中的行都是唯一的。

　　如下幾個命令可以快速的實現一些集合操作。

cat a b | sort | uniq > c   # c is a union b
cat a b | sort | uniq -d > c   # c is a intersect b
cat a b b | sort | uniq -u > c   # c is set difference a - b

　　使用LC_ALL=C

　　Linux中有關locale的設定會影響大量的命令列工具，其中包括排序工具。

　　多數安裝的Linux系統都將LANG或者其他的locale預設設定成US English。

　　但這可能會導致排序及其他命令慢上好幾倍。

　　因此export LCALL=C能避免使用i18n形式處理資料，帶來效能提升。

　　awk,sed

　　這兩個工具能實現複雜的資料替換和修改。

　　例如，下面的命令實現對文字檔案中低三列的資料求總和。

　　使用shell完成此運算比用Python快3倍。

　　awk '{ x += $3 } END { print x }'

　　shuf

　　該命令可以從將一個檔案中的行混洗，或者從中隨機選出一些行。

　　sort

　　瞭解sort的常用選項(-t，-k， -s）如何工作。 注意-k1,1只會排序第一列，而-k1會根據整個行排序。 -s能實現穩定排序。

　　例如，先使用第二個域排序，再按照域一排序，可以用這段命令實現

cat INPUT_FILE | sort -k1,1  | sort -s -k2,2

　　製表符的輸入

　　在bash的命令列中，如若需要輸入製表符，可以使用 Ctrl-V <tab> 或者 $’\t’ 實現

　　hd,bvi

　　對於二進位制檔案，這兩個命令分別實現16進位制抽取，二進位制編輯操作。

　　strings,grep

　　可以幫助在二進位制檔案中尋找文字。

　　iconv,uconv

　　可以幫助轉換文字編碼

　　split,csplit

　　分別可以實現將檔案按照大小分割，以及按照特定的模式分割。

　5 系統除錯

　　iostat,netstat,top,atop,htop,dstat

　　可以幫助瞭解硬碟，CPU，記憶體，網路的狀態。

　　這能幫你對系統正在發生的情況有個第一認識。

　　free,vmstat

　　如果想了解記憶體的狀態，這兩個命令很重要。

　　其中cached是Linux核心中檔案快取的大小。

　　kill -3 <pid>

　　在除錯Java程式時，使用此命令，可以在stderr/logs中找到完整的stack trace，堆資訊(包含垃圾收集的細節).

　　mtr,traceroute

　　能夠幫忙找到網路問題，前者比traceroute更好用。

　　iftop,nethogs

　　這兩個命令可以辦剛找出哪個埠或者程式佔用了多少網路頻寬。

　　ab,siege

　　這個Apache自帶的工具能幫助快速檢查web伺服器的效能。

　　wireshark,tshark

　　是進行更高階的網路除錯的得力工具。

　　strace,ltrace

　　這兩個命令能幫你在一無所知的情況下，對程式執行失敗，假死，崩潰等問題帶來一些線索。

　　另外，他們還能幫忙發現一些效能問題。比如 -c選項可以做profiling；

　　-p選項可以掛到某個指定的程式上。

　　ldd

　　檢查共享庫的情況

　　gdb

　　瞭解如何利用GDB連線到一個正在執行的程式，並且得到其stack trace。

　　/proc/

　　在做現場除錯的時候很有用。比如 /proc/cpuinfo, /proc/XXX/cwd, /proc/XXX/exe, /proc/XXX/fd/, /proc/XXX/smaps

　　sar

　　在需要判斷為何過去某個時間系統會出錯時，這個命令能顯示CPU，記憶體和網路的歷史情況。

　　stap, perf

　　當需要更深的分析系統，以及效能情況時，這兩個工具很有用。

　　dmesg

　　當系統出現一些很反常的現象時，比如可能是硬體或驅動問題時，這個很管用。