shell-【技術乾貨】工作中編寫shell指令碼實踐

web洋仔發表於2019-09-06

在公司專案的開發過程中,需要編寫shell指令碼去處理一個業務,在編寫過程中發現自身對shell指令碼的知識不夠完善,顧整理一下,本文章主要內容來自菜鳥教程 , 也新增了一些知識點

看完這邊文章應該就可以獨立完成大部分指令碼得編寫

shell指令碼?

在說什麼是shell指令碼之前,先說說什麼是shell。

shell是外殼的意思,就是作業系統的外殼。我們可以通過shell命令來操作和控制作業系統,比如Linux中的Shell命令就包括ls、cd、pwd等等。總結來說,Shell是一個命令直譯器,它通過接受使用者輸入的Shell命令來啟動、暫停、停止程式的執行或對計算機進行控制。

shell 是一個應用程式,它連線了使用者和 Linux 核心,讓使用者能夠更加高效、安全、低成本地使用 Linux 核心,這就是 Shell 的本質。

shell 本身並不是核心的一部分,它只是站在核心的基礎上編寫的一個應用程式。

那麼什麼是shell指令碼呢?

shell指令碼就是由Shell命令組成的執行檔案,將一些命令整合到一個檔案中,進行處理業務邏輯,指令碼不用編譯即可執行。它通過直譯器解釋執行,所以速度相對來說比較慢。

shell指令碼中最重要的就是對shell命令的使用與組合,再使用shell指令碼支援的一些語言特性,完成想要的功能。

註釋

“# ”開頭的就是註釋,被編譯器忽略

  • 單行註釋: #
  • 多行註釋: :<<EOF … EOF 或者 :<<! … ! (:<< 標識多行註釋開始,並指定一個識別符號作為開始結束的標誌)

變數

變數型別
執行shell時,會同時存在三種變數:

  1. 區域性變數:區域性變數在指令碼或命令中定義,僅在當前shell例項中有效,其他shell啟動的程式不能訪問區域性變數。
  2. 環境變數:所有的程式,包括shell啟動的程式,都能訪問環境變數,有些程式需要環境變數來保證其正常執行。必要的時候shell指令碼也可以定義環境變數。
  3. shell變數:shell變數是由shell程式設定的特殊變數。shell變數中有一部分是環境變數,有一部分是區域性變數,這些變數保證了shell的正常執行

變數操作

  • 建立普通變數: name=“test” (=兩邊不可有空格)
  • 建立只可函式體中使用的區域性變數: local name=“test” (使用local修飾的變數在函式體外無法訪問,並且local只能在函式體內使用)
  • 使用變數: echo $name 或者 echo ${name} (推薦使用大括號版)
  • 變數重新賦值: name=“new_test” (將原值覆蓋)
  • 只讀變數: name=“only_read” -> readonly name (使用readonly標識後的變數,不可被修改)
  • 刪除變數: unset name; (刪除之後不可訪問,刪除不掉只讀變數)

字串變數
1)單引號

  • 單引號變數var='test' ,只能原樣輸出,變數無效
  • 單引號中不能出現一個單獨的單引號,轉義也不可以

2)雙引號

  • 雙引號變數var="my name is ${name}",變數有效
  • 可出現轉義符

3)拼接字串

  • 中間無任何+,之類的字元
  • name=“this is”" my name"; name=“this is my name”; name=“this” is “my name” 等效
  • name=‘this is’’ my nam’; name=‘this is my name’; name=‘this’ is ‘my name’ 等效

4)獲取字串長度

  • 在${}中使用“#”獲取長度
  • name=“test”;
  • echo ${#name}; # 輸出為4

5)提取子字串

  • 1:4 從第2個開始 往後擷取4個字元
  • ::4 從第一個字元開始 往後擷取4個字元
  • name=“this is my name”;
  • echo ${name:1:4} #輸出 is i
  • echo ${name::4} #輸出 this

陣列

bash只支援一維陣列,不支援多維陣列

  • 定義陣列:array_name=(li wang xiang zhang) (小括號做邊界、使用空格分離)
  • 單獨定義陣列的元素: array_para[0]=“w”; array_para[3]=“s” (定義時下標不連續也可以)
  • 賦值陣列元素:array_name[0]=“zhao”;
  • 獲取陣列元素:
    • array_name[0]=“li”
    • array_name[3]=“zhang”
    • echo ${array_name[0]} # 輸出"li"
    • echo ${array_name[1]} # 輸出" "
    • echo ${array_name[3]} # 輸出"zhang"
    • echo ${array_name[@]} # 輸出"li zhang" 輸出陣列所有元素,沒有元素的下標省略
  • 取得元素個數:${#array_name[@]} 或者 ${#array_name[*]}
  • 取得單個元素長度:${#array_name[1]}

引數傳遞

  • 獲取引數值:
    • $0 : 固定,代表執行的檔名
    • $1 : 代表傳入的第1個引數
    • $n : 代表傳入的第n個引數
  • $#:引數個數
  • $*: 以一個單字串顯示所有向指令碼傳遞的引數。如"$*“用「”」括起來的情況、以"$1 $2 … $n"的形式輸出所有引數
  • $@:與$*相同,但是使用時加引號,並在引號中返回每個引數。
  • $$:指令碼執行的當前程式號
  • $!:後臺執行的最後一個程式的ID
  • $?: 顯示最後命令的退出狀態。0表示沒有錯誤,其他任何值表明有錯誤。
  • $* 與 $@ 區別
    • 相同點:都是引用所有引數。
    • 不同點:只有在雙引號中體現出來。假設在指令碼執行時寫了三個引數 1、2、3,,則 " * " 等價於 “1 2 3”(傳遞了一個引數),而 “@” 等價於 “1” “2” “3”(傳遞了三個引數)。

運算子

算數運算

  • + 、-、*、\ : 乘號前必須加\進行轉義才可以進行乘法運算
  • 加法運算
    • val=`expr 2 + 2` (使用linux命令expr進行輔助運算)
    • val=$[2+2] (4個空格不是必要的,不同於條件判斷)
    • val=$((2+2))

數字關係運算子
關係運算子只支援數字,不支援字串,除非字串的值是數字。
下面假定變數 a 為 10,變數 b 為 20

  • -eq :檢測兩個數是否相等,相等返回 true。 [ $a -eq $b ] 返回 false。
  • -ne: 檢測兩個數是否不相等,不相等返回 true。 [ $a -ne $b ] 返回 true。
  • -gt: 檢測左邊的數是否大於右邊的,如果是,則返回 true。 [ $a -gt $b ] 返回 false。
  • -lt : 檢測左邊的數是否小於右邊的,如果是,則返回 true。 [ $a -lt $b ] 返回 true。
  • -ge: 檢測左邊的數是否大於等於右邊的,如果是,則返回 true。 [ $a -ge $b ] 返回 false。
  • -le : 檢測左邊的數是否小於等於右邊的,如果是,則返回 true。 [ $a -le $b ] 返回 true。

字串運算子
下表列出了常用的字串運算子,假定變數 a 為 “abc”,變數 b 為 “efg”:

  • = :檢測兩個字串是否相等,相等返回 true。 [ $a = $b ] 返回 false。
  • != :檢測兩個字串是否相等,不相等返回 true。 [ $a != $b ] 返回 true。
  • -z :檢測字串長度是否為0,為0返回 true。 [ -z $a ] 返回 false。
  • -n :檢測字串長度是否為0,不為0返回 true。 [ -n “$a” ] 返回 true。
  • $ :檢測字串是否為空,不為空返回 true。 [ $a ] 返回 true。

布林運算子
下表列出了常用的布林運算子,假定變數 a 為 10,變數 b 為 20:

  • ! :非運算,表示式為 true 則返回 false,否則返回 true。 [ ! false ] 返回 true。
  • -o :或運算,有一個表示式為 true 則返回 true。 [ $a -lt 20 -o $b -gt 100 ] 返回 true。
  • -a :與運算,兩個表示式都為 true 才返回 true。 [ $a -lt 20 -a $b -gt 100 ] 返回 false。

邏輯運算子
以下介紹 Shell 的邏輯運算子,假定變數 a 為 10,變數 b 為 20:

  • && :邏輯的 AND [[ $a -lt 100 && $b -gt 100 ]] 返回 false
  • || :邏輯的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

檔案運算子

  • -b file :檢測檔案是否是塊裝置檔案,如果是,則返回 true。 [ -b $file ] 返回 false。
  • -c file :檢測檔案是否是字元裝置檔案,如果是,則返回 true。 [ -c $file ] 返回 false。
  • -d file :檢測檔案是否是目錄,如果是,則返回 true。 [ -d $file ] 返回 false。
  • -f file :檢測檔案是否是普通檔案(既不是目錄,也不是裝置檔案),如果是,則返回 true。 [ -f $file ] 返回 true。
  • -g file :檢測檔案是否設定了 SGID 位,如果是,則返回 true。 [ -g $file ] 返回 false。
  • -k file :檢測檔案是否設定了粘著位(Sticky Bit),如果是,則返回 true。 [ -k $file ] 返回 false。
  • -p file :檢測檔案是否是有名管道,如果是,則返回 true。 [ -p $file ] 返回 false。
  • -u file :檢測檔案是否設定了 SUID 位,如果是,則返回 true。 [ -u $file ] 返回 false。
  • -r file :檢測檔案是否可讀,如果是,則返回 true。 [ -r $file ] 返回 true。
  • -w file :檢測檔案是否可寫,如果是,則返回 true。 [ -w $file ] 返回 true。
  • -x file :檢測檔案是否可執行,如果是,則返回 true。 [ -x $file ] 返回 true。
  • -s file :檢測檔案是否為空(檔案大小是否大於0),不為空返回 true。 [ -s $file ] 返回 true。
  • -e file :檢測檔案(包括目錄)是否存在,如果是,則返回 true。 [ -e $file ] 返回 true。

執行相關

命令替換
命令替換與變數替換差不多,都是用來重組命令列的,先完成引號裡的命令列,然後將其結果替換出來,再重組成新的命令列。
執行命令:

  1. `ls /etc` : 反引號 (所有的unix系統都支援)
  2. $(ls /etc) : $+() (部分unix系統不支援)
    多個巢狀使用時,從內向外執行

for file in \s /etc\ 或 for file in $(ls /etc) 迴圈中使用
`dirname $0` 獲取指令碼檔案所在的目錄
path=$(cd `dirname $0`;pwd) : 獲取指令碼當前所在目錄,並且執行cd命令到達該目錄,使用pwd獲取路徑並賦值到path變數

算術運算

  1. $[ ] : 加減乘除,不必新增空格
  2. $(( )) :加減乘除等,不必新增空格

邏輯判斷

  1. [ ] : 中括號旁邊和運算子兩邊必須新增空格 (可以使用,不推薦)
  2. [[ ]]:中括號旁邊和運算子兩邊必須新增空格 (字串驗證時,推薦使用)
  3. (()) : 中括號旁邊和運算子兩邊必須新增空格 (數字驗證時,推薦使用)
  4. [[]] 和 (()) 分別是[ ]的針對數學比較表示式和字串表示式的加強版。
  5. 使用[[ … ]]條件判斷結構,而不是[ … ],能夠防止指令碼中的許多邏輯錯誤。比如,&&、||、<和> 操作符能夠正常存在於[[ ]]條件判斷結構中,但是如果出現在[ ]結構中的話,會報錯。比如可以直接使用if [[ $a != 1 && $a != 2 ]], 如果不適用雙括號, 則為if [ $a -ne 1] && [ $a != 2 ]或者if [ $a -ne 1 -a $a != 2 ]。
    [[ ]]中增加模式匹配特效;
    (( ))不需要再將表示式裡面的大小於符號轉義,除了可以使用標準的數學運算子外,還增加了以下符號
    在這裡插入圖片描述

輸出

echo
僅用於字串的輸出,沒有使用printf作為輸出的移植性好,建議使用printf

printf

printf 不會像 echo 自動新增換行符,我們可以手動新增 \n
無大括號,直接以空格分隔

  • 格式:printf format-string [arguments...] 其中(format-string: 格式控制字串、arguments: 引數列表)
  • 案例:printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234
  • %s %c %d %f 都是格式替代符
    • d:Decimal 十進位制整數 對應位置引數必須是十進位制整數,否則報錯!
    • s:String 字串 對應位置引數必須是字串或者字元型 否則報錯
    • c:Char 字元 對應位置引數必須是字串或者字元型 否則報錯
    • f:Float 浮點 對應位置引數必須是數字型 否則報錯
  • %-10s : 指一個寬度為10個字元(-表示左對齊,沒有則表示右對齊),任何字元都會被顯示在10個字元寬的字元內,如果不足則自動以空格填充,超過也會將內容全部顯示出來。
  • %-4.2f :指格式化為小數,寬度為4個字元,其中.2指保留2位小數。
  • 轉義符:
    • \a :警告字元,通常為ASCII的BEL字元
    • \b :後退
    • \c :抑制(不顯示)輸出結果中任何結尾的換行字元(只在%b格式指示符控制下的引數字串中有效),而且,任何留在引數裡的字元、任何接下來的引數以及任何留在格式字串中的字元,都被忽略
    • \f :換頁(formfeed)
    • \n :換行
    • \r :回車(Carriage return)
    • \t :水平製表符
    • \v :垂直製表符
    • \ :一個字面上的反斜槓字元
    • \ddd :表示1到3位數八進位制值的字元。僅在格式字串中有效
    • \0ddd :表示1到3位的八進位制值字元

流程控制

和Java、PHP等語言不一樣,sh的流程控制不可為空,即if或者else的大括號中無任何語句
if else

  • if
if condition
then
    command1 
    command2
    ...
    commandN 
fi
  • if else
if condition
then
    command1 
    command2
    ...
    commandN
else
    command
fi
  • if else-if else
if condition1
then
    command1
elif condition2 
then 
    command2
else
    commandN
fi

for

for var in item1 item2 ... itemN
do
    command1
    command2
    ...
    commandN
done

while

  • while condition
while condition
do
    command
done
  • while 無限迴圈
while :
do
    command
done

until
until 迴圈執行一系列命令直至條件為 true 時停止。
until 迴圈與 while 迴圈在處理方式上剛好相反。

until condition
do
    command
done

case
Shell case語句為多選擇語句。可以用case語句匹配一個值與一個模式,如果匹配成功,執行相匹配的命令。
case需要一個esac(就是case反過來)作為結束標記,每個case分支用右圓括號,用兩個分號表示break,其中“;;”不是跳出迴圈,是不在去匹配下面的模式
case語句格式如下:

casein
  模式1)
    command1
    command2
    ...
    commandN
    ;;
  模式2)
    command1
    command2
    ...
    commandN
    ;;
esac

跳出迴圈

  1. break :跳出總迴圈
  2. continue:跳出當前迴圈,繼續下一次迴圈

定義函式

可以帶function fun() 定義,也可以直接fun() 定義,不帶任何引數。

  • 函式定義
[ function ] funname()
{
    action;
    [return int;]
}
  • 引數傳遞
    • 呼叫函式: fun_name 2 3 4
    • 函式中使用:和shell取用函式相同 $n $# $* $? 或者加上{}
funWithParam(){
    echo "第一個引數為 $1 !"
    echo "第二個引數為 $2 !"
    echo "第十個引數為 $10 !"
    echo "第十個引數為 ${10} !"
    echo "第十一個引數為 ${11} !"
    echo "引數總數有 $# 個!"
    echo "作為一個字串輸出所有引數 $* !"}
funWithParam 1 2 3 4 5 6 7 8 9 34 73
echo $?  \# 判斷執行是否成功
  • 函式返回值
    • return字樣可存在也可不存在
    • return 只能為 return [0-255],此處的返回可作為函式執行的狀態,通過$?獲取的便是這個返回值
    • 如果不加return , 則預設最後一條語句的執行狀態所為函式執行狀態的返回值,如果最後一條語句執行成功,則$?為0,否則不為0
  • 使用函式返回值(Janusgraph圖資料庫官方啟動服務指令碼片段)
    • return返回的數字,只是作為函式執行狀態的返回值,也就是接下來$?獲取的值
    • 對於類似於下面的BIN=\abs_path``語句,獲取的是函式體內所有的echo、printf輸出組合成的一個字串
abs_path() {
    SOURCE="${BASH_SOURCE[0]}"
    while [ -h "$SOURCE" ]; do
        DIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
        SOURCE="$(readlink "$SOURCE")"
        [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE"
    done
    echo "test"  
    echo "$( cd -P "$( dirname "$SOURCE" )" && pwd )"  
    # 此函式的兩個echo輸出會組合成一個字串作為下述BIN的值
}

BIN=`abs_path` # BIN賦值函式返回值,如果沒有return,則函式中所有的echo、printf輸出組合成一個字串傳入BIN
path=${BIN}/nodetool # 可直接使用

輸入輸出重定向

一般情況下,每個 Unix/Linux 命令執行時都會開啟三個檔案:

  • 標準輸入檔案(stdin):stdin的檔案描述符為0,Unix程式預設從stdin讀取資料。
  • 標準輸出檔案(stdout):stdout 的檔案描述符為1,Unix程式預設向stdout輸出資料。
  • 標準錯誤檔案(stderr):stderr的檔案描述符為2,Unix程式會向stderr流中寫入錯誤資訊。

預設情況下,command > file 將 stdout 重定向到 file,command < file 將stdin 重定向到 file。
如果希望執行某個命令,但又不希望在螢幕上顯示輸出結果,那麼可以將輸出重定向到 /dev/null:

輸入重定向

  1. bash.sh < file : 將指令碼的輸入重定向到file,由file提供引數

輸出重定向

  1. bash.sh > file : 將指令碼的輸出資料重定向到file中,覆蓋資料
  2. bash.sh >> file : 將指令碼的輸出資料重定向到file中,追加資料
  3. command >> file 2>&1 : 將 stdout 和 stderr 合併後重定向到 file

讀取外部輸入

命令:read arg (指令碼讀取外部輸入並賦值到變數上)
在shell指令碼執行到上述命令時,停止指令碼執行並等待外部輸入,將外部輸入賦值到arg變數上,繼續執行指令碼

檔案引用

引用其他的檔案之後,可以使用其變數、函式等等,相當於將引用的檔案包含進了當前檔案
兩種方式:

  1. . file_path\file_name
  2. source file_path\file_name

顏色標識

printf  "\033[32m SUCCESS: yay \033[0m\n";
printf  "\033[33m WARNING: hmm \033[0m\n";
printf  "\033[31m ERROR: fubar \033[0m\n";

輸出結果:
在這裡插入圖片描述

長句換行

在shell中為避免一個語句過長,可以使用“\”進行換行
使用“\”換行,在指令碼執行過程中還是當做一行一個語句執行,不同於enter直接換行

注意:\ 前新增一個空格 。 \ 後無空格直接換行。

 /mysql/bin/mysql \
  -h test_host  -P 000 \
  -u test_user -ptest_password ;

shell操作mysql

下面案例為登入mysql,並選擇運算元據庫,之後進行匯入資料

 /mysql/mysql/bin/mysql \
  -h test_host  -P 000 \
  -u test_user -ptest_password \
  -e"use test_database; source data_faile; " # -e 代表執行sql語句

-u 使用者名稱
-p 使用者密碼
-h 伺服器ip地址
-D 連線的資料庫
-N 不輸出列資訊
-B 使用tab鍵 代替 分隔符
-e 執行的SQL語句

退出指令碼

命令:exit

在退出指令碼時使用不同的錯誤碼,這樣可以根據錯誤碼來判斷髮生了什麼錯誤。

在絕大多數 shell 指令碼中,exit 0 表示執行成功,exit 1 表示發生錯誤。
對錯誤與錯誤碼進行一對一的對映,這樣有助於指令碼除錯。

命令:set -e 或者 set +e
set -e表示從當前位置開始,如果出現任何錯誤都將觸發exit。相反,set +e表示不管出現任何錯誤繼續執行指令碼。

如果指令碼是有狀態的(每個後續步驟都依賴前一個步驟),那麼請使用set -e,在指令碼出現錯誤時立即退出指令碼。
如果要求所有命令都要執行完(很少會這樣),那麼就使用set +e。

shell指令碼除錯

檢查是否有語法錯誤-n
bash -n script_name.sh
使用下面的命令來執行並除錯 Shell 指令碼-x
bash -x script_name.sh
除錯count_odd_number.sh 程式案例:

#!/usr/bin.env bash

# 用於計算陣列中奇數的和
# @author liyangyang
# @time 2019/09/17

sum=0
for num in 1 2 3 4;do
    re=${num}%2
    if (( ${re} == 1 ));then
        sum=$[${sum}+${num}]
    fi
done
echo ${sum}
  1. 首先檢查有無語法錯誤:
    bash -n count_odd_number.sh
  2. 沒有輸出,說明沒有錯誤,開始實際除錯:
    bash -x count_odd_number.sh
  3. 除錯結果如下:
+ sum=0
+ for num in 1 2 3 4
+ re=1%2
+ ((  1%2 == 1  ))
+ sum=1
+ for num in 1 2 3 4
+ re=2%2
+ ((  2%2 == 1  ))
+ for num in 1 2 3 4
+ re=3%2
+ ((  3%2 == 1  ))
+ sum=4
+ for num in 1 2 3 4
+ re=4%2
+ ((  4%2 == 1  ))
+ echo 4
4

其中的輸出顯示了程式執行的每一步,通過觀察程式執行的步驟是否滿足預期從而達到除錯的效果
帶有 + 表示的是 Shell 偵錯程式的輸出,不帶 + 表示程式的輸出。

案例:

這是es(ElasticSearch)官方啟動服務的指令碼,看可不可以理解吧~

#!/usr/bin/env bash

# CONTROLLING STARTUP:
#
# This script relies on a few environment variables to determine startup
# behavior, those variables are:
#
#   ES_PATH_CONF -- Path to config directory
#   ES_JAVA_OPTS -- External Java Opts on top of the defaults set
#
# Optionally, exact memory values can be set using the `ES_JAVA_OPTS`. Note that
# the Xms and Xmx lines in the JVM options file must be commented out. Example
# values are "512m", and "10g".
#
#   ES_JAVA_OPTS="-Xms8g -Xmx8g" ./bin/elasticsearch

source "`dirname "$0"`"/elasticsearch-env

parse_jvm_options() {
  if [ -f "$1" ]; then
    echo "`grep "^-" "$1" | tr '\n' ' '`"
  fi
}

ES_JVM_OPTIONS="$ES_PATH_CONF"/jvm.options

ES_JAVA_OPTS="`parse_jvm_options "$ES_JVM_OPTIONS"` $ES_JAVA_OPTS"

# manual parsing to find out, if process should be detached
if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

推薦閱讀:
Git-【技術乾貨】工作中Git的使用實踐
Git - 使用git不知道內部實現機制怎麼行

如果轉載此博文,請附上本文連結,謝謝合作~ :https://blog.csdn.net/CSDN___LYY/article/details/100584638

如果感覺這篇文章對您有所幫助,請點選一下“喜歡”或者“關注”博主,您的喜歡和關注將是我前進的最大動力!謝謝大家~

相關文章