Shell第三篇：基本語法

一 什麼是shell script

　　將OS命令堆積到可執行的檔案裡,由上至下的順序執行文字里的OS命令 就是指令碼了.
　　再加上些智慧(條件/流控)控制,就變成了智慧化指令碼了.

二 變數

part1 為何要有變數

程式的執行就是一些列狀態的變數->用變數值的變化去表示

part2 變數命名規則

以字母或下劃線開頭，剩下的部分可以是：字母、數字、下劃線.

最好遵循下述規範：

1.以字母開頭
2.使用中劃線或者下劃線做單詞的連線
3.同型別的用數字區分
4.對於檔案最好加上擴充名
例如: sql_bak.tar.gz,log_bak.tar.bz2 

part3 系統變數

set 和 env區別
set:顯示所有變數
env:環境變數

part4 變數賦值

VARNAME=VALUE
echo $VARNAME
刪除變數 unset VARNAME

part5 常用系統變數

PATH
PWD
LANG
HOME
HISTSIZE
PS1
IFS
域分隔符 是空格,換行,TAB鍵的合集

part6 全域性變數與區域性變數

[root@MiWiFi-R3-srv ~]# gender='male' #在爹這個位置定義一個區域性變數gender
[root@MiWiFi-R3-srv ~]# export money=1000 #在爹這個位置定義一個全域性變數money
[root@MiWiFi-R3-srv ~]#
[root@MiWiFi-R3-srv ~]#
[root@MiWiFi-R3-srv ~]# bash #切換到子bash
[root@MiWiFi-R3-srv ~]# echo $gender #在兒子這裡看它爹的區域性變數gender，結果為空->看不到

[root@MiWiFi-R3-srv ~]# echo $money #在兒子這裡看它爹的全域性變數money，可以看到
1000
[root@MiWiFi-R3-srv ~]#
[root@MiWiFi-R3-srv ~]# export hobby='piao' #在兒子這裡定義一個全域性變數hobby
[root@MiWiFi-R3-srv ~]# exit #退出，進入爹的bash環境
exit
[root@MiWiFi-R3-srv ~]# echo $hobby #爹是看不到兒子的export的，兒子的兒子可以看到

[root@MiWiFi-R3-srv ~]#

part6 定義變數名的邊界

[root@MiWiFi-R3-srv ~]# rest_mem=20
[root@MiWiFi-R3-srv ~]# echo ${rest_mem}%
20%

part 7 資料型別

bash中的變數無須宣告,拿來就用.預設的變數都會是字元型別，還可以有數字型別，普通的指令碼，這兩種型別夠用了

三 運算子

part1 算術運算子

+

-

*

/

%

[root@MiWiFi-R3-srv ~]# echo $[3+1]
4

part2 關係操作

與(（）)連用

<

>

<=

>=

==

!=

&&

||

test命令相關，[]可以達到一樣的效果
[root@MiWiFi-R3-srv ~]# x=1
[root@MiWiFi-R3-srv ~]# [ $x -gt 1 ]
[root@MiWiFi-R3-srv ~]# echo $?
0

part3 賦值運算子

=

+=

*=

/=

%=

[root@MiWiFi-R3-srv ~]# x=10
[root@MiWiFi-R3-srv ~]# ((x%3))
[root@MiWiFi-R3-srv ~]# echo $x
10
[root@MiWiFi-R3-srv ~]#
[root@MiWiFi-R3-srv ~]# ((x%=3))
[root@MiWiFi-R3-srv ~]# echo $x
1

part4 shell裡的所有計算器
$[] (()) $(()) expr bc bc -l

浮點運算：yum install bc -y

[root@MiWiFi-R3-srv ~]# echo 'scale=2;1/3'|bc -l
.33

part5 測試操作

命令執行後會返回到一個系統變數中 $?
如果$?值為0 表示命令執行成功 否則為失敗


測試命令 test [ ] [[ ]] (( ))
開啟man test 逐一介紹每個引數
part5-1、測試檔案狀態
-d 目錄
-s 檔案長度 > 0、非空
-f 正規檔案
-w 可寫

-r 可讀

-x 可執行

-L 符號連線

-u 檔案有 suid 位設定

part5-2、字串測試
= 兩個字串相等
!= 兩個字串不相等
-z 空串
-n 非空串

[root@MiWiFi-R3-srv ~]# var1='abc'
[root@MiWiFi-R3-srv ~]# var2='123'
[root@MiWiFi-R3-srv ~]# [ $var1 == $var2 ]
[root@MiWiFi-R3-srv ~]# echo $?
1

part5-3、測試數值
-eq 等於
-ne 不等於
-gt 大於
-lt 小於
-ge 大於等於
-le 小於等於

[root@MiWiFi-R3-srv ~]# [ 10000 -gt 250 ] #不要使用大於號小於號等於號等，要使用man test中規定的，詳見下一小節4擴充
[root@MiWiFi-R3-srv ~]# echo $?
0

part5-4、擴充測試符號 [[ ]] (())
數字測試符號
# [ 10 < 2 ] # 語法錯誤
-bash: 2: 沒有那個檔案或目錄
#

# [[ 2 > 10 ]] # 結果錯誤
# echo $?
0
# [[ 20 > 10 ]] # 正確
# echo $?
0
# (( 10 < 20 ))
# echo $?
0

字元測試
# [ "aa" = "aa" ]
# echo $?
0
# [[ "aa" = "aa" ]]
# echo $?
0
# (( "aa" = "aa" )) #結果錯誤
# echo $?
1
混合測試
# [ a = a -a 10 < 20 ]
-bash: 20: 沒有那個檔案或目錄
[root@seker ~]# [[ a = a -a 10 < 20 ]]
-bash: syntax error in conditional expression
-bash: syntax error near `-a'
[root@seker ~]# [[ a = a && 10 < 20 ]]
[root@seker ~]# echo $?
0
[root@seker ~]# [[ a = a || 10 < 20 ]]
[root@seker ~]# echo $?
0
[root@seker ~]# (( a = a || 10 < 20 ))
[root@seker ~]# echo $?
0
[root@seker ~]# (( a = a && 10 < 20 ))
[root@seker ~]# echo $?
0
[root@seker ~]#
結論:
比較數字,使用(( ))
其他測試使用 [[ ]]
包含數字比較的混合測試,使用[[ expr1 && expr2 ]] (( expr1 || expr2 ))

兩個檔案的比較
FILE1 -ef FILE2
測試兩個檔案是否是相同的inode
有時為了找到同一個INODE號的檔案 更傾向於使用 find 命令的 -inum 或 --samefile

FILE1 -nt FILE2
FILE1 is newer (modification date) than FILE2

FILE1 -ot FILE2
FILE1 is older than FILE2

四 流程控制

part1分支結構

#!/bin/bash
var='/etc/init.d'
#var='/dev/sda'
if [ -d $var ]
    then
        echo "$var is directory"
elif [ -b $var ]
    then
        echo "$var is block"
elif [ -f $var ]
    then
        echo "$var is regular file"
else
        echo 'unknow'
fi

 

if 測試中還可以執行命令 根據命令的返回值做判斷
# if cd / ;then echo Y ;fi
# if grep -q root /etc/passwd ;then echo Y ;fi

#!/bin/bash
username='egon'
password='123'
read -p 'user: ' name 
read -p 'passwd: ' passwd

if [ $name = $username -a $passwd = $password ];then
    echo 'login successful'
else
    echo 'username or password err'
fi

#!/bin/bash
age=87
read -p 'num: ' n

if [ $n -eq $age ];then
    echo 'you get it'
elif [ $n -gt $age ];then
    echo 'too big'
elif [ $n -lt $age ];then
    echo 'too small'
fi

#!/bin/bash
read -p 'your score: ' score

if [ $score -ge 90  ];then
    echo '優秀'
elif [ $score -ge 70 -a $score -lt 90 ];then
    echo '良好'
elif [ $score -ge 60 -a $score -lt 70 ];then
    echo '一般'
elif [ $score -lt 60 ];then
    echo '較差'
fi

 

 

向指令碼傳遞引數

#test.sh
echo $0
echo $1
echo $2
echo $3
echo ${11}
echo '$$' $$
echo '$*' $*
echo '$@' $@
echo '$#' $#
echo '$?' $?

'''
測試：python test.sh 1 2 3 4 5 6 7 8 9 10 11
輸出結果：
./test.sh
1
2
3
11
$$ 14312
$* 1 2 3 4 5 6 7 8 9 10 11
$@ 1 2 3 4 5 6 7 8 9 10 11
$# 11
$? 0
'''

 

修改指令碼，使其能接收呼叫者傳來的引數

[root@MiWiFi-R3-srv ~]# cat test_file.sh 
#!/bin/bash
if [ -d $1 ]
    then
        echo "$1 is directory"
elif [ -b $1 ]
    then
        echo "$1 is block"
elif [ -f $1 ]
    then
        echo "$1 is regular file"
else
        echo 'unknown'
fi
[root@MiWiFi-R3-srv ~]# ./test_file.sh /etc/passwd
/etc/passwd is regular file

 

part2 迴圈結構

 

part2-1 while迴圈

while (條件)

do
動作
done

需要無限迴圈時我們會選擇while :

[root@MiWiFi-R3-srv ~]# cat login.sh 
#!/bin/bashwhile :
do
    read -p 'please input your name: ' name
    read -p 'please input your password: ' pwd
    if [ $name = 'egon' ] && [ $pwd = '123' ]
        then
            echo 'login sucessful'
            break #continue
    fi
done
[root@MiWiFi-R3-srv ~]# ./login.sh 
please input your name: egon
please input your password: 123
login sucessful

 

[root@MiWiFi-R3-srv ~]# cat 1.sh 
#!/bin/bash
i=1
while ((i<10))
do
    echo $i
    ((i++))
done
[root@MiWiFi-R3-srv ~]# ./1.sh 
1
2
3
4
5
6
7
8
9

 

 

練習:
1.while死迴圈

[root@MiWiFi-R3-srv ~]# cat 1.sh 
#!/bin/bash

var1=AAA
var2=BBB
var3=CCC
while :
do
    clear
    echo -e "A:${var1}\nB:${var2}\nC:${var3}"
    temp=$var1
    var1=$var2
    var2=$var3
    var3=$temp
    sleep 1
done

 

2.wihle和read實現逐行處理

[root@MiWiFi-R3-srv ~]# cat 1.sh 
#!/bin/bash
while read var
do
    echo $((++i)):$var
done</etc/passwd


[root@MiWiFi-R3-srv ~]# ./1.sh 
1:root:x:0:0:root:/root:/bin/bash
2:bin:x:1:1:bin:/bin:/sbin/nologin
3:daemon:x:2:2:daemon:/sbin:/sbin/nologin
4:adm:x:3:4:adm:/var/adm:/sbin/nologin
...........

 

part2-2 for迴圈

C語言格式的for

for ((i=1;i<=10;i++))
do
echo $i
done

 

shell格式的for

for i in {1..10}
do
echo $i
done

 

 

shell的for,常用in列表方式

for i in 1 2 3
for i in {1,2,3}
for i in {1..9}
for i in {9..1}
for i in {a..z}
for i in {A..Z}
for i in {X..Z}
for i in $(cmd)
for i in $(find ...)

 

 

小例子

    檢查內網存活的IP
    #!/bin/bash

    for i in {1..254}
    do
            (ping -W 1 -c 1 192.168.1.$i &> /dev/null && echo 192.168.1.$i) &
    done
    
    
    讓檔案測試指令碼支援多個引數
    #!/bin/bash
    
    for i in $@
    do
      if [[ -d $i ]]
      then
        echo "$i is directory."
      elif [[ -b $i  ]]
      then
        echo "$i is block device."
      elif [[ -f $i ]]
      then
        echo "$i is a regular file."
      else
        echo "unknow."
      fi
    done

 

 

多個for巢狀
巢狀for中使用

continue：預設退出本次迴圈

break：預設退出本層迴圈

使用break：
break 預設引數是 1 
所以寫 break 等於 break 1
意義:退出當前迴圈層
break 2 則向上退出2層迴圈 當前迴圈也計算在退出層次裡

for i in {1..9}
do
for j in {0..9} 
do
for n in {0..9}
do
echo $i$j$n
if ((n==5))
then
break 3
fi
done
done
done


使用continue
continue = continue 1
在當次迴圈中忽略continue後續的程式碼
就是:立即結束當前迴圈中的當次迴圈,而轉入當前迴圈的下一次迴圈

continue 2 = break 1
continue 3 = break 2
....
依次類推

for i in {1..9}
do
for j in {0..9}
do
for n in {0..9}
do
echo $i$j$n
if ((n==5))
then
continue
echo "-----------------------------"
fi
done
done
done

 

 

可以直接在命令列寫for迴圈

# for i in {1..10};do [ $i -eq 5 ] && continue || echo $i;done
# for i in {1..10};do [ $i -eq 5 ] && break || echo $i;done

 

練習:
統計/dev下每種型別檔案的數量

#!/bin/bash
dir='/dev'
for i in `ls $dir`
do
    if [ -b $dir/$i ]
    then
        ((block++))
    elif [ -f $dir/$i ]
    then
        ((file++))
         
    elif [ -d $dir/$i ]
    then
        ((directory++))
    else
        ((unkown++))
    fi
done

echo 'block' $block
echo 'regular file' $file
echo 'directory' $directory
echo 'unkown' $unkown

 

向指令碼傳遞一個使用者名稱,驗證這個使用者是否存在.

[root@MiWiFi-R3-srv ~]# cat testuser.sh 
#!/bin/bash
id $1 &> /dev/null
if [ $? -eq 0 ];then
    echo "使用者$1存在"
else
    echo "使用者$1不存在"
fi
[root@MiWiFi-R3-srv ~]# ./testuser.sh root
使用者root存在

新增30個使用者,再將它們刪除

for i in {1..30};
do
    useradd user$i&&echo "user$i create successful"
done


for i in {1..30};
do
    userdel -r user$i&&echo "user$i delete successful"
done

 

part2-3 case語句

read -p "username: " -t 5 uname
echo
if [[ -z $uname ]]
then
uname=default
fi

case $uname in
root)
echo "welcome $uname"
;;
seker)
echo "welcome $uname"
;;
default)
echo "welcome $uname"
;;
*)
echo "no user $uname"
esac

part2-4 綜合到一起，製作一個簡單的選單功能

#!/bin/bash
echo "script name: `basename $0`"
echo "version 1.0"
echo "date 2017-03-23"
echo "Author: biubiu"
while read -p "(h for help): " var
do
    case $var in 
        p|P|cpu|CPU)
            echo -e "\n\n"
            grep 'model name\|cpu MHz\|processor' /proc/cpuinfo |sort |uniq
            echo -e "\n\n"
        ;;
        m|m|mem|MEM)
            echo -e "\n\n"
            free
            echo -e "\n\n"
        ;;
        d|D|disk|DISK)
            echo -e "\n\n"
            df -Th
            echo -e "\n\n"
        ;;
        h|H|help|HELP)
            echo -e "\n\tcommand\taction\n\n"
            for i in cpu mem disk
            do
            echo -e "\t$i\t${i}_info"
            done
            echo -e "\thelp\tthis help page.."
            echo -e "\tquit\texit !!.."
            echo -e "\n\n"
        ;;
        q|Q|quit|exit)
            exit
        ;;
        *)
            echo -e "\n$var Enter Error...\n"
    esac
done

 

part2-5 選看內容

# cat select.sh 
#!/bin/bash

PS3='choose one: ' #select 預設使用PS3做提示符
echo
select var in $(for i in {A..D};do echo $i;done)
do
echo
echo "your choose is $var"
echo "OK"
echo
break # 跳出select,否則是死迴圈
done
# 
# ./select.sh

1) A
2) B
3) C
4) D
choose one: 3

your choose is C
OK

#
若省略 in list 則把 $@ 做列表項
# cat select.sh 
#!/bin/bash

PS3='choose one: '
echo
select var 
do
echo
echo "your choose is $var"
echo "OK"
echo
break
done
#
# ./select.sh A B C D

1) A
2) B
3) C
4) D
choose one: C

your choose is 
OK

五 函式

互動shell中的函式
function abc(){ echo 'aaa';echo 'bbbb'; }

set 檢視

呼叫 abc
[root@seker ~]# abc
aaa
bbbb
[root@seker ~]#

指令碼中的函式

1.函式定義
shell允許將一組命令集或語句形成一個可用塊，這些塊稱為shell函式
定義函式的格式：

function-name (){
command1
........
}
或 function function-name(){ #函式名前面多了個function關鍵字
command1
........
}
2.函式呼叫
以下是一個函式的指令碼例項：
#!/bin/bash
#hello
function hello(){ #宣告函式
echo "Hello!" #函式的主體，輸出"Hello!"
} #函式結束
hello #呼叫函式
3.引數傳遞
向函式傳遞引數就像在指令碼是使用變數位置$1,$2,$3...$9
以下是一個傳遞引數的例項：
#!/bin/bash
#hellofun
function hello(){
echo "Hello! The first parameter is '$1'."
}
hello good
#該指令碼執行的結果是: Hello! The first parameter is 'good'.
4.函式檔案
儲存函式的檔案，用以上的例子寫成一個函式檔案如下：
#!/bin/bash
#hellofunction
function hello(){
echo "Hello!"
return 1
}
上面的hellofunction檔案就是一個函式檔案，可通過另一個指令碼來呼叫
#!/bin/bash
#hellof
. hellofunction #注意點和hellofunction之間有個空格
hello
5.載入和刪除
用set檢視已載入的函式
用unset function-name 取消載入
舉例如下：
#!/bin/bash
#hellof
. hellofunction
unset hello
hello #因為已經取消載入。。所以會出錯
6.函式返回狀態
#!/bin/bash
#hellofun
function hello(){
echo "Hello! The first parameter is '$1'."
return 1
}
hello
echo $? #輸出返回的狀態值（一般成功是返回0，其它值為失敗）

六 計劃任務crontab

http://www.cnblogs.com/linhaifeng/articles/6045600.html#_label21

七 補充：傳送郵件

發件箱：python4_mail@163.com alex3714  自定義客戶端登入帳號和密碼分別為：python4_mail@163.com sbalex3714

收件箱：python4_recvmail@163.com alex371

 

python通過SMTP傳送郵件失敗：
錯誤1：smtplib.SMTPAuthenticationError: (550, b‘User has no permission‘)
    我們使用python傳送郵件時相當於自定義客戶端根據使用者名稱和密碼登入，然後使用SMTP服務傳送郵件，新註冊的163郵箱是預設不開啟客戶端授權的（對指定的郵箱大師客戶端預設開啟），因此登入總是被拒絕，解決辦法（以163郵箱為例）：進入163郵箱-設定-客戶端授權密碼-開啟（授權碼是用於登入第三方郵件客戶端的專用密碼）
錯誤2：smtplib.SMTPAuthenticationError: (535, b‘Error: authentication failed‘)
　　以163郵箱為例，在開啟POP3/SMTP服務，並開啟客戶端授權密碼時會設定授權碼，將這個授權碼代替smtplib.SMTP().login(user,password)方法中的password即可。

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import smtplib
import email.mime.multipart
import email.mime.text

msg = email.mime.multipart.MIMEMultipart()

msg['Subject'] = '你是風兒我是沙，纏纏綿綿回我家'
msg['From'] = 'python4_mail@163.com'
msg['To'] = 'python4_recvmail@163.com'
content = '''
    來來來，一起搖擺

'''
txt = email.mime.text.MIMEText(content,_charset='utf-8')
msg.attach(txt)

smtp = smtplib.SMTP()
smtp.connect('smtp.163.com', '25')
smtp.login('python4_mail', 'sbalex3714')
smtp.sendmail('python4_mail@163.com', 'python4_recvmail@163.com', msg.as_string())
smtp.quit()
print('郵件傳送成功email has send out !')

 

 

練習1：監控主機的cpu，記憶體，磁碟，超過閾值則傳送報警郵件

步驟一：準備傳送郵件的工具

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import sys
import smtplib
import email.mime.multipart
import email.mime.text

server = 'smtp.163.com'
port = '25'

def sendmail(server,port,user,pwd,msg):
    smtp = smtplib.SMTP()
    smtp.connect(server,port)
    smtp.login(user, pwd)
    smtp.sendmail(msg['from'], msg['to'], msg.as_string())
    smtp.quit()
    print('郵件傳送成功email has send out !')


if __name__ == '__main__':
    msg = email.mime.multipart.MIMEMultipart()
    msg['Subject'] = '你是風兒我是沙，纏纏綿綿回我家'
    msg['From'] = 'python4_mail@163.com'
    msg['To'] = 'python4_recvmail@163.com'
    user = 'python4_mail'
    pwd = 'sbalex3714'
    content='%s\n%s' %('\n'.join(sys.argv[1:4]),' '.join(sys.argv[4:])) #格式處理，專門針對我們的郵件格式

    txt = email.mime.text.MIMEText(content, _charset='utf-8')
    msg.attach(txt)

    sendmail(server,port,user,pwd,msg)
                                    

步驟二：將上述檔案內容拷貝到/usr/bin/mail並chmod+x /usr/bin/mail

步驟三：然後新建監控指令碼servermonitor.sh

#!/bin/bash
cpu_limit=0 #cpu使用超過90%則報警,此處我們為了得到報警郵件的實驗效果，直接設定成0
mem_limit=0 #記憶體使用超過90%則報警，同上
disk='/dev/sda1' #需要監控的磁碟名
disk_inode_limit=0 #磁碟inode使用超過90%則報警，同上
disk_space_limit=0 #磁碟空間使用超過90%則報警，同上

function monitor_cpu(){
    cpu_free=`vmstat 1 5 |awk 'NR>=3{x = x + $15} END {print x/5}' |awk -F. '{print $1}'`
    cpu_use=$((100-cpu_free))
    if [ $cpu_use -gt $cpu_limit ]
        then
            msg="TIME:$(date +%F_%T)
                 HOSTNAME:$(hostname)
                 IPADDR:$(ifconfig |awk 'NR==2{print $2}')
                 MSG:CPU usage exceeds the limit,current value is ${cpu_use}%"
            echo $msg
            /usr/bin/mail $msg
    fi
}

function monitor_mem(){
    mem_total=`free |awk 'NR==2{print $2}'`
    mem_use=`free |awk 'NR==2{print $3}'`
    mem_per=`echo "scale=2;$mem_use/$mem_total" |bc -l|cut -d. -f2`
    if [ $mem_per -gt $mem_limit ]
        then
            msg="TIME:$(date +%F_%T)
                 HOSTNAME:$(hostname)
                 IPADDR:$(ifconfig |awk 'NR==2{print $2}')
                 MSG:Memory usage exceeds the limit,current value is ${mem_per}%"
            echo $msg
            /usr/bin/mail $msg
    fi
}

function monitor_disk_inode(){
    inode_use=`df -i $disk |awk 'NR==2{print $5}' |cut -d% -f1`
    if [ $inode_use -gt $disk_inode_limit ]
        then
            msg="TIME:$(date +%F_%T)
                 HOSTNAME:$(hostname)
                 IPADDR:$(ifconfig |awk 'NR==2{print $2}')
                 MSG:Disk inode usage exceeds the limit,current value is ${inode_use}%"
            echo $msg
            /usr/bin/mail $msg
    fi
}

function monitor_disk_space(){
    space_use=`df $disk |awk 'NR==2{print $5}'|cut -d% -f1`
    if [ $space_use -gt $disk_space_limit ]
        then
            msg="TIME:$(date +%F_%T)
                 HOSTNAME:$(hostname)
                 IPADDR:$(ifconfig |awk 'NR==2{print $2}')
                 MSG:Disk space usage exceeds the limit,current value is ${space_use}%"
            echo $msg
            /usr/bin/mail $msg
    fi
}

monitor_cpu &>> /tmp/monitor.log
monitor_mem &>> /tmp/monitor.log
monitor_disk_inode &>> /tmp/monitor.log
monitor_disk_space &>> /tmp/monitor.log

 

步驟四：編寫計劃任務

 

* * * * * /root/servermonitor.sh

結果：收到的報警郵件形式為（傳送郵件會受主機名解析，163郵箱自動遮蔽等方面的影響，因而測試時最好是基於自己搭建的郵箱）

 

 

ps:伺服器收到的報警郵件如下（zabbix監控）

 

 

 

練習2：編寫自動部署指令碼 

安裝指令碼的寫法就很簡單了，難點應該是在修改配置檔案

[root@www tmp]# msg='upstream { server 1.1.1.1;server 2.2.2.2;server 3.3.3.3}'
[root@www tmp]# sed -ri "/^http/a $msg" nginx.conf #增加upstream

 

 

[root@www tmp]# sed -ri "/^ *location \/ \{$/a proxy_pass http://my_upstream\;" nginx.conf  #修改localtion