Linux效能運維–三個Python小工具
|
為加快巡檢速度和知曉伺服器狀況,我使用了multiprocessing.dummy多執行緒、pampy模式匹配和一個elementUI元件,這些工具確能幫忙處理實際問題:
- 一行程式碼實現並行
- 原本二十多臺伺服器巡檢用 需3分鐘完成,用multiprocessing.dummy模組後只需十幾秒
- pampy模式匹配
搭配正則,匹配出2塊磁碟的使用率,方便前端頁面展示。資料是從真實伺服器上獲取的。
import re from pampy import match disk_usage = 'diskname: /dev/vda1 used: 35G nouse: 59G USAGE: 35.35% diskname: /dev/vdb1 used: 278G nouse: 190G USAGE: 56.39%' re_regular = re.compile('diskname: (/\\w+/\\w+).*USAGE: (.*)% diskname: (/\\w+/\\w+).*USAGE: (.*)%') m= match(disk_usage, re_regular, lambda a,b,c,d: b+','+d) print(m)
結果如下:35.35,56.39
匹配好後,這2個值很方便就能在前端頁面進行展示了
這是elementUI官網的進度條元件
這是使用它的效果:
下面詳細介紹這3點:
1. 一行程式碼實現並行
在某臺伺服器上做免金鑰登入,能直連到其它伺服器執行shell ,之前的巡檢是透過shell 執行的:
#登入不同的ip,依次執行/home/ssw/目錄下的檢查指令碼 for ip in `cat /home/ssw/iplist`;do ssh user@$ip "/bin/sh /home/ssw/weekly_check.sh";done
因為是序列執行,經常等到花兒都謝了。於是改用python去執行這些shell :cpu、記憶體、磁碟的檢查 都一樣,不同的服務只需定義一個字典,根據ip新增相關命令。再pool.map()一行實現多執行緒。
# -*- coding: utf-8 -*- import paramiko import json from datetime import datetime import traceback from pprint import pprint from multiprocessing.dummy import Pool as ThreadPool def weekly_check(ip): #基礎巡檢指標 cmds_dict = {'cpu_usage':'TIME_INTERVAL=5;LAST_CPU_INFO=$(cat /proc/stat | grep -w cpu | awk \'{print $2,$3,$4,$5,$6,$7,$8}\');LAST_SYS_IDLE=$(echo $LAST_CPU_INFO | awk \'{print $4}\');LAST_TOTAL_CPU_T=$(echo $LAST_CPU_INFO | awk \'{print $1+$2+$3+$4+$5+$6+$7}\');sleep ${TIME_INTERVAL};NEXT_CPU_INFO=$(cat /proc/stat | grep -w cpu | awk \'{print $2,$3,$4,$5,$6,$7,$8}\');NEXT_SYS_IDLE=$(echo $NEXT_CPU_INFO | awk \'{print $4}\');NEXT_TOTAL_CPU_T=$(echo $NEXT_CPU_INFO | awk \'{print $1+$2+$3+$4+$5+$6+$7}\');SYSTEM_IDLE=`echo ${NEXT_SYS_IDLE} ${LAST_SYS_IDLE} | awk \'{print $1-$2}\'`;TOTAL_TIME=`echo ${NEXT_TOTAL_CPU_T} ${LAST_TOTAL_CPU_T} | awk \'{print $1-$2}\'`;CPU_USAGE=`echo ${SYSTEM_IDLE} ${TOTAL_TIME} | awk \'{printf "%.2f", 100-$1/$2*100}\'`;echo ${CPU_USAGE}', 'mem_usage':'MEM_USAGE=`/usr/bin/free | awk \'/Mem/{printf("RAM Usage: %.2f%\\n"), $3/$2*100}\' | awk \'{print $3}\'`;echo ${MEM_USAGE}', 'disk_status':'DISK_STATUS=`df -h | grep "^/dev/vd" | awk \'{printf "diskname: %-10s used: %-5s nouse: %-5s USAGE: %.2f%\\n",$1,$3,$4,$3/$2*100}\'`;echo ${DISK_STATUS}', 'network': 'if ping -c 5 www.baidu.com &>/dev/null;then echo "Network: OK";else echo "Network: NOT OK";fi', 'boot_log': 'B=`cat /var/log/boot.log`;if [ "$B" = "" ];then echo "Bootlog: OK";else echo"Bootlog: NOT OK";fi', } if ip == '172.16.1.21': cmds_dict['mysql'] = 'mysql_pid=`ps -ef | grep mysql | grep -v grep | awk \'{print $2}\'`;if [ "${mysql_pid}" = "" ];then echo "Mysql_service: NOT OK";else echo "Mysql_service: OK! pid is ${mysql_pid}";fi' elif ip == '172.16.1.22': cmds_dict['es'] = 'es_pid=`ps -ef | grep elasticsearch | grep -v grep | awk \'{print $2}\'`;if [ "${es_pid}" = "" ];then echo "Es_service: NOT OK";else echo "Es_service: OK pid is ${es_pid}";fi' elif ip == '172.16.1.23': cmds_dict['redis_cluster'] = 'NUM=` ps -ef | grep redis | grep -v grep |awk \'{print $2}\' | wc -l`;echo "the running redis-cluster node is $NUM"' try: #建立ssh客戶端 client = paramiko.SSHClient() #免金鑰登入 private_key = paramiko.RSAKey.from_private_key_file('/home/ssw/.ssh/id_rsa') client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) client.connect( hostname=ip, username='ssw', port=22, pkey=private_key, timeout=30 ) #新建一個空字典儲存輸出結果 result = {} for k,v in cmds_dict.items(): stdin, stdout, stderr = client.exec_command(v) if not stderr.read(): result['ip'] = ip result[k] = stdout.read().decode('utf-8').strip() else: pass except Exception as e: pprint(ip+" error:"+str(e)) pprint(traceback.format_exc()) finally: client.close() return result if __name__ == '__main__': ip_list = ['172.16.1.21','172.16.1.22','172.16.1.23'] pool = ThreadPool(8) ret = pool.map(weekly_check,ip_list) pool.close() pool.join() #結果寫入excel with open('/home/ssw/game_server_%s.xlsx' % datetime.now().__format__('%m-%d'),'w') as f: f.write(json.dumps(ret))
有些伺服器有2塊磁碟,有些只有1塊,這是執行指令碼後輸出的部分資料,格式如下:
[{'cpu_usage': '11.67', 'disk_status': 'diskname: /dev/vda1 used: 35G nouse: 59G USAGE: 35.35% ' 'diskname: /dev/vdb1 used: 243G nouse: 225G USAGE: 49.29%', 'es': 'Es_service: OK pid is 20488', 'ip': '172.16.1.21', 'mem_usage': '27.13%', 'network': 'Network: OK'}, {'cpu_usage': '3.14', 'disk_status': 'diskname: /dev/vda1 used: 23G nouse: 445G USAGE: 4.67%', 'ip': '172.16.1.22', 'mem_usage': '12.86%', 'network': 'Network: OK', 'rabbitmq': 'Rabbitmq_service: OK pid is 1392'}, ]
2. 資料寫入mysql(用到pampy)
1)建立資料庫
create table weekly_check ( id int not null auto_increment, project varchar(30), ip varchar(30), cpu varchar(30), mem varchar(30), disk LONGTEXT, network varchar(60), vda1 varchar(20), vdb1 varchar(20), service LONGTEXT, create_time timestamp null default current_timestamp, primary key (id) );
2)寫入mysql
pampy在這裡的作用,主要是找出2塊磁碟的使用率,作為資料插入到"vda1","vdb1"欄位。
這樣資料庫就有了巡檢資料。
import json,pymysql import re from pampy import match, HEAD, TAIL, _ #前面巡檢的部分資料 data = [{'cpu_usage': '11.67', 'disk_status': 'diskname: /dev/vda1 used: 35G nouse: 59G USAGE: 35.35% ' 'diskname: /dev/vdb1 used: 243G nouse: 225G USAGE: 49.29%', 'es': 'Es_service: OK pid is 20488', 'ip': '172.16.1.21', 'mem_usage': '27.13%', 'network': 'Network: OK', 'service': {'boot_log': 'Bootlog: OK', 'front_service': 'Front_service: OK! pid is 16608', 'nodejs_service': 'nodejs_service: NOT OK'} }, {'cpu_usage': '3.14', 'disk_status': 'diskname: /dev/vda1 used: 23G nouse: 445G USAGE: 4.67%', 'ip': '172.16.1.22', 'mem_usage': '12.86%', 'network': 'Network: OK', 'rabbitmq': 'Rabbitmq_service: OK pid is 1392', 'service': {'mysql': 'mysql: OK'} } ] def conn_mysql(sql,value): dbparam = { 'host': '127.0.0.1', 'port': 3306, 'user': 'root', 'password': '1024', 'database': 'alerts', 'charset': 'utf8' } conn = pymysql.connect(**dbparam) cursor = conn.cursor() try: cursor.execute(sql,value) conn.commit() except Exception as e: print('入庫失敗', e) conn.rollback() finally: cursor.close() conn.close() for info in data: sql = "insert into weekly_check(project,ip,cpu,mem,disk,network,vda1,vdb1,service) values (%s, %s, %s, %s, %s, %s, %s, %s, %s)" disk_status = info['disk_status'] #多個“服務”用字串拼接,舉個?“nginx is ok”和"tomcat is ok" service = '' for k,v in info['service'].items(): # 多個“服務”用<br>換行符分割,前端可以識別它進行換行 service = service + v.split('pid')[0].strip() + '<br>' # 網路連線。主要是為了方便前端顯示,如果ok則直接顯示“正常” if info['network'] == 'Network: OK': info['network'] = '正常' else: info['network'] = '異常' # 磁碟字串長度大於60說明有2塊磁碟 if len(disk_status) > 60: #取出兩塊磁碟vda1,vdb1的使用率 re_regular = re.compile('diskname: (/\w+/\w+).*USAGE: (.*)% diskname: (/\w+/\w+).*USAGE: (.*)%') m = match(disk_status, re_regular, lambda a,b,c,d: b+','+d) vda1,vdb1 = m.split(',') disk_status = info['disk_status'] #去掉第一個USAGE disk_status = re.sub('USAGE: .*% ', '', disk_status) # 去掉第二個USAGE disk_status = re.sub(' USAGE: .*%', '', disk_status) #去掉第一個diskname,第二個diskname替換為換行符<br> disk_status = disk_status.replace('diskname: ', '', 1).replace(' diskname: ', '<br><br>') conn_mysql(sql, ('遊戲',info['ip'], info['cpu_usage'], info['mem_usage'].strip('%'),\ disk_status,info['network'],vda1,vdb1,service)) else: #只有一塊磁碟vda1 re_regular = re.compile('diskname: (/\w+/\w+).*USAGE: (.*)%') m = match(disk_status, re_regular, lambda a,b: b) conn_mysql(sql, ('遊戲',info['ip'], info['cpu_usage'], info['mem_usage'].strip('%'), info['disk_status'],info['network'],m,'無',service))
3、vue展示記憶體百分比
el-progress元件,使用率小於50%顯示綠色,50%~75%顯示橙色。
<span v-if="item.prop === 'mem'"><el-progress :text-inside="true" :stroke-width="13" :percentage="scope.row[item.prop]" status="success" v-if="scope.row[item.prop] < 50"> </el-progress> </span> <span v-if="item.prop === 'mem'"><el-progress :text-inside="true" :stroke-width="13" :percentage="scope.row[item.prop]" status="warning" v-if="scope.row[item.prop] >= 50 && scope.row[item.prop] < 75"> </el-progress> </span>
小結
很多模組和工具開箱即用,是節省時間的利器,可以用它搭個便車。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69901823/viewspace-2918596/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Linux下效能除錯工具運維筆記Linux除錯運維筆記
- 前端效能優化的三個維度前端優化
- Linux運維可以自學嗎?Linux運維技術Linux運維
- 【IT運維】Linux運維需要掌握哪些技能?運維Linux
- 全新Linux+Python高階運維班第三次作業LinuxPython運維
- 【Linux運維教程】Linux命令面試的簡答題(三)!Linux運維面試
- 推薦5個常用Linux運維命令Linux運維
- 介紹兩個Linux下 硬體效能測試小工具(open)Linux
- Linux運維命令重要嗎?運維入門Linux運維
- Linux運維之道Linux運維
- Redis效能分析和運維工具Redis運維
- 想要學Linux運維怎麼辦?Linux運維入門Linux運維
- Linux運維常用的20個命令彙總!Linux運維
- Linux運維是一個怎樣的工作?運維崗位分為幾類?Linux運維
- Linux運維常用命令有哪些?Linux學習教程(三)Linux運維
- 轉行Linux運維需要學習嗎?學習Linux運維Linux運維
- 自學linux運維改怎麼學習Linux運維技術?Linux運維
- 成為Linux運維要了解什麼?linux運維技術Linux運維
- Python 運維總結Python運維
- Linux運維前景如何?Linux運維
- 分享一個提高運維效率的 Python 指令碼運維Python指令碼
- Python自動化運維之psutil系統效能資訊模組Python運維
- Linux 運維必備的 40 個命令總結Linux運維
- 34 個 常用 Linux Shell 指令碼,運維必備!Linux指令碼運維
- Linux 運維必備 150 個命令彙總Linux運維
- 高效能運算&CUDA | 使用numba對三維矩陣在gpu上進行運算矩陣GPU
- Linux運維是什麼?Linux運維行業發展前景如何?Linux運維行業
- Linux運維新手如何快速入門?這三點很重要!Linux運維
- 三個開發中常用的小工具
- 每個運維人員應該知道的 10 個 Linux 命令!運維Linux
- linux 運維 命令 + 運維需要掌握些什麼東西Linux運維
- 運維每天都做什麼工作呢?Linux運維學習運維Linux
- Linux運維都需要做什麼?0基礎Linux運維學習Linux運維
- 零基礎怎麼學Linux運維?學習Linux運維有Linux運維
- Linux系統運維面試題,Linux運維經典面試題講解Linux運維面試題
- linux運維需要掌握什麼知識?linux運維學習路線Linux運維
- linux運維學習路線,linux運維需要掌握什麼知識?Linux運維
- Linux運維pwd命令有什麼用途?linux運維主要做什麼Linux運維