Python監控線上異常圖片地址自動告警!有省了一筆人力資源

爬遍天下無敵手發表於2020-11-11

場景描述

	=> 	騰訊線上文件維護監控的圖片資訊列表   
	=>	匯出excel
	=>	解析excel 
	=> 	遍歷爬取資料校對 
	=> 	如果存在異常則傳送郵件  
	=>	定期檢查 

 

圖片示例

具體實現

0.0 全域性引數維護到config

1.0 騰訊文件的登陸、下載

1.1 登陸:

主要涉及到chromedriver模組的引用,然後就是常規的dom查詢操作。
裡面有一點需要注意, 騰訊的登陸框內部是一個iframe去巢狀的,dom查詢會不存在賬號、密碼的輸入框,
這裡需要driver去switch_to_frame去聚焦到iframe再執行內部的dom查詢,填值。
123

1.2 下載:

按官網的操作流程, 聚焦【更多】按鈕, 然後移入【匯出為】下拉選單,然後觸發到【匯出excel】的按鈕點選。
主要涉及到一個懸浮滑鼠操作採用
from selenium.webdriver.common.action_chains import ActionChains
這個庫解決懸浮觸發問題
1234

2.0 excel的解析

解析excel需要用到openpyxl這個外掛, 然後把結果彙總到新的list裡面
1

3.0 批量爬取校驗資訊

採用urllib3這個庫去實現大量爬取資料的功能, 比對爬蟲網站的圖片資訊,並收集比對異常。
1

4.0 傳送郵件

4.1 smtp郵件開通

郵箱預設不開啟smtp的功能, 需要通知的使用者,需要手動開通smtp的功能。參考QQ郵箱smtp開通
1

4.2 smtplib

採用smtplib這個類庫去傳送郵件
1

5.0定期檢查

可採用類庫sched去實現定時任務
也可自制內部迴圈解決定期呼叫問題

PS:如有需要Python學習資料的小夥伴可以加點選下方連結自行獲取

github地址:python免費學習資料以及群交流解答點選即可加入

相關文章