python常用模組補充hashlib configparser logging，subprocess模組

一、hashlib模板

Python的hashlib提供了常見的摘要演算法，如MD5，SHA1等等。

什麼是摘要演算法呢？摘要演算法又稱雜湊演算法、雜湊演算法。它通過一個函式，把任意長度的資料轉換為一個長度固定的資料串（通常用16進位制的字串表示）。

摘要演算法就是通過摘要函式f()對任意長度的資料data計算出固定長度的摘要digest，目的是為了發現原始資料是否被人篡改過。

摘要演算法之所以能指出資料是否被篡改過，就是因為摘要函式是一個單向函式，計算f(data)很容易，但通過digest反推data卻非常困難。而且，對原始資料做一個bit的修改，都會導致計算出的摘要完全不同。

我們以常見的摘要演算法MD5為例，計算出一個字串的MD5值：

import hashlib
 
md5 = hashlib.md5()
md5.update('how to use md5 in python hashlib?')
print md5.hexdigest()

計算結果如下：
d26a53750bc40b38b65a520292f69306

如果資料量很大，可以分塊多次呼叫update()，最後計算的結果是一樣的：

md5 = hashlib.md5()
md5.update('how to use md5 in ')
md5.update('python hashlib?')
print md5.hexdigest()

import hashlib
user="ctz"
pwd="492745473"
md5=hashlib.md5(user.encode("utf-8"))
md5.update(pwd.encode("utf-8"))
print(md5.hexdigest())

MD5是最常見的摘要演算法，速度很快，生成結果是固定的128 bit位元組，通常用一個32位的16進位制字串表示。另一種常見的摘要演算法是SHA1，呼叫SHA1和呼叫MD5完全類似：

import hashlib
 
sha1 = hashlib.sha1()
sha1.update('how to use sha1 in ')
sha1.update('python hashlib?')
print sha1.hexdigest()

SHA1的結果是160 bit位元組，通常用一個40位的16進位制字串表示。比SHA1更安全的演算法是SHA256和SHA512，不過越安全的演算法越慢，而且摘要長度更長。

摘要演算法應用

任何允許使用者登入的網站都會儲存使用者登入的使用者名稱和口令。如何儲存使用者名稱和口令呢？方法是存到資料庫表中：

name    | password
--------+----------
michael | 123456
bob     | abc999
alice   | alice2008

如果以明文儲存使用者口令，如果資料庫洩露，所有使用者的口令就落入黑客的手裡。此外，網站運維人員是可以訪問資料庫的，也就是能獲取到所有使用者的口令。正確的儲存口令的方式是不儲存使用者的明文口令，而是儲存使用者口令的摘要，比如MD5：

username | password
---------+---------------------------------
michael  | e10adc3949ba59abbe56e057f20f883e
bob      | 878ef96e86145580c38c87f0410ad153
alice    | 99b1c2188db85afee403b1536010c2c9

考慮這麼個情況，很多使用者喜歡用123456，888888，password這些簡單的口令，於是，黑客可以事先計算出這些常用口令的MD5值，得到一個反推表：

'e10adc3949ba59abbe56e057f20f883e': '123456'
'21218cca77804d2ba1922c33e0151105': '888888'
'5f4dcc3b5aa765d61d8327deb882cf99': 'password'

這樣，無需破解，只需要對比資料庫的MD5，黑客就獲得了使用常用口令的使用者賬號。

對於使用者來講，當然不要使用過於簡單的口令。但是，我們能否在程式設計上對簡單口令加強保護呢？

由於常用口令的MD5值很容易被計算出來，所以，要確儲存儲的使用者口令不是那些已經被計算出來的常用口令的MD5，這一方法通過對原始口令加一個複雜字串來實現，俗稱“加鹽”：

hashlib.md5("salt".encode("utf8"))

經過Salt處理的MD5口令，只要Salt不被黑客知道，即使使用者輸入簡單口令，也很難通過MD5反推明文口令。

但是如果有兩個使用者都使用了相同的簡單口令比如123456，在資料庫中，將儲存兩條相同的MD5值，這說明這兩個使用者的口令是一樣的。有沒有辦法讓使用相同口令的使用者儲存不同的MD5呢？

如果假定使用者無法修改登入名，就可以通過把登入名作為Salt的一部分來計算MD5，從而實現相同口令的使用者也儲存不同的MD5。

摘要演算法在很多地方都有廣泛的應用。要注意摘要演算法不是加密演算法，不能用於加密（因為無法通過摘要反推明文），只能用於防篡改，但是它的單向計算特性決定了可以在不儲存明文口令的情況下驗證使用者口令。

 

二、configparser模組

該模組適用於配置檔案的格式與windows ini檔案類似，可以包含一個或多個節（section），每個節可以有多個引數（鍵=值）。

建立檔案

來看一個好多軟體的常見文件格式如下：

 

[DEFAULT]
ServerAliveInterval = 45
Compression = yes
CompressionLevel = 9
ForwardX11 = yes
  
[bitbucket.org]
User = hg
  
[topsecret.server.com]
Port = 50022
ForwardX11 = no

如果想用python生成一個這樣的文件怎麼做呢？

import configparser

config = configparser.ConfigParser()

config["DEFAULT"] = {'ServerAliveInterval': '45',
                      'Compression': 'yes',
                     'CompressionLevel': '9',
                     'ForwardX11':'yes'
                     }

config['bitbucket.org'] = {'User':'hg'}

config['topsecret.server.com'] = {'Host Port':'50022','ForwardX11':'no'}

with open('example.ini', 'w') as configfile:

   config.write(configfile)

查詢檔案

import configparser

config = configparser.ConfigParser()

#---------------------------查詢檔案內容,基於字典的形式

print(config.sections())        #  []

config.read('example.ini')

print(config.sections())        #   ['bitbucket.org', 'topsecret.server.com']

print('bytebong.com' in config) # False
print('bitbucket.org' in config) # True


print(config['bitbucket.org']["user"])  # hg

print(config['DEFAULT']['Compression']) #yes

print(config['topsecret.server.com']['ForwardX11'])  #no


print(config['bitbucket.org'])          #<Section: bitbucket.org>

for key in config['bitbucket.org']:     # 注意,有default會預設default的鍵
    print(key)

print(config.options('bitbucket.org'))  # 同for迴圈,找到'bitbucket.org'下所有鍵

print(config.items('bitbucket.org'))    #找到'bitbucket.org'下所有鍵值對

print(config.get('bitbucket.org','compression')) # yes       get方法Section下的key對應的value

增刪改操作

import configparser

config = configparser.ConfigParser()

config.read('example.ini')

config.add_section('yuan')



config.remove_section('bitbucket.org')
config.remove_option('topsecret.server.com',"forwardx11")


config.set('topsecret.server.com','k1','11111')
config.set('yuan','k2','22222')

config.write(open('new2.ini', "w"))

logging模組

函式式簡單配置

import logging  
logging.debug('debug message')  
logging.info('info message')  
logging.warning('warning message')  
logging.error('error message')  
logging.critical('critical message') 

預設情況下Python的logging模組將日誌列印到了標準輸出中，且只顯示了大於等於WARNING級別的日誌，這說明預設的日誌級別設定為WARNING（日誌級別等級CRITICAL > ERROR > WARNING > INFO > DEBUG），預設的日誌格式為日誌級別：Logger名稱：使用者輸出訊息。

靈活配置日誌級別，日誌格式，輸出位置:

import logging  
logging.basicConfig(level=logging.DEBUG,  
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',  
                    datefmt='%a, %d %b %Y %H:%M:%S',  
                    filename='/tmp/test.log',  
                    filemode='w')  
  
logging.debug('debug message')  
logging.info('info message')  
logging.warning('warning message')  
logging.error('error message')  
logging.critical('critical message')

配置引數：

logging.basicConfig()函式中可通過具體引數來更改logging模組預設行為，可用引數有：

filename：用指定的檔名建立FiledHandler，這樣日誌會被儲存在指定的檔案中。
filemode：檔案開啟方式，在指定了filename時使用這個引數，預設值為“a”還可指定為“w”。
format：指定handler使用的日誌顯示格式。
datefmt：指定日期時間格式。
level：設定rootlogger（後邊會講解具體概念）的日誌級別
stream：用指定的stream建立StreamHandler。可以指定輸出到sys.stderr,sys.stdout或者檔案(f=open(‘test.log’,’w’))，預設為sys.stderr。若同時列出了filename和stream兩個引數，則stream引數會被忽略。

format引數中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 數字形式的日誌級別
%(levelname)s 文字形式的日誌級別
%(pathname)s 呼叫日誌輸出函式的模組的完整路徑名，可能沒有
%(filename)s 呼叫日誌輸出函式的模組的檔名
%(module)s 呼叫日誌輸出函式的模組名
%(funcName)s 呼叫日誌輸出函式的函式名
%(lineno)d 呼叫日誌輸出函式的語句所在的程式碼行
%(created)f 當前時間，用UNIX標準的表示時間的浮 點數表示
%(relativeCreated)d 輸出日誌資訊時的，自Logger建立以 來的毫秒數
%(asctime)s 字串形式的當前時間。預設格式是 “2003-07-08 16:49:45,896”。逗號後面的是毫秒
%(thread)d 執行緒ID。可能沒有
%(threadName)s 執行緒名。可能沒有
%(process)d 程式ID。可能沒有
%(message)s使用者輸出的訊息

logger物件配置

import logging

logger = logging.getLogger()
# 建立一個handler，用於寫入日誌檔案
fh = logging.FileHandler('test.log')

# 再建立一個handler，用於輸出到控制檯
ch = logging.StreamHandler()

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

fh.setFormatter(formatter)
ch.setFormatter(formatter)

logger.addHandler(fh) #logger物件可以新增多個fh和ch物件
logger.addHandler(ch)

logger.debug('logger debug message')
logger.info('logger info message')
logger.warning('logger warning message')
logger.error('logger error message')
logger.critical('logger critical message')

logging庫提供了多個元件：Logger、Handler、Filter、Formatter。Logger物件提供應用程式可直接使用的介面，Handler傳送日誌到適當的目的地，Filter提供了過濾日誌資訊的方法，Formatter指定日誌顯示格式。另外，可以通過：logger.setLevel(logging.Debug)設定級別,當然，也可以通過

fh.setLevel(logging.Debug)單對檔案流設定某個級別。

 四、subprocess模組

subprocess用來執行計算機命令

__author__ = 'Administrator'
import subprocess
res=subprocess.Popen(r"ping",shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)

print(res.stdout.read().decode("gbk"))
print(res.stderr.read().decode("gbk"))

結果

用法: ping [-t] [-a] [-n count] [-l size] [-f] [-i TTL] [-v TOS]
           [-r count] [-s count] [[-j host-list] | [-k host-list]]
           [-w timeout] [-R] [-S srcaddr] [-4] [-6] target_name

選項:
    -t             Ping 指定的主機，直到停止。
                   若要檢視統計資訊並繼續操作 - 請鍵入 Control-Break；
                   若要停止 - 請鍵入 Control-C。
    -a             將地址解析成主機名。
    -n count       要傳送的回顯請求數。
    -l size        傳送緩衝區大小。
    -f             在資料包中設定“不分段”標誌(僅適用於 IPv4)。
    -i TTL         生存時間。
    -v TOS         服務型別(僅適用於 IPv4。該設定已不贊成使用，且
                   對 IP 標頭中的服務欄位型別沒有任何影響)。
    -r count       記錄計數躍點的路由(僅適用於 IPv4)。
    -s count       計數躍點的時間戳(僅適用於 IPv4)。
    -j host-list   與主機列表一起的鬆散源路由(僅適用於 IPv4)。
    -k host-list   與主機列表一起的嚴格源路由(僅適用於 IPv4)。
    -w timeout     等待每次回覆的超時時間(毫秒)。
    -R             同樣使用路由標頭測試反向路由(僅適用於 IPv6)。
    -S srcaddr     要使用的源地址。
    -4             強制使用 IPv4。
    -6             強制使用 IPv6。




Process finished with exit code 0

模組詳細內容點選這裡