Python 提供了很多內建的工具函式(Built-in Functions),在最新的 Python 3 官方文件中,它列出了 69 個。
大部分函式是我們經常使用的,例如 print()、open() 與 dir(),而有一些函式雖然不常用,但它們在某些場景下,卻能發揮出不一般的作用。內建函式們能夠被“提拔”出來,這就意味著它們皆有獨到之處,有用武之地。
因此,掌握內建函式的用法,就成了我們應該點亮的技能。
在《Python進階:如何將字串常量轉為變數?》這篇文章中,我提到過 eval() 和 exec() ,但對它們並不太瞭解。為了彌補這方面知識,我就重新學習了下。這篇文章是一份超級詳細的學習記錄,系統、全面而深入地辨析了這兩大函式。
1、eval 的基本用法
語法:eval(expression, globals=None, locals=None)
它有三個引數,其中 expression 是一個字串型別的表示式或程式碼物件,用於做運算;globals 與 locals 是可選引數,預設值是 None。
具體而言,expression 只能是單個表示式,不支援複雜的程式碼邏輯,例如賦值操作、迴圈語句等等。(PS:單個表示式並不意味著“簡單無害”,參見下文第 4 節)
globals 用於指定執行時的全域性名稱空間,型別是字典,預設時使用的是當前模組的內建名稱空間。locals 指定執行時的區域性名稱空間,型別是字典,預設時使用 globals 的值。兩者都預設時,則遵循 eval 函式執行時的作用域。值得注意的是,這兩者不代表真正的名稱空間,只在運算時起作用,運算後則銷燬。
x = 10
def func():
y = 20
a = eval('x + y')
print('a: ', a)
b = eval('x + y', {'x': 1, 'y': 2})
print('x: ' + str(x) + ' y: ' + str(y))
print('b: ', b)
c = eval('x + y', {'x': 1, 'y': 2}, {'y': 3, 'z': 4})
print('x: ' + str(x) + ' y: ' + str(y))
print('c: ', c)
func()
複製程式碼
輸出結果:
a: 30
x: 10 y: 20
b: 3
x: 10 y: 20
c: 4
複製程式碼
由此可見,當指定了名稱空間的時候,變數會在對應名稱空間中查詢。而且,它們的值不會覆蓋實際名稱空間中的值。
2、exec 的基本用法
語法:exec(object[, globals[, locals]])
在 Python2 中 exec 是個語句,而 Python3 將其改造成一個函式,就像 print 一樣。exec() 與 eval() 高度相似,三個引數的意義和作用相近。
主要的區別是,exec() 的第一個引數不是表示式,而是程式碼塊,這意味著兩點:一是它不能做表示式求值並返回出去,二是它可以執行復雜的程式碼邏輯,相對而言功能更加強大,例如,當程式碼塊中賦值了新的變數時,該變數可能 在函式外的名稱空間中存活下來。
>>> x = 1
>>> y = exec('x = 1 + 1')
>>> print(x)
>>> print(y)
2
None
複製程式碼
可以看出,exec() 內外的名稱空間是相通的,變數由此傳遞出去,而不像 eval() 函式,需要一個變數來接收函式的執行結果。
3、一些細節辨析
兩個函式都很強大,它們將字串內容當做有效的程式碼執行。這是一種字串驅動的事件 ,意義重大。然而,在實際使用過程中,存在很多微小的細節,此處就列出我所知道的幾點吧。
常見用途:將字串轉成相應的物件,例如 string 轉成 list ,string 轉成 dict,string 轉 tuple 等等。
>>> a = "[[1,2], [3,4], [5,6], [7,8], [9,0]]"
>>> print(eval(a))
[[1, 2], [3, 4], [5, 6], [7, 8], [9, 0]]
>>> a = "{'name': 'Python貓', 'age': 18}"
>>> print(eval(a))
{'name': 'Python貓', 'age': 18}
# 與 eval 略有不同
>>> a = "my_dict = {'name': 'Python貓', 'age': 18}"
>>> exec(a)
>>> print(my_dict)
{'name': 'Python貓', 'age': 18}
複製程式碼
eval() 函式的返回值是其 expression 的執行結果,在某些情況下,它會是 None,例如當該表示式是 print() 語句,或者是列表的 append() 操作時,這類操作的結果是 None,因此 eval() 的返回值也會是 None。
>>> result = eval('[].append(2)')
>>> print(result)
None
複製程式碼
exec() 函式的返回值只會是 None,與執行語句的結果無關,所以,將 exec() 函式賦值出去,就沒有任何必要。所執行的語句中,如果包含 return 或 yield ,它們產生的值也無法在 exec 函式的外部起作用。
>>> result = exec('1 + 1')
>>> print(result)
None
複製程式碼
兩個函式中的 globals 和 locals 引數,起到的是白名單的作用,通過限定名稱空間的範圍,防止作用域內的資料被濫用。
conpile() 函式編譯後的 code 物件,可作為 eval 和 exec 的第一個引數。compile() 也是個神奇的函式,我翻譯的上一篇文章《Python騷操作:動態定義函式》就演示了一個動態定義函式的操作。
弔詭的區域性名稱空間:前面講到了 exec() 函式內的變數是可以改變原有名稱空間的,然而也有例外。
def foo():
exec('y = 1 + 1\nprint(y)')
print(locals())
print(y)
foo()
複製程式碼
按照前面的理解,預期的結果是區域性變數中會存入變數 y,因此兩次的列印結果都會是 2,然而實際上的結果卻是:
2
{'y': 2}
Traceback (most recent call last):
...(略去部分報錯資訊)
print(y)
NameError: name 'y' is not defined
複製程式碼
明明看到了區域性名稱空間中有變數 y,為何會報錯說它未定義呢?
原因與 Python 的編譯器有關,對於以上程式碼,編譯器會先將 foo 函式解析成一個 ast(抽象語法樹),然後將所有變數節點存入棧中,此時 exec() 的引數只是一個字串,整個就是常量,並沒有作為程式碼執行,因此 y 還不存在。直到解析第二個 print() 時,此時第一次出現變數 y ,但因為沒有完整的定義,所以 y 不會被存入區域性名稱空間。
在執行期,exec() 函式動態地建立了區域性變數 y ,然而由於 Python 的實現機制是“執行期的區域性名稱空間不可改變 ”,也就是說這時的 y 始終無法成為區域性名稱空間的一員,當執行 print() 時也就報錯了。
至於為什麼 locals() 取出的結果有 y,為什麼它不能代表真正的區域性名稱空間?為什麼區域性名稱空間無法被動態修改?可以檢視我之前分享的《Python 動態賦值的陷阱》,另外,官方的 bug 網站中也有對此問題的討論,檢視地址:bugs.python.org/issue4831
若想把 exec() 執行後的 y 取出來的話,可以這樣:z = locals()['y']
,然而如果不小心寫成了下面的程式碼,則會報錯:
def foo():
exec('y = 1 + 1')
y = locals()['y']
print(y)
foo()
#報錯:KeyError: 'y'
#把變數 y 改為其它變數則不會報錯
複製程式碼
KeyError
指的是在字典中不存在對應的 key 。本例中 y 作了宣告,卻因為迴圈引用而無法完成賦值,即 key 值對應的 value 是個無效值,因此讀取不到,就報錯了。
此例還有 4 個變種,我想用一套自恰的說法來解釋它們,但嘗試了很久,未果。留個後話吧,等我想明白,再單獨寫一篇文章。
4、為什麼要慎用 eval() ?
很多動態的程式語言中都會有 eval() 函式,作用大同小異,但是,無一例外,人們會告訴你說,避免使用它。
為什麼要慎用 eval() 呢?主要出於安全考慮,對於不可信的資料來源,eval 函式很可能會招來程式碼注入的問題。
>>> eval("__import__('os').system('whoami')")
desktop-fa4b888\pythoncat
>>> eval("__import__('subprocess').getoutput('ls ~')")
#結果略,內容是當前路徑的檔案資訊
複製程式碼
在以上例子中,我的隱私資料就被暴露了。而更可怕的是,如果將命令改為rm -rf ~
,那當前目錄的所有檔案都會被刪除乾淨。
針對以上例子,有一個限制的辦法,即指定 globals 為 {'__builtins__': None}
或者 {'__builtins__': {}}
。
>>> s = {'__builtins__': None}
>>> eval("__import__('os').system('whoami')", s)
#報錯:TypeError: 'NoneType' object is not subscriptable
複製程式碼
__builtins__
包含了內建名稱空間中的名稱,在控制檯中輸入 dir(__builtins__) ,就能發現很多內建函式、異常和其它屬性的名稱。在預設情況下,eval 函式的 globals 引數會隱式地攜帶__builtins__
,即使是令 globals 引數為 {} 也如此,所以如果想要禁用它,就得顯式地指定它的值。
上例將它對映成 None,就意味著限定了 eval 可用的內建名稱空間為 None,從而限制了表示式呼叫內建模組或屬性的能力。
但是,這個辦法還不是萬無一失的,因為仍有手段可以發起攻擊。
某位漏洞挖掘高手在他的部落格中分享了一個思路,令人大開眼界。其核心的程式碼是下面這句,你可以試試執行,看看輸出的是什麼內容。
>>> ().__class__.__bases__[0].__subclasses__()
複製程式碼
關於這句程式碼的解釋,以及更進一步的利用手段,詳見部落格。(地址:www.tuicool.com/articles/je…
另外還有一篇部落格,不僅提到了上例的手段,還提供了一種新的思路:
#警告:千萬不要執行如下程式碼,後果自負。
>>> eval('(lambda fc=(lambda n: [c 1="c" 2="in" 3="().__class__.__bases__[0" language="for"][/c].__subclasses__() if c.__name__ == n][0]):fc("function")(fc("code")(0,0,0,0,"KABOOM",(),(),(),"","",0,""),{})())()', {"__builtins__":None})
複製程式碼
這行程式碼會導致 Python 直接 crash 掉。具體分析在:segmentfault.com/a/119000001…
除了黑客的手段,簡單的內容也能發起攻擊。像下例這樣的寫法, 將在短時間內耗盡伺服器的計算資源。
>>> eval("2 ** 888888888", {"__builtins__":None}, {})
複製程式碼
如上所述,我們直觀地展示了 eval() 函式的危害性,然而,即使是 Python 高手們小心謹慎地使用,也不能保證不出錯。
在官方的 dumbdbm 模組中,曾經(2014年)發現一個安全漏洞,攻擊者通過偽造資料庫檔案,可以在呼叫 eval() 時發起攻擊。(詳情:bugs.python.org/issue22885)
無獨有偶,在上個月(2019.02),有核心開發者針對 Python 3.8 也提出了一個安全問題,提議不在 logging.config 中使用 eval() 函式,目前該問題還是 open 狀態。(詳情:bugs.python.org/issue36022)
如此種種,足以說明為什麼要慎用 eval() 了。同理可證,exec() 函式也得謹慎使用。
5、安全的替代用法
既然有種種安全隱患,為什麼要創造出這兩個內建方法呢?為什麼要使用它們呢?
理由很簡單,因為 Python 是一門靈活的動態語言。與靜態語言不同,動態語言支援動態地產生程式碼,對於已經部署好的工程,也可以只做很小的區域性修改,就實現 bug 修復。
那有什麼辦法可以相對安全地使用它們呢?
ast 模組的 literal()
是 eval() 的安全替代,與 eval() 不做檢查就執行的方式不同,ast.literal() 會先檢查表示式內容是否有效合法。它所允許的字面內容如下:
strings, bytes, numbers, tuples, lists, dicts, sets, booleans, 和 None
一旦內容非法,則會報錯:
import ast
ast.literal_eval("__import__('os').system('whoami')")
報錯:ValueError: malformed node or string
複製程式碼
不過,它也有缺點:AST 編譯器的棧深(stack depth)有限,解析的字串內容太多或太複雜時,可能導致程式崩潰。
至於 exec() ,似乎還沒有類似的替代方法,畢竟它本身可支援的內容是更加複雜多樣的。
最後是一個建議:搞清楚它們的區別與執行細節(例如前面的區域性名稱空間內容),謹慎使用,限制可用的名稱空間,對資料來源作充分校驗。
關聯閱讀:
公眾號【Python貓】, 專注Python技術、資料科學和深度學習,力圖創造一個有趣又有用的學習分享平臺。本號連載優質的系列文章,有喵星哲學貓系列、Python進階系列、好書推薦系列、優質英文推薦與翻譯等等,歡迎關注哦。PS:後臺回覆“愛學習”,免費獲得一份學習大禮包。