Python 黑魔法之描述符
引言
Descriptors(描述符)是Python語言中一個深奧但很重要的一個黑魔法,它被廣泛應用於Python語言的核心,熟練掌握描述符將會為Python程式設計師的工具箱新增一個額外的技巧。本文我將講述描述符的定義以及一些常見的場景,並且在文末會補充一下__getattr
,__getattribute__
, __getitem__
這三個同樣涉及到屬性訪問的魔術方法。
描述符的定義
descr__get__(self, obj, objtype=None) --> value descr.__set__(self, obj, value) --> None descr.__delete__(self, obj) --> None
只要一個object attribute
(物件屬性)定義了上面三個方法中的任意一個,那麼這個類就可以被稱為描述符類。
描述符基礎
下面這個例子中我們建立了一個RevealAcess
類,並且實現了__get__
方法,現在這個類可以被稱為一個描述符類。
class RevealAccess(object): def __get__(self, obj, objtype): print('self in RevealAccess: {}'.format(self)) print('self: {}\nobj: {}\nobjtype: {}'.format(self, obj, objtype)) class MyClass(object): x = RevealAccess() def test(self): print('self in MyClass: {}'.format(self))
EX1例項屬性
接下來我們來看一下__get__
方法的各個引數的含義,在下面這個例子中,self
即RevealAccess類的例項x,obj
即MyClass類的例項m,objtype
顧名思義就是MyClass類自身。從輸出語句可以看出,m.x
訪問描述符x
會呼叫__get__
方法。
>>> m = MyClass() >>> m.test() self in MyClass: <__main__.MyClass object at 0x7f19d4e42160> >>> m.x self in RevealAccess: <__main__.RevealAccess object at 0x7f19d4e420f0> self: <__main__.RevealAccess object at 0x7f19d4e420f0> obj: <__main__.MyClass object at 0x7f19d4e42160> objtype: <class '__main__.MyClass'>
EX2類屬性
如果通過類直接訪問屬性x
,那麼obj
接直接為None,這還是比較好理解,因為不存在MyClass的例項。
>>> MyClass.x self in RevealAccess: <__main__.RevealAccess object at 0x7f53651070f0> self: <__main__.RevealAccess object at 0x7f53651070f0> obj: None objtype: <class '__main__.MyClass'>
描述符的原理
描述符觸發
上面這個例子中,我們分別從例項屬性和類屬性的角度列舉了描述符的用法,下面我們來仔細分析一下內部的原理:
- 如果是對
例項屬性
進行訪問,實際上呼叫了基類object的__getattribute__方法,在這個方法中將obj.d轉譯成了type(obj).__dict__['d'].__get__(obj, type(obj))
。 - 如果是對
類屬性
進行訪問,相當於呼叫了元類type的__getattribute__方法,它將cls.d轉譯成cls.__dict__['d'].__get__(None, cls)
,這裡__get__()的obj為的None,因為不存在例項。
簡單講一下__getattribute__
魔術方法,這個方法在我們訪問一個物件的屬性的時候會被無條件呼叫,詳細的細節比如和__getattr
, __getitem__
的區別我會在文章的末尾做一個額外的補充,我們暫時並不深究。
描述符優先順序
首先,描述符分為兩種:
- 如果一個物件同時定義了__get__()和__set__()方法,則這個描述符被稱為
data descriptor
。 - 如果一個物件只定義了__get__()方法,則這個描述符被稱為
non-data descriptor
。
我們對屬性進行訪問的時候存在下面四種情況:
- data descriptor
- instance dict
- non-data descriptor
- __getattr__()
它們的優先順序大小是:
data descriptor > instance dict > non-data descriptor > __getattr__()
這是什麼意思呢?就是說如果例項物件obj中出現了同名的data descriptor->d
和 instance attribute->d
,obj.d
對屬性d
進行訪問的時候,由於data descriptor具有更高的優先順序,Python便會呼叫type(obj).__dict__['d'].__get__(obj, type(obj))
而不是呼叫obj.__dict__[‘d’]。但是如果描述符是個non-data descriptor,Python則會呼叫obj.__dict__['d']
。
Property
每次使用描述符的時候都定義一個描述符類,這樣看起來非常繁瑣。Python提供了一種簡潔的方式用來向屬性新增資料描述符。
property(fget=None, fset=None, fdel=None, doc=None) -> property attribute
fget、fset和fdel分別是類的getter、setter和deleter方法。我們通過下面的一個示例來說明如何使用Property:
class Account(object): def __init__(self): self._acct_num = None def get_acct_num(self): return self._acct_num def set_acct_num(self, value): self._acct_num = value def del_acct_num(self): del self._acct_num acct_num = property(get_acct_num, set_acct_num, del_acct_num, '_acct_num property.')
如果acct是Account的一個例項,acct.acct_num將會呼叫getter,acct.acct_num = value將呼叫setter,del acct_num.acct_num將呼叫deleter。
>>> acct = Account() >>> acct.acct_num = 1000 >>> acct.acct_num 1000
Python也提供了@property
裝飾器,對於簡單的應用場景可以使用它來建立屬性。一個屬性物件擁有getter,setter和deleter裝飾器方法,可以使用它們通過對應的被裝飾函式的accessor函式建立屬性的拷貝。
class Account(object): def __init__(self): self._acct_num = None @property # the _acct_num property. the decorator creates a read-only property def acct_num(self): return self._acct_num @acct_num.setter # the _acct_num property setter makes the property writeable def set_acct_num(self, value): self._acct_num = value @acct_num.deleter def del_acct_num(self): del self._acct_num
如果想讓屬性只讀,只需要去掉setter方法。
在執行時建立描述符
我們可以在執行時新增property屬性:
class Person(object): def addProperty(self, attribute): # create local setter and getter with a particular attribute name getter = lambda self: self._getProperty(attribute) setter = lambda self, value: self._setProperty(attribute, value) # construct property attribute and add it to the class setattr(self.__class__, attribute, property(fget=getter, \ fset=setter, \ doc="Auto-generated method")) def _setProperty(self, attribute, value): print("Setting: {} = {}".format(attribute, value)) setattr(self, '_' + attribute, value.title()) def _getProperty(self, attribute): print("Getting: {}".format(attribute)) return getattr(self, '_' + attribute)
>>> user = Person() >>> user.addProperty('name') >>> user.addProperty('phone') >>> user.name = 'john smith' Setting: name = john smith >>> user.phone = '12345' Setting: phone = 12345 >>> user.name Getting: name 'John Smith' >>> user.__dict__ {'_phone': '12345', '_name': 'John Smith'}
靜態方法和類方法
我們可以使用描述符來模擬Python中的@staticmethod
和@classmethod
的實現。我們首先來瀏覽一下下面這張表:
Transformation | Called from an Object | Called from a Class |
---|---|---|
function | f(obj, *args) | f(*args) |
staticmethod | f(*args) | f(*args) |
classmethod | f(type(obj), *args) | f(klass, *args) |
靜態方法
對於靜態方法f
。c.f
和C.f
是等價的,都是直接查詢object.__getattribute__(c, ‘f’)
或者object.__getattribute__(C, ’f‘)
。靜態方法一個明顯的特徵就是沒有self
變數。
靜態方法有什麼用呢?假設有一個處理專門資料的容器類,它提供了一些方法來求平均數,中位數等統計資料方式,這些方法都是要依賴於相應的資料的。但是類中可能還有一些方法,並不依賴這些資料,這個時候我們可以將這些方法宣告為靜態方法,同時這也可以提高程式碼的可讀性。
使用非資料描述符來模擬一下靜態方法的實現:
class StaticMethod(object): def __init__(self, f): self.f = f def __get__(self, obj, objtype=None): return self.f
我們來應用一下:
class MyClass(object): @StaticMethod def get_x(x): return x print(MyClass.get_x(100)) # output: 100
類方法
Python的@classmethod
和@staticmethod
的用法有些類似,但是還是有些不同,當某些方法只需要得到類的引用
而不關心類中的相應的資料的時候就需要使用classmethod了。
使用非資料描述符來模擬一下類方法的實現:
class ClassMethod(object): def __init__(self, f): self.f = f def __get__(self, obj, klass=None): if klass is None: klass = type(obj) def newfunc(*args): return self.f(klass, *args) return newfunc
其他的魔術方法
首次接觸Python魔術方法的時候,我也被__get__
, __getattribute__
, __getattr__
, __getitem__
之間的區別困擾到了,它們都是和屬性訪問相關的魔術方法,其中重寫__getattr__
,__getitem__
來構造一個自己的集合類非常的常用,下面我們就通過一些例子來看一下它們的應用。
__getattr__
Python預設訪問類/例項的某個屬性都是通過__getattribute__
來呼叫的,__getattribute__
會被無條件呼叫,沒有找到的話就會呼叫__getattr__
。如果我們要定製某個類,通常情況下我們不應該重寫__getattribute__
,而是應該重寫__getattr__
,很少看見重寫__getattribute__
的情況。
從下面的輸出可以看出,當一個屬性通過__getattribute__
無法找到的時候會呼叫__getattr__
。
In [1]: class Test(object): ...: def __getattribute__(self, item): ...: print('call __getattribute__') ...: return super(Test, self).__getattribute__(item) ...: def __getattr__(self, item): ...: return 'call __getattr__' ...: In [2]: Test().a call __getattribute__ Out[2]: 'call __getattr__'
應用
對於預設的字典,Python只支援以obj['foo']
形式來訪問,不支援obj.foo
的形式,我們可以通過重寫__getattr__
讓字典也支援obj['foo']
的訪問形式,這是一個非常經典常用的用法:
class Storage(dict): """ A Storage object is like a dictionary except `obj.foo` can be used in addition to `obj['foo']`. """ def __getattr__(self, key): try: return self[key] except KeyError as k: raise AttributeError(k) def __setattr__(self, key, value): self[key] = value def __delattr__(self, key): try: del self[key] except KeyError as k: raise AttributeError(k) def __repr__(self): return '<Storage ' + dict.__repr__(self) + '>'
我們來使用一下我們自定義的加強版字典:
>>> s = Storage(a=1) >>> s['a'] 1 >>> s.a 1 >>> s.a = 2 >>> s['a'] 2 >>> del s.a >>> s.a ... AttributeError: 'a'
__getitem__
getitem用於通過下標[]
的形式來獲取物件中的元素,下面我們通過重寫__getitem__
來實現一個自己的list。
class MyList(object): def __init__(self, *args): self.numbers = args def __getitem__(self, item): return self.numbers[item] my_list = MyList(1, 2, 3, 4, 6, 5, 3) print my_list[2]
這個實現非常的簡陋,不支援slice和step等功能,請讀者自行改進,這裡我就不重複了。
應用
下面是參考requests庫中對於__getitem__
的一個使用,我們定製了一個忽略屬性大小寫的字典類。
程式有些複雜,我稍微解釋一下:由於這裡比較簡單,沒有使用描述符的需求,所以使用了@property
裝飾器來代替,lower_keys
的功能是將例項字典
中的鍵全部轉換成小寫並且儲存在字典self._lower_keys
中。重寫了__getitem__
方法,以後我們訪問某個屬性首先會將鍵轉換為小寫的方式,然後並不會直接訪問例項字典,而是會訪問字典self._lower_keys
去查詢。賦值/刪除操作的時候由於例項字典會進行變更,為了保持self._lower_keys
和例項字典同步,首先清除self._lower_keys
的內容,以後我們重新查詢鍵的時候再呼叫__getitem__
的時候會重新新建一個self._lower_keys
。
class CaseInsensitiveDict(dict): @property def lower_keys(self): if not hasattr(self, '_lower_keys') or not self._lower_keys: self._lower_keys = dict((k.lower(), k) for k in self.keys()) return self._lower_keys def _clear_lower_keys(self): if hasattr(self, '_lower_keys'): self._lower_keys.clear() def __contains__(self, key): return key.lower() in self.lower_keys def __getitem__(self, key): if key in self: return dict.__getitem__(self, self.lower_keys[key.lower()]) def __setitem__(self, key, value): dict.__setitem__(self, key, value) self._clear_lower_keys() def __delitem__(self, key): dict.__delitem__(self, key) self._lower_keys.clear() def get(self, key, default=None): if key in self: return self[key] else: return default
我們來呼叫一下這個類:
>>> d = CaseInsensitiveDict() >>> d['ziwenxie'] = 'ziwenxie' >>> d['ZiWenXie'] = 'ZiWenXie' >>> print(d) {'ZiWenXie': 'ziwenxie', 'ziwenxie': 'ziwenxie'} >>> print(d['ziwenxie']) ziwenxie # d['ZiWenXie'] => d['ziwenxie'] >>> print(d['ZiWenXie']) ziwenxie
相關文章
- Python “黑魔法” 之 Meta ClassesPython
- Python “黑魔法” 之 Generator CoroutinesPython
- Python黑魔法之property裝飾器詳解Python
- python黑魔法---迭代器(iterator)Python
- Python 黑魔法 --- 描述器(descriptor)Python
- python黑魔法---裝飾器(decorator)Python
- python 描述符解析Python
- python中的描述符Python
- Python 描述符簡介Python
- Python黑魔法 --- 非同步IO( asyncio) 協程Python非同步
- 解密 Python 的描述符(descriptor)解密Python
- AMD and CMD are dead之js模組化黑魔法JS
- Python中的三個”黑魔法“與”騷操作“Python
- Python 描述符(Descriptor) 附例項Python
- 論python描述符的意義Python
- 譯:深入淺出Python 描述符Python
- Python的黑魔法@property裝飾器的使用技巧Python
- python黑魔法---上下文管理器(contextor)PythonContext
- Python中的類和物件(二):描述符Python物件
- python的描述符(器)是如何工作的?Python
- iOS - Tips - 黑魔法iOS
- 22個CSS黑魔法CSS
- python 關於描述符/property偽裝/協程Python
- Python 中的屬性訪問與描述符Python
- Gradle命令列黑魔法Gradle命令列
- 【案例講解】Python為什麼要使用描述符?Python
- 每日 30 秒 ⏱ 除錯黑魔法除錯
- 【並查集】黑魔法師之門並查集
- 檔案包含之包含了Linux檔案描述符Linux
- 如何正確地使用Python的屬性和描述符Python
- python教程:屬性查詢順序,資料描述符Python
- 檔案描述符
- CSS 行內對齊的黑魔法CSS
- Vue 的初階黑魔法 —— 模板語法Vue
- 【譯】CSS 才不是什麼黑魔法呢CSS
- RPC 伺服器之【多程式描述符傳遞】高階模型RPC伺服器模型
- RPC伺服器之【多程式描述符傳遞】高階模型RPC伺服器模型
- linux一切皆檔案之Unix domain socket描述符(二)LinuxAI