詳解 Python 的二元算術運算,為什麼說減法只是語法糖?

juyxii發表於2020-09-10

  原題 | Unravelling binary arithmetic operations in Python

  作者 | Brett Cannon

  譯者 | 豌豆花下貓

  宣告 | 本翻譯是出於交流學習的目的,基於 CC BY-NC-SA 4.0 授權協議。為便於閱讀,內容略有改動。

  大家對我解讀屬性訪問的部落格文章反應熱烈,這啟發了我再寫一篇關於 Python 有多少語法實際上只是語法糖的文章。在本文中,我想談談二元算術運算。

  具體來說,我想解讀減法的工作原理:a - b。我故意選擇了減法,因為它是不可交換的。這可以強調出操作順序的重要性,與加法操作相比,你可能會在實現時誤將 a 和 b 翻轉,但還是得到相同的結果。

  檢視 C 程式碼

  按照慣例,我們從檢視 CPython 直譯器編譯的位元組碼開始。

  >>> def sub(): a - b

  ...

  >>> import dis

  >>> dis.dis(sub)

  1           0 LOAD_GLOBAL              0 (a)

  2 LOAD_GLOBAL              1 (b)

  4 BINARY_SUBTRACT

  6 POP_TOP

  8 LOAD_CONST               0 (None)

  10 RETURN_VALUE

  看起來我們需要深入研究 BINARY_SUBTRACT 操作碼。翻查 Python/ceval.c 檔案,可以看到實現該操作碼的 C 程式碼如下:

  case TARGET(BINARY_SUBTRACT): {

  PyObject *right = POP();

  PyObject *left = TOP();

  PyObject *diff = PyNumber_Subtract(left, right);

  Py_DECREF(right);

  Py_DECREF(left);

  SET_TOP(diff);

  if (diff == NULL)

  goto error;

  DISPATCH();

  }

  來源:https://github.com/python/cpython/blob/6f8c8320e9eac9bc7a7f653b43506e75916ce8e8/Python/ceval.c#L1569-L1579

  這裡的關鍵程式碼是PyNumber_Subtract(),實現了減法的實際語義。繼續檢視該函式的一些巨集,可以找到binary_op1() 函式。它提供了一種管理二元操作的通用方法。

  不過,我們不把它作為實現的參考,而是要用Python的資料模型,官方文件很好,清楚介紹了減法所使用的語義。

  從資料模型中學習

  通讀資料模型的文件,你會發現在實現減法時,有兩個方法起到了關鍵作用:__sub__ 和 __rsub__。

  1、__sub__()方法

  當執行a - b 時,會在 a 的型別中查詢__sub__(),然後把 b 作為它的引數。這很像我寫屬性訪問的文章 裡的__getattribute__(),特殊/魔術方法是根據物件的型別來解析的,並不是出於效能目的而解析物件本身;在下面的示例程式碼中,我使用_mro_getattr() 表示此過程。

  因此,如果已定義 __sub__(),則 type(a).__sub__(a,b) 會被用來作減法操作。(譯註:魔術方法屬於物件的型別,不屬於物件)

  這意味著在本質上,減法只是一個方法呼叫!你也可以將它理解成標準庫中的 operator.sub() 函式。

  我們將仿造該函式實現自己的模型,用 lhs 和 rhs 兩個名稱,分別表示 a-b 的左側和右側,以使示例程式碼更易於理解。

  # 通過呼叫__sub__()實現減法

  def sub(lhs: Any, rhs: Any, /) -> Any:

  """Implement the binary operation `a - b`."""

  lhs_type = type(lhs)

  try:

  subtract = _mro_getattr(lhs_type, "__sub__")

  except AttributeError:

  msg = f"unsupported operand type(s) for -: {lhs_type!r} and {type(rhs)!r}"

  raise TypeError(msg)

  else:

  return subtract(lhs, rhs)

  2、讓右側使用__rsub__()

  但是,如果 a 沒有實現__sub__() 怎麼辦?如果 a 和 b 是不同的型別,那麼我們會嘗試呼叫 b 的 __rsub__()(__rsub__ 裡面的“r”表示“右”,代表在操作符的右側)。

  當操作的雙方是不同型別時,這樣可以確保它們都有機會嘗試使表示式生效。當它們相同時,我們假設__sub__() 就能夠處理好。但是,即使兩邊的實現相同,你仍然要呼叫__rsub__(),以防其中一個物件是其它的(子)類。

  3、不關心型別

  現在,表示式雙方都可以參與運算!但是,如果由於某種原因,某個物件的型別不支援減法怎麼辦(例如不支援 4 - “stuff”)?在這種情況下,__sub__ 或__rsub__ 能做的就是返回 NotImplemented。

  這是給 Python 返回的訊號,它應該繼續執行下一個操作,嘗試使程式碼正常執行。對於我們的程式碼,這意味著需要先檢查方法的返回值,然後才能假定它起作用。

  # 減法的實現,其中表示式的左側和右側均可參與運算

  _MISSING = object()

  def sub(lhs: Any, rhs: Any, /) -> Any:

  # lhs.__sub__

  lhs_type = type(lhs)

  try:

  lhs_method = debuiltins._mro_getattr(lhs_type, "__sub__")

  except AttributeError:

  lhs_method = _MISSING

  # lhs.__rsub__ (for knowing if rhs.__rub__ should be called first)

  try:

  lhs_rmethod = debuiltins._mro_getattr(lhs_type, "__rsub__")

  except AttributeError:

  lhs_rmethod = _MISSING

  # rhs.__rsub__

  rhs_type = type(rhs)

  try:

  rhs_method = debuiltins._mro_getattr(rhs_type, "__rsub__")

  except AttributeError:

  rhs_method = _MISSING

  call_lhs = lhs, lhs_method, rhs

  call_rhs = rhs, rhs_method, lhs

  if lhs_type is not rhs_type:

  calls = call_lhs, call_rhs

  else:

  calls = (call_lhs,)

  for first_obj, meth, second_obj in calls:

  if meth is _MISSING:

  continue

  value = meth(first_obj, second_obj)

  if value is not NotImplemented:

  return value

  else:

  raise TypeError(

  f"unsupported operand type(s) for -: {lhs_type!r} and {rhs_type!r}"

  )

  4、子類優先於父類

  如果你看一下__rsub__() 的文件,就會注意到一條註釋。它說如果一個減法表示式的右側是左側的子類(真正的子類,同一類的不算),並且兩個物件的__rsub__() 方法不同,則在呼叫__sub__() 之前會先呼叫__rsub__()。換句話說,如果 b 是 a 的子類,呼叫的順序就會被顛倒。

  這似乎是一個很奇怪的特例,但它背後是有原因的。當你建立一個子類時,這意味著你要在父類提供的操作上注入新的邏輯。這種邏輯不一定要加給父類,否則父類在對子類操作時,就很容易覆蓋子類想要實現的操作。

  具體來說,假設有一個名為 Spam 的類,當你執行 Spam() - Spam() 時,得到一個 LessSpam 的例項。接著你又建立了一個 Spam 的子類名為 Bacon,這樣,當你用 Spam 去減 Bacon 時,你得到的是 VeggieSpam。

  如果沒有上述規則,Spam() - Bacon() 將得到 LessSpam,因為 Spam 不知道減掉 Bacon 應該得出 VeggieSpam。

  但是,有了上述規則,就會得到預期的結果 VeggieSpam,因為 Bacon.__rsub__() 首先會在表示式中被呼叫(如果計算的是 Bacon() - Spam(),那麼也會得到正確的結果,因為首先會呼叫 Bacon.__sub__(),因此,規則裡才會說兩個類的不同的方法需有區別,而不僅僅是一個由 issubclass() 判斷出的子類。)

  # Python中減法的完整實現

  _MISSING = object()

  def sub(lhs: Any, rhs: Any, /) -> Any:

  # lhs.__sub__

  lhs_type = type(lhs)

  try:

  lhs_method = debuiltins._mro_getattr(lhs_type, "__sub__")

  except AttributeError:

  lhs_method = _MISSING

  # lhs.__rsub__ (for knowing if rhs.__rub__ should be called first)

  try:

  lhs_rmethod = debuiltins._mro_getattr(lhs_type, "__rsub__")

  except AttributeError:

  lhs_rmethod = _MISSING

  # rhs.__rsub__

  rhs_type = type(rhs)

  try:

  rhs_method = debuiltins._mro_getattr(rhs_type, "__rsub__")

  except AttributeError:

  rhs_method = _MISSING

  call_lhs = lhs, lhs_method, rhs

  call_rhs = rhs, rhs_method, lhs

  if (

  rhs_type is not _MISSING  # Do we care?

  and rhs_type is not lhs_type  # Could RHS be a subclass?

  and issubclass(rhs_type, lhs_type)  # RHS is a subclass!

  and lhs_rmethod is not rhs_method  # Is __r*__ actually different?

  ):

  calls = call_rhs, call_lhs

  elif lhs_type is not rhs_type:

  calls = call_lhs, call_rhs

  else:

  calls = (call_lhs,)

  for first_obj, meth, second_obj in calls:

  if meth is _MISSING:

  continue

  value = meth(first_obj, second_obj)

  if value is not NotImplemented:

  return value

  else:

  raise TypeError(

  f"unsupported operand type(s) for -: {lhs_type!r} and {rhs_type!r}"

  )

  推廣到其它二元運算

  解決掉了減法運算,那麼其它二元運算又如何呢?好吧,事實證明它們的操作相同,只是碰巧使用了不同的特殊/魔術方法名稱。

  所以,如果我們可以推廣這種方法,那麼我們就可以實現 13 種操作的語義:+ 、-、*、@、/、//、%、**、<<、>>、&、^、和 |。

  由於閉包和 Python 在物件自省上的靈活性,我們可以提煉出 operator 函式的建立。

  # 一個建立閉包的函式,實現了二元運算的邏輯

  _MISSING = object()

  def _create_binary_op(name: str, operator: str) -> Any:

  """Create a binary operation function.

  The `name` parameter specifies the name of the special method used for the

  binary operation (e.g. `sub` for `__sub__`). The `operator` name is the

  token representing the binary operation (e.g. `-` for subtraction).

  """

  lhs_method_name = f"__{name}__"

  def binary_op(lhs: Any, rhs: Any, /) -> Any:

  """A closure implementing a binary operation in Python."""

  rhs_method_name = f"__r{name}__"

  # lhs.__*__

  lhs_type = type(lhs)

  try:

  lhs_method = debuiltins._mro_getattr(lhs_type, lhs_method_name)

  except AttributeError:

  lhs_method = _MISSING

  # lhs.__r*__ (for knowing if rhs.__r*__ should be called first)

  try:

  lhs_rmethod = debuiltins._mro_getattr(lhs_type, rhs_method_name)

  except AttributeError:

  lhs_rmethod = _MISSING

  # rhs.__r*__

  rhs_type = type(rhs)

  try:

  rhs_method = debuiltins._mro_getattr(rhs_type, rhs_method_name)

  except AttributeError:

  rhs_method = _MISSING

  call_lhs = lhs, lhs_method, rhs

  call_rhs = rhs, rhs_method, lhs

  if (

  rhs_type is not _MISSING  # Do we care?

  and rhs_type is not lhs_type  # Could RHS be a subclass?

  and issubclass(rhs_type, lhs_type)  # RHS is a subclass!

  and lhs_rmethod is not rhs_method  # Is __r*__ actually different?

  ):

  calls = call_rhs, call_lhs

  elif lhs_type is not rhs_type:

  calls = call_lhs, call_rhs

  else:

  calls = (call_lhs,)

  for first_obj, meth, second_obj in calls:

  if meth is _MISSING:

  continue

  value = meth(first_obj, second_obj)

  if value is not NotImplemented:

  return value

  else:

  exc = TypeError(

  f"unsupported operand type(s) for {operator}: {lhs_type!r} and {rhs_type!r}"

  )

  exc._binary_op = operator

  raise exc

  有了這段程式碼,你可以將減法運算定義為 _create_binary_op(“sub”, “-”),然後根據需要重複定義出其它運算。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69934488/viewspace-2718418/,如需轉載,請註明出處,否則將追究法律責任。

相關文章