Python基礎之:struct和格式化字元

flydean發表於2021-04-16
PythonStruct字元

目錄

簡介

檔案的儲存內容有兩種方式，一種是二進位制，一種是文字的形式。如果是以文字的形式儲存在檔案中，那麼從檔案中讀取的時候就會遇到一個將文字轉換為Python中資料型別的問題。實際上即使是文字的形式儲存，儲存的資料也是也是有結構的，因為Python底層是用C來編寫的，這裡我們也稱之為C結構。

Lib/struct.py 就是負責進行這種結構轉換的模組。

struct中的方法

先看下struct的定義：

__all__ = [
    # Functions
    'calcsize', 'pack', 'pack_into', 'unpack', 'unpack_from',
    'iter_unpack',

    # Classes
    'Struct',

    # Exceptions
    'error'
    ]

其中有6個方法，1個異常。

我們主要來看這6個方法的使用：

方法名 作用
struct.pack(format, v1, v2, ...) 返回一個 bytes 物件，其中包含根據格式字串 format 打包的值 v1, v2, ... 引數個數必須與格式字串所要求的值完全匹配。
struct.pack_into(format, buffer, offset, v1, v2, ...) 根據格式字串 format 打包 v1, v2, ... 並將打包的位元組串從 offset 開始的位置寫入可寫緩衝區 buffer 。 請注意 offset 是必需的引數。
struct.unpack(format, buffer) 根據格式字串 format 從緩衝區 buffer 解包（假定是由 pack(format, ...) 打包）。 返回的結果為一個元組，即使其只包含一個條目。 緩衝區的位元組大小必須匹配格式所要求的大小。
struct.unpack_from(format, /, buffer, offset=0) 從位置 offset 開始對 buffer 根據格式字串 format 進行解包。 結果為一個元組，即使其中只包含一個條目。
struct.iter_unpack(format, buffer) 根據格式字串 format 以迭代方式從緩衝區 buffer 解包。 此函式返回一個迭代器，它將從緩衝區讀取相同大小的塊直至其內容全部耗盡。
struct.calcsize(format) 返回與格式字串 format 相對應的結構的大小（亦即 pack(format, ...) 所產生的位元組串物件的大小）。

這些方法主要就是打包和解包的操作，其中一個非常重要的引數就是format，也被成為格式字串，它指定了每個字串被打包的格式。

格式字串

格式字串是用來在打包和解包資料時指定資料格式的機制。 它們使用指定被打包/解包資料型別的 格式字元 進行構建。 此外，還有一些特殊字元用來控制 位元組順序，大小和對齊方式。

位元組順序，大小和對齊方式

預設情況下，C型別以機器的本機格式和位元組順序表示，並在必要時通過填充位元組進行正確對齊（根據C編譯器使用的規則）。

我們也可以手動指定格式字串的位元組順序，大小和對齊方式：

字元 位元組順序 大小 對齊方式
@ 按原位元組 按原位元組 按原位元組
= 按原位元組 標準 無
< 小端 標準 無
> 大端 標準 無
! 網路（=大端） 標準 無

大端和小端是兩種資料儲存方式。

第一種Big Endian將高位的位元組儲存在起始地址

第二種Little Endian將地位的位元組儲存在起始地址

其實Big Endian更加符合人類的讀寫習慣，而Little Endian更加符合機器的讀寫習慣。

目前主流的兩大CPU陣營中，PowerPC系列採用big endian方式儲存資料，而x86系列則採用little endian方式儲存資料。

如果不同的CPU架構直接進行通訊，就由可能因為讀取順序的不同而產生問題。

填充只會在連續結構成員之間自動新增。 填充不會新增到已編碼結構的開頭和末尾。

當使用非原位元組大小和對齊方式即 '<', '>', '=', and '!' 時不會新增任何填充。

格式字元

我們來看下字元都有哪些格式：

格式 C 型別 Python 型別 標準大小（位元組）
x 填充位元組 無
c char 長度為 1 的位元組串 1
b signed char 整數 1
B unsigned char 整數 1
? _Bool bool 1
h short 整數 2
H unsigned short 整數 2
i int 整數 4
I unsigned int 整數 4
l long 整數 4
L unsigned long 整數 4
q long long 整數 8
Q unsigned long long 整數 8
n ssize_t 整數
N size_t 整數
e (6) 浮點數 2
f float 浮點數 4
d double 浮點數 8
s char[] 位元組串
p char[] 位元組串
P void * 整數

格式數字

舉個例子，比如我們要打包一個int物件，我們可以這樣寫：

In [101]: from struct import *

In [102]: pack('i',10)
Out[102]: b'\n\x00\x00\x00'

In [103]: unpack('i',b'\n\x00\x00\x00')
Out[103]: (10,)
  
In [105]: calcsize('i')
Out[105]: 4

上面的例子中，我們打包了一個int物件10，然後又對其解包。並且計算了 i 這個格式的長度為4位元組。

大家可以看到輸出結果是 b'\n\x00\x00\x00' ，這裡不去深究這個輸出到底是什麼意思，開頭的b表示的是byte，後面是byte的編碼。

格式字元之前可以帶有整數重複計數。 例如，格式字串 '4h' 的含義與 'hhhh' 完全相同。

看下如何打包4個short型別：

In [106]: pack('4h',2,3,4,5)
Out[106]: b'\x02\x00\x03\x00\x04\x00\x05\x00'

In [107]: unpack('4h',b'\x02\x00\x03\x00\x04\x00\x05\x00')
Out[107]: (2, 3, 4, 5)

格式之間的空白字元會被忽略，但如果是struct.calcsize 方法的話格式字元中不可有空白字元。

當使用某一種整數格式 ('b', 'B', 'h', 'H', 'i', 'I', 'l', 'L', 'q', 'Q') 打包值 x 時，如果 x 在該格式的有效範圍之外則將引發 struct.error。

格式字元

除了數字之外，最常用的就是字元和字串了。

我們先看下怎麼使用格式字元，因為字元的長度是1個位元組，我們需要這樣做：

In [109]: pack('4c',b'a',b'b',b'c',b'd')
Out[109]: b'abcd'

In [110]: unpack('4c',b'abcd')
Out[110]: (b'a', b'b', b'c', b'd')

In [111]: calcsize('4c')
Out[111]: 4

字元前面的b，表示這是一個字元，否則將會被當做字串。

格式字串

再看下字串的格式：

In [114]: pack('4s',b'abcd')
Out[114]: b'abcd'

In [115]: unpack('4s',b'abcd')
Out[115]: (b'abcd',)

In [116]: calcsize('4s')
Out[116]: 4

In [117]: calcsize('s')
Out[117]: 1

可以看到對於字串來說calcsize返回的是位元組的長度。

填充的影響

格式字元的順序可能對大小產生影響，因為滿足對齊要求所需的填充是不同的:

>>> pack('ci', b'*', 0x12131415)
b'*\x00\x00\x00\x12\x13\x14\x15'
>>> pack('ic', 0x12131415, b'*')
b'\x12\x13\x14\x15*'
>>> calcsize('ci')
8
>>> calcsize('ic')
5

下面的例子我們將會展示如何手動影響填充效果：

In [120]: pack('llh',1, 2, 3)
Out[120]: b'\x01\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00\x03\x00'

上面的例子中，我們打包1，2，3這三個數字，但是格式不一樣，分別是long，long，short。

因為long是4個位元組，short是2個位元組，所以本質上是不對齊的。

如果想要對齊，我們可以在後面再加上 0l 表示0個long，從而進行手動填充：

In [118]: pack('llh0l', 1, 2, 3)
Out[118]: b'\x01\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x00'

In [122]: unpack('llh0l',b'\x01\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x00')
Out[122]: (1, 2, 3)

複雜應用

最後看一個複雜點的應用，這個應用中直接從unpack出來的資料讀取到元組中：

>>> record = b'raymond   \x32\x12\x08\x01\x08'
>>> name, serialnum, school, gradelevel = unpack('<10sHHb', record)

>>> from collections import namedtuple
>>> Student = namedtuple('Student', 'name serialnum school gradelevel')
>>> Student._make(unpack('<10sHHb', record))
Student(name=b'raymond   ', serialnum=4658, school=264, gradelevel=8)

本文已收錄於 http://www.flydean.com/13-python-struct-format-char/

最通俗的解讀，最深刻的乾貨，最簡潔的教程，眾多你不知道的小技巧等你來發現！

歡迎關注我的公眾號:「程式那些事」,懂技術，更懂你！

相關文章