pickle和cPickle：Python物件的序列化（下）

發表於2016-07-21

承接上文 pickle和cPickle：Python物件的序列化（上）。

重構物件的問題

當與你自己的類一起工作時，你必須保證類被醃漬出現在讀取pickle的程式的名稱空間中。只有該例項的資料而不是類定義被醃漬。類名被用於在反醃漬時，找到構造器（constructor）以建立新物件。以此——往一個檔案寫入一個類的例項為例：

try:
    import cPickle as pickle
except:
    import pickle
import sys

class SimpleObject(object):

    def __init__(self, name):
        self.name = name
        l = list(name)
        l.reverse()
        self.name_backwards = ''.join(l)
        return

if __name__ == '__main__':
    data = []
    data.append(SimpleObject('pickle'))
    data.append(SimpleObject('cPickle'))
    data.append(SimpleObject('last'))

    try:
        filename = sys.argv[1]
    except IndexError:
        raise RuntimeError('Please specify a filename as an argument to %s' % sys.argv[0])

    out_s = open(filename, 'wb')
    try:
        # 寫入流中
        for o in data:
            print 'WRITING: %s (%s)' % (o.name, o.name_backwards)
            pickle.dump(o, out_s)
    finally:
        out_s.close()

try:

import cPickle as pickle

except:

import pickle

import sys

class SimpleObject(object):

def __init__(self, name):

self.name = name

l = list(name)

l.reverse()

self.name_backwards = ''.join(l)

return

if __name__ == '__main__':

data = []

data.append(SimpleObject('pickle'))

data.append(SimpleObject('cPickle'))

data.append(SimpleObject('last'))

try:

filename = sys.argv[1]

except IndexError:

raise RuntimeError('Please specify a filename as an argument to %s' % sys.argv[0])

out_s = open(filename, 'wb')

try:

# 寫入流中

for o in data:

print 'WRITING: %s (%s)' % (o.name, o.name_backwards)

pickle.dump(o, out_s)

finally:

out_s.close()

在執行時，該指令碼建立一個以在命令列指定的引數為名的檔案：

$ python pickle_dump_to_file_1.py test.dat

WRITING: pickle (elkcip)
WRITING: cPickle (elkciPc)
WRITING: last (tsal)

$ python pickle_dump_to_file_1.py test.dat

WRITING: pickle (elkcip)

WRITING: cPickle (elkciPc)

WRITING: last (tsal)

一個在讀取結果醃漬物件失敗的簡化嘗試：

try:
    import cPickle as pickle
except:
    import pickle
import pprint
from StringIO import StringIO
import sys


try:
    filename = sys.argv[1]
except IndexError:
    raise RuntimeError('Please specify a filename as an argument to %s' % sys.argv[0])

in_s = open(filename, 'rb')
try:
    # 讀取資料
    while True:
        try:
            o = pickle.load(in_s)
        except EOFError:
            break
        else:
            print 'READ: %s (%s)' % (o.name, o.name_backwards)
finally:
    in_s.close()

try:

import cPickle as pickle

except:

import pickle

import pprint

from StringIO import StringIO

import sys

try:

filename = sys.argv[1]

except IndexError:

raise RuntimeError('Please specify a filename as an argument to %s' % sys.argv[0])

in_s = open(filename, 'rb')

try:

# 讀取資料

while True:

try:

o = pickle.load(in_s)

except EOFError:

break

else:

print 'READ: %s (%s)' % (o.name, o.name_backwards)

finally:

in_s.close()

該版本失敗的原因在於沒有 SimpleObject 類可用：

$ python pickle_load_from_file_1.py test.dat

Traceback (most recent call last):
  File "pickle_load_from_file_1.py", line 52, in <module>
    o = pickle.load(in_s)
AttributeError: 'module' object has no attribute 'SimpleObject'

$ python pickle_load_from_file_1.py test.dat

Traceback (most recent call last):

File "pickle_load_from_file_1.py", line 52, in <module>

o = pickle.load(in_s)

AttributeError: 'module' object has no attribute 'SimpleObject'

正確的版本從原指令碼中匯入 SimpleObject ，可成功執行。
新增：

from pickle_dump_to_file_1 import SimpleObject

1 2	from pickle_dump_to_file_1 import SimpleObject

至匯入列表的尾部，接著重新執行該指令碼：

$ python pickle_load_from_file_2.py test.dat

READ: pickle (elkcip)
READ: cPickle (elkciPc)
READ: last (tsal)

$ python pickle_load_from_file_2.py test.dat

READ: pickle (elkcip)

READ: cPickle (elkciPc)

READ: last (tsal)

當醃漬有值的資料型別不能被醃漬時（套接字、檔案控制程式碼（file handles）、資料庫連線等之類的），有一些特別的考慮。因為使用值而不能被醃漬的類，可以定義 __getstate__() 和 __setstate__() 來返回狀態（state）的一個子集，才能被醃漬。新式類（New-style classes）也可以定義__getnewargs__()，該函式應當返回被傳遞至類記憶體分配器（the class memory allocator）（C.__new__()）的引數。使用這些新特性的更多細節，包含在標準庫文件中。

環形引用（Circular References）

pickle協議（pickle protocol）自動處理物件間的環形引用，因此，即使是很複雜的物件，你也不用特別為此做什麼。考慮下面這個圖：

pickle和cPickle：Python物件的序列化（下）

上圖雖然包括幾個環形引用，但也能以正確的結構醃漬和重新讀取（reloaded）。

import pickle

class Node(object):
    """
    一個所有結點都可知它所連通的其它結點的簡單有向圖。
    """
    def __init__(self, name):
        self.name = name
        self.connections = []
        return

    def add_edge(self, node):
        "建立兩個結點之間的一條邊。"
        self.connections.append(node)
        return

    def __iter__(self):
        return iter(self.connections)

def preorder_traversal(root, seen=None, parent=None):
    """產生器（Generator ）函式通過一個先根遍歷（preorder traversal）生成（yield）邊。"""
    if seen is None:
        seen = set()
    yield (parent, root)
    if root in seen:
        return
    seen.add(root)
    for node in root:
        for (parent, subnode) in preorder_traversal(node, seen, root):
            yield (parent, subnode)
    return

def show_edges(root):
    "列印圖中的所有邊。"
    for parent, child in preorder_traversal(root):
        if not parent:
            continue
        print '%5s -> %2s (%s)' % (parent.name, child.name, id(child))

# 建立結點。
root = Node('root')
a = Node('a')
b = Node('b')
c = Node('c')

# 新增邊。
root.add_edge(a)
root.add_edge(b)
a.add_edge(b)
b.add_edge(a)
b.add_edge(c)
a.add_edge(a)

print 'ORIGINAL GRAPH:'
show_edges(root)

# 醃漬和反醃漬該圖來建立
# 一個結點集合。
dumped = pickle.dumps(root)
reloaded = pickle.loads(dumped)

print
print 'RELOADED GRAPH:'
show_edges(reloaded)

import pickle

class Node(object):

"""

一個所有結點都可知它所連通的其它結點的簡單有向圖。

"""

def __init__(self, name):

self.name = name

self.connections = []

return

def add_edge(self, node):

"建立兩個結點之間的一條邊。"

self.connections.append(node)

return

def __iter__(self):

return iter(self.connections)

def preorder_traversal(root, seen=None, parent=None):

"""產生器（Generator ）函式通過一個先根遍歷（preorder traversal）生成（yield）邊。"""

if seen is None:

seen = set()

yield (parent, root)

if root in seen:

return

seen.add(root)

for node in root:

for (parent, subnode) in preorder_traversal(node, seen, root):

yield (parent, subnode)

return

def show_edges(root):

"列印圖中的所有邊。"

for parent, child in preorder_traversal(root):

if not parent:

continue

print '%5s -> %2s (%s)' % (parent.name, child.name, id(child))

# 建立結點。

root = Node('root')

a = Node('a')

b = Node('b')

c = Node('c')

# 新增邊。

root.add_edge(a)

root.add_edge(b)

a.add_edge(b)

b.add_edge(a)

b.add_edge(c)

a.add_edge(a)

print 'ORIGINAL GRAPH:'

show_edges(root)

# 醃漬和反醃漬該圖來建立

# 一個結點集合。

dumped = pickle.dumps(root)

reloaded = pickle.loads(dumped)

print 'RELOADED GRAPH:'

show_edges(reloaded)

重新讀取的諸多節點（譯者注：對應圖中的圓圈）不再是同一個物件，但是節點間的關係保持住了，而且讀取的僅僅是帶有多個引用的物件的一個拷貝。上面所說的可以通過測試各節點在pickle處理前和之後的id()值來驗證。

$ python pickle_cycle.py

ORIGINAL GRAPH:
 root ->  a (4299721744)
    a ->  b (4299721808)
    b ->  a (4299721744)
    b ->  c (4299721872)
    a ->  a (4299721744)
 root ->  b (4299721808)

RELOADED GRAPH:
 root ->  a (4299722000)
    a ->  b (4299722064)
    b ->  a (4299722000)
    b ->  c (4299722128)
    a ->  a (4299722000)
 root ->  b (4299722064)

$ python pickle_cycle.py

ORIGINAL GRAPH:

root -> a (4299721744)

a -> b (4299721808)

b -> a (4299721744)

b -> c (4299721872)

a -> a (4299721744)

root -> b (4299721808)

RELOADED GRAPH:

root -> a (4299722000)

a -> b (4299722064)

b -> a (4299722000)

b -> c (4299722128)

a -> a (4299722000)

root -> b (4299722064)

pickle和cPickle：Python物件的序列化（上）
2016-07-21
Python物件
Python模組學習：pickle, cPickle 物件序列化/反序列化
2015-05-26
Python物件
python核心模組之pickle和cPickle講解
2017-12-25
Python
Python標準庫分享之儲存物件 (pickle包，cPickle包)
2023-10-08
Python物件
Python 快速教程（標準庫05）：儲存物件 (pickle包，cPickle包)
2015-11-09
Python物件
Python常用標準庫（pickle序列化和JSON序列化）
2022-05-25
PythonJSON
Python3內建模組之Pickle和cPickle資料持久化方法小結
2021-09-09
Python持久化
Python序列化模組pickle和json使用和區別
2017-07-19
PythonJSON
python 序列化pickle&json模組
2020-12-12
PythonJSON
【python】使用pickle模組將資料永久儲存，pickle.dump()序列化、pickle.load()反序列化例項詳解
2018-01-13
Python
Python Pickle反序列化帶來的安全問題
2020-08-19
Python
Python學習——序列化與反序列化-json&pickle
2018-04-24
PythonJSON
Python中物件序列化和反序列化
2020-04-04
Python物件
Python之資料序列化（json、pickle、shelve）
2019-08-19
PythonJSON
python中的pickle功能
2020-12-17
Python
.NET物件的XML序列化和反序列化
2021-09-09
物件XML
物件(List<T>)的序列化和反序列化
2013-11-07
物件
Java物件的序列化和反序列化實踐
2022-05-10
Java物件
python的序列化和反序列化
2019-03-03
Python
python中pickle簡介
2017-05-17
Python
Python模組學習：marshal 物件的序列化
2015-05-25
Python物件
Linux程式設計之序列化儲存Python物件(下)(轉)
2007-08-17
Linux程式設計Python物件
pickle 在python 2和python 3中相容性問題
2015-11-25
Python
物件序列化（序列化）
2019-02-16
物件
pickle模組 collections模組在物件導向中的應用
2019-03-28
物件
Tinking in Java ---Java的NIO和物件序列化
2020-04-04
Java物件
Java基礎22--物件序列化和反序列化
2020-09-27
Java物件
Python3 pickle模組的使用詳解
2019-06-12
Python
物件的序列化（Serialization）
2014-10-24
物件
python 學習 -- json的序列化和反序列化
2016-10-21
PythonJSON
Java 中的 transient 關鍵字和物件序列化
2019-03-10
Java物件
什麼是序列化？物件和類的區別？
2008-11-07
物件
Java：對一個物件序列化和反序列化的簡單實現
2022-01-05
Java物件
ArcObjects SDK開發 025 AO中物件的序列化和反序列化
2023-01-04
Object物件
Python 物件（下）
2015-09-28
Python物件
一文帶你全面瞭解java物件的序列化和反序列化
2021-05-10
Java物件
Java物件表示方式1：序列化、反序列化和transient關鍵字的作用
2015-09-19
Java物件
Python實現JSON反序列化類物件
2018-01-30
PythonJSON物件

pickle和cPickle：Python物件的序列化（下）

重構物件的問題

環形引用（Circular References）

相關文章