06Numpy輸入與輸出

一、numpy二進位制檔案

numpy中二進位制檔案有兩種形式，分別為npy、npz，其中：

• npy格式是以二進位制的方式儲存的文字檔案，第一行中用文字形式儲存了資料的元資訊（ndim、dtype、shape等），可以用二進位制工具來檢視內容
• npz格式是以壓縮包的方式打包儲存npy格式的檔案，可以使用壓縮軟體來解壓

操作二進位制檔案的函式

numpy.save(file, arr, allow_pickle=True, fix_imports=True) Save an array to a binary file in NumPy .npy format.

numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding='ASCII') Load arrays or pickled objects from .npy, .npz or pickled files.

【例】

import numpy as np

outfile = r'.\test.npy'
np.random.seed(20200619)
x = np.random.uniform(0, 1, [3, 5])
np.save(outfile, x)
y = np.load(outfile)
print(y)
# [[0.01123594 0.66790705 0.50212171 0.7230908  0.61668256]
#  [0.00668332 0.1234096  0.96092409 0.67925305 0.38596837]
#  [0.72342998 0.26258324 0.24318845 0.98795012 0.77370715]]

numpy.savez(file, *args, **kwds) Save several arrays into a single file in uncompressed .npz format.

• savez()第一個引數是檔名，其後的引數都是需要儲存的陣列，也可以使用關鍵字引數為陣列起一個名字，非關鍵字引數傳遞的陣列會自動起名為arr_0, arr_1, …。
• savez()輸出的是一個壓縮檔案（副檔名為npz），其中每個檔案都是一個save()儲存的npy檔案，檔名對應於陣列名。load()自動識別npz檔案，並且返回一個類似於字典的物件，可以通過陣列名作為關鍵字獲取陣列的內容。

【例】將多個陣列儲存到一個檔案，可以使用numpy.savez()函式。

import numpy as np

outfile = r'.\test.npz'
x = np.linspace(0, np.pi, 5)
y = np.sin(x)
z = np.cos(x)
np.savez(outfile, x, y, z_d=z)
data = np.load(outfile)
np.set_printoptions(suppress=True)
print(data.files)  
# ['z_d', 'arr_0', 'arr_1']

print(data['arr_0'])
# [0.         0.78539816 1.57079633 2.35619449 3.14159265]

print(data['arr_1'])
# [0.         0.70710678 1.         0.70710678 0.        ]

print(data['z_d'])
# [ 1.          0.70710678  0.         -0.70710678 -1.        ]

用解壓軟體開啟 test.npz 檔案，會發現其中有三個檔案：arr_0.npy,arr_1.npy,z_d.npy，其中分別儲存著陣列x,y,z的內容。

二、文字檔案

對於txt、csv檔案可以使用以下函式：

• numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None) Save an array to a text file.

  • fname：檔案路徑
  • X：存入檔案的陣列。
  • fmt：寫入檔案中每個元素的字串格式，預設’%.18e’（保留18位小數的浮點數形式）。
  • delimiter：分割字串，預設以空格分隔。

• numpy.loadtxt(fname, dtype=float, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes', max_rows=None) Load data from a text file.

  • fname：檔案路徑。
  • dtype：資料型別，預設為float。
  • comments: 字串或字串組成的列表，預設為# ， 表示註釋字符集開始的標誌。
  • skiprows：跳過多少行，一般跳過第一行表頭。
  • usecols：元組（元組內資料為列的數值索引）， 用來指定要讀取資料的列（第一列為0）。
  • unpack：當載入多列資料時是否需要將資料列進行解耦賦值給不同的變數。

• numpy.genfromtxt(fname, dtype=float, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None, names=None, excludelist=None, deletechars=''.join(sorted(NameValidator.defaultdeletechars)), replace_space='_', autostrip=False, case_sensitive=True, defaultfmt="f%i", unpack=None, usemask=False, loose=True, invalid_raise=True, max_rows=None, encoding='bytes') Load data from a text file, with missing values handled as specified.

  • names：設定為True時，程式將把第一行作為列名稱。
  • genfromtxt()較前兩個函式更為強大，是面向結構陣列和缺失資料處理的。

data.csv檔案如下：

id,value1,value2,value3
1,123,1.4,23
2,110,0.5,18
3,164,2.1,19

【例】

import numpy as np

outfile = r'.\data.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., 0.5, 18.) (3., 164., 2.1, 19.)]

print(type(x))  
# <class 'numpy.ndarray'>

print(x.dtype)
# [('id', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]

print(x['id'])  # [1. 2. 3.]
print(x['value1'])  # [123. 110. 164.]
print(x['value2'])  # [1.4 0.5 2.1]
print(x['value3'])  # [23. 18. 19.]

data1.csv檔案

id,value1,value2,value3
1,123,1.4,23
2,110,,18
3,,2.1,19

【例】

import numpy as np

outfile = r'.\data1.csv'
x = np.genfromtxt(outfile, delimiter=',', names=True)
print(x)
# [(1., 123., 1.4, 23.) (2., 110., nan, 18.) (3.,  nan, 2.1, 19.)]

print(type(x))  
# <class 'numpy.ndarray'>

print(x.dtype)
# [('id', '<f8'), ('value1', '<f8'), ('value2', '<f8'), ('value3', '<f8')]

print(x['id'])  # [1. 2. 3.]
print(x['value1'])  # [123. 110.  nan]
print(x['value2'])  # [1.4 nan 2.1]
print(x['value3'])  # [23. 18. 19.]

三、文字格式選項

• numpy.set_printoptions(precision=None,threshold=None, edgeitems=None,linewidth=None, suppress=None, nanstr=None, infstr=None,formatter=None, sign=None, floatmode=None, **kwarg) Set printing options. These options determine the way floating point numbers, arrays and other NumPy objects are displayed.
  • precision：設定浮點精度，控制輸出的小數點個數，預設是8。
  • threshold：概略顯示，顯示值的數量如果超過該值則以“…”的形式來表示，預設是1000。
  • linewidth：用於確定每行多少字元數後插入換行符，預設為75。
  • suppress：當suppress=True，表示小數不需要以科學計數法的形式輸出，預設是False。
  • nanstr：浮點非數字的字串表示形式，預設nan。
  • infstr：浮點無窮大的字串表示形式，預設inf。

【例】

import numpy as np

np.set_printoptions(precision=4)
x = np.array([1.123456789])
print(x)  # [1.1235]

np.set_printoptions(threshold=20)
x = np.arange(50)
print(x)  # [ 0  1  2 ... 47 48 49]

np.set_printoptions(threshold=np.iinfo(np.int).max)
print(x)
# [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
#  24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
#  48 49]

eps = np.finfo(float).eps
x = np.arange(4.)
x = x ** 2 - (x + eps) ** 2
print(x)  
# [-4.9304e-32 -4.4409e-16  0.0000e+00  0.0000e+00]
np.set_printoptions(suppress=True)
print(x)  # [-0. -0.  0.  0.]

x = np.linspace(0, 10, 10)
print(x)
# [ 0.      1.1111  2.2222  3.3333  4.4444  5.5556  6.6667  7.7778  8.8889
#  10.    ]
np.set_printoptions(precision=2, suppress=True, threshold=5)
print(x)  # [ 0.    1.11  2.22 ...  7.78  8.89 10.  ]

• numpy.get_printoptions() Return the current print options.

【例】

import numpy as np

x = np.get_printoptions()
print(x)
# {
# 'edgeitems': 3, 
# 'threshold': 1000, 
# 'floatmode': 'maxprec', 
# 'precision': 8, 
# 'suppress': False, 
# 'linewidth': 75, 
# 'nanstr': 'nan', 
# 'infstr': 'inf', 
# 'sign': '-', 
# 'formatter': None, 
# 'legacy': False
# }