01_Numpy學習筆記（下）：輸入和輸出

在資料處理的過程中少不了要與各種檔案打交道，而Numpy剛好提供了各種“利器”來讀寫這些檔案。按檔案型別分，可以分為兩類：二進位制檔案、文字檔案。下面主要圍繞這兩方面來回顧。

一、Numpy讀寫二進位制檔案

Numpy讀寫二進位制檔案的相關api有如下三個：

• numpy.save(file, arr, allow_pickle=True, fix_imports=True) Save an array to a binary filein NumPy .npy format.
• numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding=‘ASCII’)Load arrays or pickled objects from .npy, .npz or pickled files.
• numpy.savez(file, *args, **kwds) Save several arrays into a single file in uncompressed.npz format.

save()、savez()和load()函式以 numpy 專用的二進位制型別（npy、npz）儲存和讀取資料，這三個函式會自動處理ndim、dtype、shape等資訊，使用它們讀寫陣列非常方便，但是save()輸出的檔案很難與其它語言編寫的程式相容。

npy格式 ：以二進位制的方式儲存檔案，在二進位制檔案第一行以文字形式儲存了資料的元資訊（ndim，dtype，shape等），可以用二進位制工具檢視內容。

npz格式 ：以壓縮打包的方式儲存檔案，可以用壓縮軟體解壓

儲存單個陣列：

import numpy as np
outfile = r'.\test.npy'
np.random.seed(20200619)
x = np.random.uniform(0, 1, [3, 5])
np.save(outfile, x)
y = np.load(outfile)
print(y)

儲存多個陣列：

import numpy as np
outfile = r'.\test.npz'
x = np.linspace(0, np.pi, 5)
y = np.sin(x)
z = np.cos(x)
np.savez(outfile, x, y, z_d=z)
data = np.load(outfile)
np.set_printoptions(suppress=True)
print(data.files)  
print(data['arr_0']
print(data['arr_1'])
print(data['z_d'])

savez()第一個引數是檔名，其後的引數都是需要儲存的陣列，也可以使用關鍵字引數為陣列起一個名字，非關鍵字引數傳遞的陣列會自動起名為arr_0, arr_1, …。savez()輸出的是一個壓縮檔案（副檔名為npz），其中每個檔案都是一個save()儲存的npy檔案，檔名對應於陣列名。load()自動識別npz檔案，並且返回一個類似於字典的物件，可以通過陣列名作為關鍵字獲取陣列的內容。

二、Numpy讀寫文字檔案

savetxt() ，loadtxt() 和genfromtxt() 函式用來儲存和讀取文字檔案（如TXT，CSV等）。
genfromtxt() 比loadtxt() 更加強大，可對缺失資料進行處理。

• numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\n', header='', footer='', comments='# ', encoding=None) Save an array to a text file.
  fname：檔案路徑
  X：存入檔案的陣列。
  fmt：寫入檔案中每個元素的字串格式，預設’%.18e’（保留18位小數的浮點數形式）。
  delimiter：分割字串，預設以空格分隔。

• numpy.loadtxt(fname, dtype=float, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes', max_rows=None) Load data from a text file.
  fname：檔案路徑。
  dtype：資料型別，預設為float。
  comments: 字串或字串組成的列表，預設為# ， 表示註釋字符集開始的標誌。
  skiprows：跳過多少行，一般跳過第一行表頭。
  usecols：元組（元組內資料為列的數值索引）， 用來指定要讀取資料的列（第一列為
  0）。
  unpack：當載入多列資料時是否需要將資料列進行解耦賦值給不同的變數。

• numpy.genfromtxt(fname, dtype=float, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None, names=None, excludelist=None, deletechars=''.join(sorted(NameValidator.defaultdeletechars)), replace_space='_', autostrip=False, case_sensitive=True, defaultfmt="f%i", unpack=None, usemask=False, loose=True, invalid_raise=True, max_rows=None, encoding='bytes') Load data from a text file, with missing values handled as specified.

  names：設定為True時，程式將把第一行作為列名稱。

numpy讀寫文字檔案：

import numpy as np
outfile = r'.\test.txt'
x = np.arange(0, 10).reshape(2, ‐1)
np.savetxt(outfile, x)
y = np.loadtxt(outfile)
print(y)

利用genfromtxt() 處理缺失資料的情況：

data1.csv如下所示：

id,value1,value2,value3
1,123,1.4,23
2,110,,18
3,,2.1,19

處理程式如下：

import numpy as np
# %%
out_file = r'.\data1.csv'
X = np.genfromtxt(out_file, delimiter=',', names=True)
print(X)
# %%
print(X['id'])
print(X['value1'])
print(X['value2'])
print(X['value3'])

三、文字格式選項

利用numpy.set_printoptions()可以對輸出格式進行個性化定製。該方法用法如下：

• numpy.set_printoptions(precision=None,threshold=None, edgeitems=None,linewidth=None, suppress=None, nanstr=None, infstr=None,formatter=None, sign=None, floatmode=None, **kwarg) Set printing options.
  • precision ：設定浮點精度，控制輸出的小數點個數，預設是8。
  • threshold ：概略顯示，超過該值則以“…”的形式來表示，預設是1000。
  • linewidth ：用於確定每行多少字元數後插入換行符，預設為75。
  • suppress ：當suppress=True ，表示小數不需要以科學計數法的形式輸出，預設是False。
  • nanstr ：浮點非數字的字串表示形式，預設nan 。
  • infstr ：浮點無窮大的字串表示形式，預設inf 。

這些選項決定了浮點型資料，陣列，以及其他型別的Numpy物件的展示方式。如：

import numpy as np
np.set_printoptions(precision=4)
x = np.array([1.123456789])

print(x) 
# 設定最多顯示20個元素，超出範圍就以省略號顯示
np.set_printoptions(threshold=20)
x = np.arange(50)
print(x) 

# 設定最多顯示整數最大範圍（2147483647）個元素，超出範圍就以省略號顯示
np.set_printoptions(threshold=np.iinfo(np.int).max)
print(x)
eps = np.finfo(float).eps
x = np.arange(4.)
x = x ** 2 ‐ (x + eps) ** 2
print(x)

# 表示小數不需要以科學計數法的形式輸出
np.set_printoptions(suppress=True)
print(x) 
x = np.linspace(0, 10, 10)
print(x)

# 控制輸出小數點後2位，結果以非科學計數法顯示，最多顯示5個元素
np.set_printoptions(precision=2, suppress=True, threshold=5)
print(x) 

可以通過numpy.get_printoptions()獲取列印引數：

import numpy as np
x = np.get_printoptions()
print(x)