Python——迭代器的高階用法

今天是Python專題的第8篇文章。

今天我們依然介紹的是迭代器，不過介紹的是幾個比較常用的高階用法，在實際場景當中非常實用，可以幫助我們大大簡化程式碼的複雜度。

跳過開頭

首先是跳過開始部分，這個在我們讀取文字的時候最常用。在實際的應用當中，比如記錄的日誌或者是程式碼等等，一般來說頭部都會附上一段說明，或者用註釋標註或者是用特殊的符號標記。這些資訊是給用到資料的程式設計師看的，當我們通過程式碼獲取資料的時候，顯然是希望可以過濾掉這些資訊的。

比如我們有一段資料，它的開頭用#做了一些註釋：

# This is a data for student
# Rows 100

xiaoming, 17, 99;
xiaoli, 18, 98;
...
複製程式碼

常規操作當中，我們會建立一個開啟檔案的迭代器，我們通過遍歷這個迭代器去獲取檔案當中的資料：

with open('xxxx.txt') as f:
    for line in f:
        print(line)
複製程式碼

如果只是用來輸出還好，如果我們需要加工檔案當中的資料，那麼頭部的註釋資訊就會干擾我們程式碼的執行。我們當然可以手動加入一些判斷，但是這會比較麻煩，程式碼也不夠美觀。針對這個問題，一個比較好的解決方案是dropwhile。

dropwhile是itemtools當中的一個函式，它可以接收一個我們自定義的過濾函式和迭代器重新生成一個新的迭代器，這個新的迭代器當中會過濾掉之前迭代器頭部不符合我們要求的資料：

在剛才的例子當中我們想要過濾掉頭部加了#註釋的部分，我們可以這麼操作：

from itertools import dropwhile
with open('xxxx.txt') as f:
    for line in dropwhile(lambda line: line.startswith('#'), f):
        print(line)
複製程式碼

這樣出來的結果就沒有頭部我們不需要的內容了。

當我們知道頭部不符合情況的資料的格式的時候，可以使用dropwhile來規定過濾的格式。如果我們知道需要過濾的條數，則可以使用另外一個工具，叫做islice，它的本質是一個切片函式，就像是Python當中陣列的切片功能一樣，可以切出迭代器當中指定片段的資料。

舉個例子：

from itertools import dropwhile
with open('xxxx.txt') as f:
    for line in islice(f, 3, None):
        print(line)
複製程式碼

這樣我們就會從第三行開始獲取，之前的資料會被過濾掉。它其實就代表著陣列當中[3: ]的切片操作。

迭代排列組合

我們都知道在C++當中有一個叫做next_permutation的函式，可以傳入一個陣列，返回下一個字典序的排列。在Python當中也有同樣的功能，但是是以迭代器的形式使用的。

舉個簡單的例子，比如我們有a, b, c三個元素，我們希望求出它的所有排列：

items = ['a', 'b', 'c']
from itertools import permutations

for p in permutations(items):
    print(p)
複製程式碼

permutations還支援多傳一個引數，比如上述的排列當中我們希望只保留前兩個元素，除了切片之外，我們只需要多傳一個引數就好了，like this：

for p in permutations(items, 2):
    print(p)
複製程式碼

除了排列之外，itertools當中還支援組合，用法還是一樣，只是把函式名稱換成是combinations而已：

from itertools import combindations
for c in combinations(items):
    print(c)
複製程式碼

在一般的組合當中，一個元素一旦被選中那麼它接下來就會從候選集當中移除，再也不會被選中。如果我們希望獲得有放回的組合，我們可以再換一個函式，這個函式名稱有點長，但是名字倒也直觀叫做combinations_with_replacement。但既然是有放回的抽樣，我們需要設定元素的數量，否則抽樣可以無限進行下去。

for c in combinations_with_replacement(items, 3):
    print(c)
複製程式碼

迭代合併後的序列

上一篇文章當中我們介紹了zip可以同時迭代多個迭代器，除此之外還有一種情況是我們需要把多個迭代器串起來迭代。比如系統的日誌打在了多個檔案當中，我們希望找出其中有error的日誌來分析。這個時候，我們希望的不是同時讀取多個迭代器，而是希望能夠有辦法將多個迭代器的內容串聯起來。這個功能就是itertools當中的chain方法，它接受多個迭代器，當我們遍歷的時候，會自動將多個迭代器的內容串聯起來，我們可以無縫迭代。

舉個例子：

from itertools import chain
nums = [1, 2, 3]
chars = ['a', 'b', 'c']

for i in chain(nums, chars):
    print(i)
複製程式碼

這樣我們會把nums和chars當中的內容一起輸出出來，就好像從頭到尾只執行了一個迭代器一樣。

你可能會說我們不用chain也可以實現啊，我們可以這樣：

for i in nums + chars:
    print(i)
複製程式碼

的確，從結果上來看這樣也是行得通的。但是如果我們分析一下內部執行的時候的中間變數，會發現當我們執行nums+chars的時候，實際上是先建立了一個新的臨時list。然後在這個list當中儲存nums和chars的資料，也就是說我們迭代的其實是這個新的list。這帶來的結果是我們額外開闢了一段記憶體，並且花費了一些時間。如果我們使用chain，它並不會有這樣的中間變數，完全是通過迭代器來執行的迭代，非常節省記憶體，這也是chain的優點。

歸併迭代的內容

對於歸併操作我們應該都不陌生，在之前的歸併排序以及一些題解的文章當中我們見過很多次。同樣，我們在使用工具合併多個迭代器內容的時候，如果迭代器當中的內容有序，我們也可以對多個迭代器當中的元素進行歸併，而不再需要我們自己手動操作。

使用我們之前介紹的heapq的庫可以非常輕鬆地做到這一點，我們一起來看一個例子：

a = [1, 3, 5]
b = [2, 4, 6]

import heapq

for c in heapq.merge(a, b):
    print(c)
複製程式碼

執行之後，我們會得到[1, 2, 3, 4, 5, 6]的結果。也就是說通過heapq.merge操作，我們把多個有序的迭代器合併到了一起。當然我們也可以自己合併，但如果我們只是需要利用當中的資料的話，使用merge操作可以節省記憶體空間。

到這裡內容就結束了，本文和之前的文章基本上列舉完了常用的迭代器用法。當然，除了上述講到的內容之外，Python當中的迭代器還有一些其他的用法，不過相對不太常用，感興趣的同學可以私下了解。

今天的文章就是這些，如果覺得有所收穫，請順手點個關注或者轉發吧，你們的舉手之勞對我來說很重要。