python如何讀取大檔案

yesye發表於2021-09-11

banner89.png

可以透過兩種方法利用python讀取大檔案:第一種是利用yield生成器讀取;第二種是:利用open()自帶方法生成迭代物件,這個是一行一行的讀取。

1、利用yield生成器讀取

def readPart(filePath, size=1024, encoding="utf-8"):
    with open(filePath,"r",encoding=encoding) as f:
        while True:
            part = f.read(size)  
            if part:
                yield part
            else:
                return None
filePath = r"filePath"
size = 2048 # 每次讀取指定大小的內容到記憶體
encoding = 'utf-8'
for part in readPart(filePath,size,encoding):
    print(part)
    # Processing data

2、利用open()自帶方法生成迭代物件,這個是一行一行的讀取

with open(filePath) as f:
    for line in f:
        print(line)
        # Processing data

python相關操作文件歡迎檢視:

更多Python知識可以關注

(推薦作業系統:windows7系統、Python 3.9.1,DELL G3電腦。)

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/2041/viewspace-2829880/,如需轉載,請註明出處,否則將追究法律責任。

相關文章