python如何讀取大檔案
可以透過兩種方法利用python讀取大檔案:第一種是利用yield生成器讀取;第二種是:利用open()自帶方法生成迭代物件,這個是一行一行的讀取。
1、利用yield生成器讀取
def readPart(filePath, size=1024, encoding="utf-8"): with open(filePath,"r",encoding=encoding) as f: while True: part = f.read(size) if part: yield part else: return None filePath = r"filePath" size = 2048 # 每次讀取指定大小的內容到記憶體 encoding = 'utf-8' for part in readPart(filePath,size,encoding): print(part) # Processing data
2、利用open()自帶方法生成迭代物件,這個是一行一行的讀取
with open(filePath) as f: for line in f: print(line) # Processing data
python相關操作文件歡迎檢視:
更多Python知識可以關注
(推薦作業系統:windows7系統、Python 3.9.1,DELL G3電腦。)
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/2041/viewspace-2829880/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- python讀取大檔案Python
- Python生成器讀取大檔案Python
- 如何在python中讀取配置檔案Python
- python讀取大檔案的幾種方法Python
- python小白檔案讀取Python
- python 讀取文字檔案Python
- python中xlrd庫如何實現檔案讀取?Python
- windows powershell 如何讀取大檔案前10行Windows
- 如何使用Python讀取文字檔案並回答問題?Python
- Python 讀取HDF5檔案Python
- python怎麼讀取配置檔案Python
- python解壓並讀取檔案Python
- php讀取大檔案詳解PHP
- 面試題-python 如何讀取一個大於 10G 的txt檔案?面試題Python
- python檔案建立、讀取和寫入Python
- python讀取yaml配置檔案的方法PythonYAML
- 透過python讀取ini配置檔案Python
- python 使用字典讀取CSV檔案Python
- python檔案讀取 readlines()方法之坑Python
- python-geopandas讀取、建立shapefile檔案Python
- java讀取大檔案並處理Java
- 說說在 Python 中,如何讀取檔案中的資料Python
- python讀取docx檔案,就是如此簡單Python
- Python實用方法之讀取本地檔案Python
- 如何使用File APIs來讀取檔案API
- 如何讀取和寫入JSON檔案JSON
- 任意檔案讀取
- Java 讀取檔案Java
- php如何上傳txt檔案,並且讀取txt檔案PHP
- Python讀取大檔案的"坑“與記憶體佔用檢測Python記憶體
- CSV檔案讀取效能大決戰:Julia 、Python與R語言 - DeepakPythonR語言
- Python 如何處理大檔案Python
- 【python】python初學 讀取map檔案資料到excel中PythonExcel
- python讀取檔案指定行的三種方法Python
- Python逐行讀取檔案常用的三種方法!Python
- 使用Python讀取PlantUML匯出的XMI檔案Python
- go配置檔案讀取Go
- springboot讀取配置檔案Spring Boot