Python按行讀檔案 - XuXn - 部落格園

Python按行讀檔案 - XuXn - 部落格園

1. 最基本的讀檔案方法：

?

# File: readline-example-1.py

 

file = open("sample.txt")

 

while 1:

    line = file.readline()

    if not line:

        break

    pass # do something

一行一行得從檔案讀資料，顯然比較慢；不過很省記憶體。

在我的機器上讀10M的sample.txt檔案，每秒大約讀32000行

2. 用fileinput模組

?

# File: readline-example-2.py

 

import fileinput

 

for line in fileinput.input("sample.txt"):

    pass

寫法簡單一些，不過測試以後發現每秒只能讀13000行資料，效率比上一種方法慢了兩倍多……

3. 帶快取的檔案讀取

?

# File: readline-example-3.py

 

file = open("sample.txt")

 

while 1:

    lines = file.readlines(100000)

    if not lines:

        break

    for line in lines:

        pass # do something

這個方法真的更好嗎？事實證明，用同樣的資料測試，它每秒可以讀96900行資料！效率是第一種方法的3倍，第二種方法的7倍！

————————————————————————————————————————————————————————————

在Python 2.2以後，我們可以直接對一個file物件使用for迴圈讀每行資料：

?

# File: readline-example-5.py

 

file = open("sample.txt")

 

for line in file:

    pass # do something

而在Python 2.1裡，你只能用xreadlines迭代器來實現：

?

# File: readline-example-4.py

 

file = open("sample.txt")

 

for line in file.xreadlines():

    pass # do something

 

翻譯自：http://hi.baidu.com/netspider_2007/blog/item/870354c753e4a71c9c163d64.html