python流式讀取大文件的兩種方法

1、使用read方法分塊讀取

使用更底層的file.read()方法，與直接循環(huán)迭代文件對象不同，每次調用file.read(chunk_size)會直接返回從當前位置往后讀取chunk_size大小的文件內容，不必等待任何換行符出現(xiàn)。

defcount_nine_v2(fname):

"""計算文件里包含多少個數(shù)字'9'，每次讀取8kb

"""

count=0

block_size=1024*8

withopen(fname)asfp:

whileTrue:

chunk=fp.read(block_size)

#當文件沒有更多內容時，read調用將會返回空字符串''

ifnotchunk:

break

count+=chunk.count('9')

returncount

2、利用生成器解耦代碼

可以定義一個新的chunked_file_reader生成器函數(shù)，由它來負責所有與“數(shù)據(jù)生成”相關的邏輯。

count_nine_v3里面的主循環(huán)就只需要負責計數(shù)即可。

defchunked_file_reader(fp,block_size=1024*8):

"""生成器函數(shù)：分塊讀取文件內容

"""

whileTrue:

chunk=fp.read(block_size)

#當文件沒有更多內容時，read調用將會返回空字符串''

ifnotchunk:

break

yieldchunk

defcount_nine_v3(fname):

count=0

withopen(fname)asfp:

forchunkinchunked_file_reader(fp):

count+=chunk.count('9')

returncount

使用iter(callable,sentinel)的方式調用它時，會返回一個特殊的對象，迭代它將不斷產生可調用對象callable的調用結果，直到結果為setinel時，迭代終止。

defchunked_file_reader(file,block_size=1024*8):

"""生成器函數(shù)：分塊讀取文件內容，使用iter函數(shù)

"""

#首先使用partial(fp.read,block_size)構造一個新的無需參數(shù)的函數(shù)

#循環(huán)將不斷返回fp.read(block_size)調用結果，直到其為''時終止

forchunkiniter(partial(file.read,block_size),''):

yieldchunk

以上就是Python流式讀取大文件的兩種方法，更多Python學習教程請關注IT培訓機構:千鋒教育。