PyCharm等IDE開(kāi)發(fā)工具指定的項(xiàng)目工程和文件的字符編碼:它的主要作用是告訴Pycharm等IDE開(kāi)發(fā)工具保存文件時(shí)應(yīng)該將字符轉(zhuǎn)換為怎樣的字節(jié)表示形式,以及打開(kāi)并展示文件內(nèi)容時(shí)應(yīng)該以什么字符編碼將字節(jié)碼轉(zhuǎn)換為人類(lèi)可識(shí)別的字符。
Python源代碼文件頭部指定的字符編碼,如*-*coding:utf-8-*-:它的主要作用是告訴Python解釋器當(dāng)前python代碼文件保存時(shí)所使用的字符編碼,Python解釋器在執(zhí)行代碼之前,需要先從磁盤(pán)讀取該代碼文件中的字節(jié)然后通過(guò)這里指定的字符編碼將其解碼為unicode字符。Python解釋器執(zhí)行Python代碼的過(guò)程與IDE開(kāi)發(fā)工具是沒(méi)有什么關(guān)聯(lián)性的。
那么這里為什么又要談起字符編碼的問(wèn)題呢?
或者換個(gè)問(wèn)法,既然從上面已經(jīng)指定了字符編碼,為什么對(duì)文件進(jìn)行讀寫(xiě)時(shí)還要指定字符編碼呢?從前面的描述可以看出:上面兩個(gè)地方指定的是Python代碼文件的字符編碼,是給Python解釋器和Pycharm等程序軟件用的;而被讀寫(xiě)文件的字符編碼與Python代碼文件的字符編碼沒(méi)有必然聯(lián)系,讀寫(xiě)文件時(shí)指定的字符編碼是給我們寫(xiě)的程序軟件用的。這是不同的主體和過(guò)程,希望我說(shuō)明白了。
讀寫(xiě)文件時(shí)怎樣指定字符編碼呢?
上面解釋了讀寫(xiě)文件為什么要指定字符編碼,這里要說(shuō)下怎樣指定字符編碼(其實(shí)這里主要討論是讀取外部數(shù)據(jù)時(shí)的情形)。這個(gè)問(wèn)題其實(shí)在上面的文件讀取示例中已經(jīng)使用過(guò)了,這里我們?cè)僭敿?xì)的說(shuō)一下。
首先,再次看一下Python2和Python3中open函數(shù)的定義:
#Python2
open(name[,mode[,buffering]])
#Python3
open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)
可以看到,Python3的open函數(shù)中多了幾個(gè)參數(shù),其中包括一個(gè)encoding參數(shù)。是的,這個(gè)encoding就是用來(lái)指定被操作文件的字符編碼的。
#讀操作
withopen('song.txt','r',encoding='utf-8')asf:
print(f.read())
#寫(xiě)操作
withopen('song.txt','w',encoding='utf-8')asf:
print(f.write('你好'))
那么Python2中怎樣指定呢?Python2中的對(duì)文件的read和write操作都是字節(jié),也就說(shuō)Python2中文件的read相關(guān)方法讀取的是字節(jié)串(如果包含中文字符,會(huì)發(fā)現(xiàn)len()方法的結(jié)果不等于讀取到的字符個(gè)數(shù),而是字節(jié)數(shù))。如果我們要得到正確的字符串,需要手動(dòng)將讀取到的結(jié)果decode(解碼)為字符串;相反,要以特定的字符編碼保存要寫(xiě)入的數(shù)據(jù)時(shí),需要手動(dòng)encode(編碼)為字節(jié)串。這個(gè)encode()和decode()函數(shù)可以接收一個(gè)字符編碼參數(shù)。Python3中read和write操作的都是字符串,實(shí)際上是Python解釋器幫我們自動(dòng)完成了寫(xiě)入時(shí)的encode(編碼)和讀取時(shí)的decode(解碼)操作,因此我們只需要在打開(kāi)文件(open函數(shù))時(shí)指定字符編碼就可以了。
#讀操作
withopen('song.txt','r')asf:
print(f.read().decode('utf-8'))
#寫(xiě)操作
withopen('song2.txt','w')asf:
#f.write(u'你好'.encode('utf-8'))
#f.write('你好'.decode('utf-8').encode('utf-8'))
f.write('你好')
文件讀寫(xiě)時(shí)有沒(méi)有默認(rèn)編碼呢?
Python3中open函數(shù)的encoding參數(shù)顯然是可以不指定的,這時(shí)候就會(huì)用一個(gè)“默認(rèn)字符編碼”。
看下Python3中open函數(shù)文檔對(duì)encoding參數(shù)的說(shuō)明:
encodingisthenameoftheencodingusedtodecodeorencodethe
file.Thisshouldonlybeusedintextmode.Thedefaultencodingis
platformdependent,butanyencodingsupportedbyPythoncanbe
passed.Seethecodecsmoduleforthelistofsupportedencodings.
也就是說(shuō),encoding參數(shù)的默認(rèn)值是與平臺(tái)有關(guān)的,比如Window上默認(rèn)字符編碼為GBK,Linux上默認(rèn)字符編碼為UTF-8。
而對(duì)于Python2來(lái)說(shuō),在進(jìn)行文件寫(xiě)操作時(shí),字節(jié)會(huì)被直接保存;在進(jìn)行文件讀操作時(shí),如果不手動(dòng)進(jìn)行來(lái)decode操作自然也就用不著默認(rèn)字符編碼了。但是這時(shí)候在不同的字符終端打印的時(shí)候,會(huì)用當(dāng)前平臺(tái)的字符編碼自動(dòng)將字節(jié)解碼為字符,此時(shí)可能會(huì)出現(xiàn)亂碼。如song.txt文件時(shí)UTF-8編碼的,在windows(字符編碼為GBK)的命令行終端進(jìn)行如下操作就會(huì)出現(xiàn)亂碼:
>>>withopen('song.txt','r')asf:
...print(f.read())
...
我們應(yīng)該盡可能的獲取被操作文件的字符編碼,并明確指定encoding參數(shù)的值。
以上內(nèi)容為大家介紹了python文件讀寫(xiě)與字符編碼,希望對(duì)大家有所幫助,如果想要了解更多Python相關(guān)知識(shí),請(qǐng)關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。