久久精品国产亚洲高清|精品日韩中文乱码在线|亚洲va中文字幕无码久|伊人久久综合狼伊人久久|亚洲不卡av不卡一区二区|精品久久久久久久蜜臀AV|国产精品19久久久久久不卡|国产男女猛烈视频在线观看麻豆

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)

手機站
千鋒教育

千鋒學(xué)習(xí)站 | 隨時隨地免費學(xué)

千鋒教育

掃一掃進入千鋒手機站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費學(xué)習(xí)課程

當前位置:首頁  >  技術(shù)干貨  > Python 多線程與速度

Python 多線程與速度

來源:千鋒教育
發(fā)布人:xqq
時間: 2023-11-07 00:47:07 1699289227

問題:Python的總體性能較慢,有限的線程與孱弱的多處理能力成為其未來發(fā)展的主要障礙。

Python長期以來一直更重視編程速度,而非運行速度。考慮到很多開發(fā)者習(xí)慣于利用C或C++編寫高速外部庫(例如NumPy或者Numba)以執(zhí)行Python下的性能密集型任務(wù),這樣的權(quán)衡似乎也沒什么大不了。但問題在于,Python的開箱性能仍然落后于其它語法同樣簡單、但能夠編譯為機器碼的語言,例如Nim或者Julia。

Python當中歷史最悠久的性能問題之一,在于其對多核心或處理器的資源使用能力不佳。雖然Python確實具有線程功能,但卻僅限于單一核心。此外,Python也會嘗試通過啟動其運行時的子實例以支持多處理,但是針對這些子進程結(jié)果的調(diào)度與同步往往效率不高。

解決方案:目前,還沒有某一種自上而下的整體性解決方案,能夠直接搞定Python的性能問題。不過,現(xiàn)在已經(jīng)出現(xiàn)了一系列用于加速Python的嘗試,其各自都在特定領(lǐng)域做出了一定改進。

下面來看例子:

改善CPython的內(nèi)部行為。CPython改進帶來了幅度有限但卻覆蓋面廣泛的加速效果。例如,Python3.8的Vectorcall協(xié)議為Python對象帶來了更快的調(diào)用約定。雖然改進效果不算顯著,但足以帶來具有可測量且可預(yù)測的性能提升,而且完全不會破壞向下兼容性;此外,現(xiàn)有Python應(yīng)用程序可直接受益,無需任何代碼重寫。

改進CPython的子解釋器功能。Python解釋器實例的新編程接口現(xiàn)在可以時在各解釋器之間實現(xiàn)優(yōu)雅的數(shù)據(jù)共享,從而實現(xiàn)多核處理?,F(xiàn)在,這項提案已經(jīng)確定將在Python3.9中面世,相信其還將在后續(xù)版本中繼續(xù)發(fā)揮重要作用。

改進多個進程之間的對象共享。Python當中的多處理機制會為每個核心啟動一個新的解釋器實例,用以獲取最佳性能;但當多個解釋器嘗試對同一內(nèi)存對象進行操作時,大部分性能提升都會瞬間作廢。目前,以SahredMemory類以及新的pickle協(xié)議為代表的新功能,可以減少解釋器之間數(shù)據(jù)傳遞所需要的復(fù)制或者序列化過程,從根本上消除相關(guān)性能問題。

在Python之外,也有不少外部項目帶來了新的性能提升方法——但同樣僅限于特定問題:

PyPy。另一種Python解釋器,PyPy能夠?qū)ython即時編譯為本機機器碼。它在純Python項目當中發(fā)揮出色,現(xiàn)在也能很好地兼容比較流行的二進制相關(guān)庫——例如NumPy。但其一般更適合長期運行的服務(wù),而非一次性應(yīng)用程序。

Cython。Cython允許用戶逐步將Python代碼轉(zhuǎn)換為C代碼。該項目最初是專為科學(xué)與數(shù)值計算所設(shè)計的,但卻能夠在大多數(shù)場景下起效。Cython最大的缺點在于語法,其使用了獨有的語法設(shè)置,且轉(zhuǎn)換只能單向進行。Cython最適合處理“熱點”部分代碼,這種有針對性的優(yōu)化方式往往比應(yīng)用程序整體優(yōu)化要更合理、也更可行。

Numba。Numba的即時編譯功能可以面向選定功能將Python代碼編譯為機器碼。與Cython類似,Numba同樣主要用于科學(xué)計算,其比較適合就地運行而非對代碼進行重新發(fā)布。

Mypyc。Mypyc項目目前仍在開發(fā)當中,其希望將帶有mypy類型注釋的Python代碼轉(zhuǎn)換為C代碼。Mypyc很有前途,因為其使用到Python中的眾多原生類型,但目前距離生產(chǎn)應(yīng)用還有很長的路要走。

經(jīng)過優(yōu)化的Python發(fā)行版。某些第三方Python版本(例如英特爾的Python發(fā)行版)擁有可充分發(fā)揮英特爾處理器擴展(例如AVX512)優(yōu)勢的數(shù)學(xué)與統(tǒng)計庫。需要注意的是,盡管其能夠顯著加快特定數(shù)學(xué)函數(shù)的執(zhí)行速度,但卻無法實現(xiàn)全面的速度提升。

有經(jīng)驗的Python程序員一定還會提到全局解釋器鎖(GIL)的問題,其負責(zé)對指向?qū)ο蟮脑L問進行序列化,以確保不同線程不會彼此影響到對方的工作負載。從理論上講,放棄GIL可以提高性能。然而,無GILPython基本上喪失了向下兼容能力(特別是在PythonC擴展方面)。因此到目前為止,所有移除GIL的嘗試要么已經(jīng)走進死胡同,要么反而降低了Python的性能。

目前另一個正在推進的Python計劃有望解決不少速度方面的問題,即重構(gòu)Python內(nèi)部的CAPI實現(xiàn)。眾長遠來看,提升API集的有序程度可以帶來諸多性能改進:重新設(shè)計或者剔除GIL、提供可實現(xiàn)強大即時編譯的hook、在解釋器實例之間使用更好的數(shù)據(jù)聯(lián)合方法等等。

以上內(nèi)容為大家介紹了Python多線程與速度,希望對大家有所幫助,如果想要了解更多Python相關(guān)知識,請關(guān)注IT培訓(xùn)機構(gòu):千鋒教育。http://m.2667701.com/

聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強師集結(jié),手把手帶你蛻變精英
請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
免費領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學(xué) 138****2860 剛剛成功領(lǐng)取
王同學(xué) 131****2015 剛剛成功領(lǐng)取
張同學(xué) 133****4652 剛剛成功領(lǐng)取
李同學(xué) 135****8607 剛剛成功領(lǐng)取
楊同學(xué) 132****5667 剛剛成功領(lǐng)取
岳同學(xué) 134****6652 剛剛成功領(lǐng)取
梁同學(xué) 157****2950 剛剛成功領(lǐng)取
劉同學(xué) 189****1015 剛剛成功領(lǐng)取
張同學(xué) 155****4678 剛剛成功領(lǐng)取
鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
董同學(xué) 138****2867 剛剛成功領(lǐng)取
周同學(xué) 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT