在利用Python進(jìn)行系統(tǒng)管理的時(shí)候，特別是同時(shí)操作多個(gè)文件目錄，或者遠(yuǎn)程控制多臺(tái)主機(jī)，并行操作可以節(jié)約大量的時(shí)間。多進(jìn)程是實(shí)現(xiàn)并發(fā)的手段之一，需要注意的問(wèn)題是：

1)很明顯需要并發(fā)執(zhí)行的任務(wù)通常要遠(yuǎn)大于核數(shù)

2)一個(gè)操作系統(tǒng)不可能無(wú)限開(kāi)啟進(jìn)程，通常有幾個(gè)核就開(kāi)幾個(gè)進(jìn)程

3)進(jìn)程開(kāi)啟過(guò)多，效率反而會(huì)下降(開(kāi)啟進(jìn)程是需要占用系統(tǒng)資源的，而且開(kāi)啟多余核數(shù)目的進(jìn)程也無(wú)法做到并行)

例如當(dāng)被操作對(duì)象數(shù)目不大時(shí)，可以直接利用multiprocessing中的Process動(dòng)態(tài)成生多個(gè)進(jìn)程，十幾個(gè)還好，但如果是上百個(gè)，上千個(gè)。。。手動(dòng)的去限制進(jìn)程數(shù)量卻又太過(guò)繁瑣，此時(shí)可以發(fā)揮進(jìn)程池的功效。

我們就可以通過(guò)維護(hù)一個(gè)進(jìn)程池來(lái)控制進(jìn)程數(shù)目，比如httpd的進(jìn)程模式，規(guī)定最小進(jìn)程數(shù)和最大進(jìn)程數(shù)...

對(duì)于遠(yuǎn)程過(guò)程調(diào)用的高級(jí)應(yīng)用程序而言，應(yīng)該使用進(jìn)程池，Pool可以提供指定數(shù)量的進(jìn)程，供用戶調(diào)用，當(dāng)有新的請(qǐng)求提交到pool中時(shí)，如果池還沒(méi)有滿，那么就會(huì)創(chuàng)建一個(gè)新的進(jìn)程用來(lái)執(zhí)行該請(qǐng)求;但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到規(guī)定最大值，那么該請(qǐng)求就會(huì)等待，直到池中有進(jìn)程結(jié)束，就重用進(jìn)程池中的進(jìn)程。

創(chuàng)建進(jìn)程池的類：如果指定numprocess為3，則進(jìn)程池會(huì)從無(wú)到有創(chuàng)建三個(gè)進(jìn)程，然后自始至終使用這三個(gè)進(jìn)程去執(zhí)行所有任務(wù)，不會(huì)開(kāi)啟其他進(jìn)程

1Pool([numprocess[,initializer[,initargs]]]):創(chuàng)建進(jìn)程池

參數(shù)介紹：

1numprocess:要?jiǎng)?chuàng)建的進(jìn)程數(shù)，如果省略，將默認(rèn)使用cpu_count()的值

2initializer：是每個(gè)工作進(jìn)程啟動(dòng)時(shí)要執(zhí)行的可調(diào)用對(duì)象，默認(rèn)為None

3initargs：是要傳給initializer的參數(shù)組

主要方法：

1p.apply(func[,args[,kwargs]])

在一個(gè)池工作進(jìn)程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。

需要強(qiáng)調(diào)的是：此操作并不會(huì)在所有池工作進(jìn)程中并執(zhí)行func函數(shù)。如果要通過(guò)不同參數(shù)并發(fā)地執(zhí)行func函數(shù)，必須從不同線程調(diào)用p.apply()函數(shù)或者使用p.apply_async()

2p.apply_async(func[,args[,kwargs]]):

在一個(gè)池工作進(jìn)程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。

此方法的結(jié)果是AsyncResult類的實(shí)例，callback是可調(diào)用對(duì)象，接收輸入?yún)?shù)。當(dāng)func的結(jié)果變?yōu)榭捎脮r(shí)，

將理解傳遞給callback。callback禁止執(zhí)行任何阻塞操作，否則將接收其他異步操作中的結(jié)果。

3p.close():關(guān)閉進(jìn)程池，防止進(jìn)一步操作。如果所有操作持續(xù)掛起，它們將在工作進(jìn)程終止前完成

4P.jion():等待所有工作進(jìn)程退出。此方法只能在close()或teminate()之后調(diào)用

應(yīng)用

同步調(diào)用applay

異步調(diào)用apply_async

apply_async與apply詳解

使用進(jìn)程池維護(hù)固定數(shù)目的進(jìn)程

server端

客戶端

發(fā)現(xiàn)：并發(fā)開(kāi)啟多個(gè)客戶端，服務(wù)端同一時(shí)間只有3個(gè)不同的pid，干掉一個(gè)客戶端，另外一個(gè)客戶端才會(huì)進(jìn)來(lái)，被3個(gè)進(jìn)程之一處理

回掉函數(shù)：

需要回調(diào)函數(shù)的場(chǎng)景：進(jìn)程池中任何一個(gè)任務(wù)一旦處理完了，就立即告知主進(jìn)程：我好了額，你可以處理我的結(jié)果了。主進(jìn)程則調(diào)用一個(gè)函數(shù)去處理該結(jié)果，該函數(shù)即回調(diào)函數(shù)

我們可以把耗時(shí)間(阻塞)的任務(wù)放到進(jìn)程池中，然后指定回調(diào)函數(shù)(主進(jìn)程負(fù)責(zé)執(zhí)行)，這樣主進(jìn)程在執(zhí)行回調(diào)函數(shù)時(shí)就省去了I/O的過(guò)程，直接拿到的是任務(wù)的結(jié)果。

以上內(nèi)容為大家介紹了python進(jìn)程池，希望對(duì)大家有所幫助，如果想要了解更多Python相關(guān)知識(shí)，請(qǐng)關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。