新聞中心
線程池的概念是什么?

創(chuàng)新互聯(lián)是一家專(zhuān)業(yè)提供新縣企業(yè)網(wǎng)站建設(shè),專(zhuān)注與網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、html5、小程序制作等業(yè)務(wù)。10年已為新縣眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專(zhuān)業(yè)網(wǎng)站制作公司優(yōu)惠進(jìn)行中。
在面向?qū)ο缶幊讨?,?chuàng)建和銷(xiāo)毀對(duì)象是很費(fèi)時(shí)間的,因?yàn)閯?chuàng)建一個(gè)對(duì)象要獲取內(nèi)存資源或者其它更多資源。在Java中更是 如此,虛擬機(jī)將試圖跟蹤每一個(gè)對(duì)象,以便能夠在對(duì)象銷(xiāo)毀后進(jìn)行垃圾回收。所以提高服務(wù)程序效率的一個(gè)手段就是盡可能減少創(chuàng)建和銷(xiāo)毀對(duì)象的次數(shù),特別是一些 很耗資源的對(duì)象創(chuàng)建和銷(xiāo)毀。如何利用已有對(duì)象來(lái)服務(wù)就是一個(gè)需要解決的關(guān)鍵問(wèn)題,其實(shí)這就是一些"池化資源"技術(shù)產(chǎn)生的原因。
我理解為線程池是一個(gè)存放很多線程的單位,同時(shí)還有一個(gè)對(duì)應(yīng)的任務(wù)隊(duì)列。整個(gè)執(zhí)行過(guò)程其實(shí)就是使用線程池中已有有限的線程把任務(wù) 隊(duì)列中的任務(wù)做完。這樣做的好處就是你不需要為每個(gè)任務(wù)都創(chuàng)建一個(gè)線程,因?yàn)楫?dāng)你創(chuàng)建第100個(gè)線程來(lái)執(zhí)行第100個(gè)任務(wù)的時(shí)候,可能前面已經(jīng)有50個(gè)線 程結(jié)束工作了。因此重復(fù)利用線程來(lái)執(zhí)行任務(wù),減少系統(tǒng)資源的開(kāi)銷(xiāo)。
一個(gè)不怎么恰當(dāng)?shù)谋扔骶褪牵?00臺(tái)電腦主機(jī)箱需要從1樓搬到2樓,你不需要喊來(lái)100人幫忙搬,你只需要叫十個(gè)或者二十個(gè)人就足以,每個(gè)人分配十個(gè)或者五個(gè)甚至是誰(shuí)搬的快誰(shuí)就多搬知道完成未知。(這個(gè)比喻好像。。。。。)
不管如何吧,大體上理解了線程池的概念。那么怎么用python實(shí)現(xiàn)呢?
代碼如下
# !/usr/bin/env python # -*- coding:utf-8 -*- # ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html import Queue import threading import time class WorkManager(object): def __init__(self, work_num=1000,thread_num=2): self.work_queue= Queue.Queue() self.threads= [] self.__init_work_queue(work_num) self.__init_thread_pool(thread_num) """ 初始化線程 """ def __init_thread_pool(self,thread_num): for iin range(thread_num): self.threads.append(Work(self.work_queue)) """ 初始化工作隊(duì)列 """ def __init_work_queue(self, jobs_num): for iin range(jobs_num): self.add_job(do_job, i) """ 添加一項(xiàng)工作入隊(duì) """ def add_job(self, func,*args): self.work_queue.put((func,list(args)))#任務(wù)入隊(duì),Queue內(nèi)部實(shí)現(xiàn)了同步機(jī)制 """ 檢查剩余隊(duì)列任務(wù) """ def check_queue(self): return self.work_queue.qsize() """ 等待所有線程運(yùn)行完畢 """ def wait_allcomplete(self): for itemin self.threads: if item.isAlive():item.join() class Work(threading.Thread): def __init__(self, work_queue): threading.Thread.__init__(self) self.work_queue= work_queue self.start() def run(self): #死循環(huán),從而讓創(chuàng)建的線程在一定條件下關(guān)閉退出 while True: try: do, args= self.work_queue.get(block=False)#任務(wù)異步出隊(duì),Queue內(nèi)部實(shí)現(xiàn)了同步機(jī)制 do(args) self.work_queue.task_done()#通知系統(tǒng)任務(wù)完成 except Exception,e: print str(e) break #具體要做的任務(wù) def do_job(args): print args time.sleep(0.1)#模擬處理時(shí)間 print threading.current_thread(),list(args) if __name__== '__main__': start= time.time() work_manager= WorkManager(10,2)#或者work_manager = WorkManager(10000, 20) work_manager.wait_allcomplete() end= time.time() print "cost all time: %s" % (end-start)
這個(gè)代碼清晰易懂。
整個(gè)代碼只有兩個(gè)類(lèi):WorkManager和Work,前者確實(shí)如命名所示,是一個(gè)管理者,管理線程池和任務(wù)隊(duì)列,而后者就是具體的一個(gè)線程。
它的整個(gè)運(yùn)行邏輯就是,給WorkManager分配制定的任務(wù)量和線程數(shù),然后每個(gè)線程都從任務(wù)隊(duì)列中獲取任務(wù)來(lái)執(zhí)行,直到隊(duì)列中沒(méi)有任務(wù)。這里面也用到了Queue內(nèi)部的同步機(jī)制(至于是啥同步機(jī)制目前還沒(méi)去研究)。
總結(jié)一下這樣一個(gè)線程池的作用,對(duì)于我本來(lái)的目的其實(shí)這個(gè)東西是永不上的,因?yàn)槲倚枰趙eb頁(yè)面來(lái)控制線程的啟動(dòng)和停止,而這個(gè)線程池看起來(lái)只是用來(lái)并發(fā)完任務(wù)的。不過(guò)我想雖然在控制線程方面沒(méi)有作用,但是它的并發(fā)執(zhí)行任務(wù)的作用還是蠻不錯(cuò),或許可以用在爬網(wǎng)頁(yè)的部分。
分享文章:創(chuàng)新互聯(lián)Python教程:進(jìn)一步認(rèn)識(shí)python線程池
URL地址:http://www.dlmjj.cn/article/dppeggj.html


咨詢
建站咨詢
