建站
咨詢
售后
建站咨詢
新聞中心
這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Python多線程如何抓取網(wǎng)站內容
Python多線程在不斷的使用中需要我們更多的學習相關的技術知識。單線程太慢的話，就需要Python多線程了，這里給個簡單的線程池模板。這個程序只是簡單地打印了110，但是可以看出是并發(fā)地。
成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設、高性價比南昌縣網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式南昌縣網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設找我們，業(yè)務覆蓋南昌縣地區(qū)。費用合理售后完善，10年實體公司更值得信賴。
- from threading import Thread
- from Queue import Queue
- from time import sleep
- #q是任務隊列
- #NUM是并發(fā)線程總數(shù)
- #JOBS是有多少任務
- q = Queue()
- NUM = 2
- JOBS = 10
- #具體的處理函數(shù)，負責處理單個任務
- def do_somthing_using(arguments):
- print arguments
- #這個是工作進程，負責不斷從隊列取數(shù)據(jù)并處理
- def working():
- while True:
- arguments = q.get()
- do_somthing_using(arguments)
- sleep(1)
- q.task_done()
- #fork NUM個線程等待隊列
- for i in range(NUM):
- t = Thread(target=working)
- t.setDaemon(True)
- t.start()
- #把JOBS排入隊列
- for i in range(JOBS):
- q.put(i)
- #等待所有JOBS完成
q.join()5.驗證碼的處理碰到驗證碼咋辦？這里分兩種情況處理：
google那種驗證碼，涼拌
簡單的驗證碼：字符個數(shù)有限，只使用了簡單的平移或旋轉加噪音而沒有扭曲的，這種還是有可能可以處理的，一般思路是旋轉的轉回來，噪音去掉，然后劃分 單個字符，劃分好了以后再通過特征提取的方法(例如PCA) 降維并生成特征庫，然后把驗證碼和特征庫進行比較。這個比較復雜，一篇博文是說不完的，這里就不展開了，具體做法請弄本相關教科書好好研究一下。
事實上有些驗證碼還是很弱的，這里就不點名了，反正我通過2的方法提取過準確度非常高的驗證碼，所以2事實上是可行的。
基本上我遇到過的所有情況，用以上方法都順利解決了，不太清楚還有沒有其他漏掉的情況，所以本文到這里就完成了，以后要是碰上其他情況，再補充相關方法好 了：）
【編輯推薦】
- Python邏輯操作中的三大應用方案
- 簡介Python代碼兩大實際應用手冊
- Python語言如何在C語言中實現(xiàn)操作
- Python編程語言如何保存搜索引擎結果
- Python腳本在游戲中尋找自己的知音
本文名稱：Python多線程如何抓取網(wǎng)站內容
文章地址：http://www.dlmjj.cn/article/ccisscp.html
