建站
咨詢
售后
建站咨詢
新聞中心
這篇文章將為大家詳細講解有關(guān)python分布式多爬蟲系統(tǒng)怎么弄，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
在爬蟲的開發(fā)過程中，有些業(yè)務(wù)場景需要同時抓取幾百個甚至上千個網(wǎng)站，此時就需要一個支持多爬蟲的框架。以下將通過解釋兩張圖來說明架構(gòu)的設(shè)計思想。
1、框架主要分成兩部分：下載器Downloader和解析器Analyzer。Downloader負責(zé)抓取網(wǎng)頁，Analyzer負責(zé)解析網(wǎng)頁并入庫。兩者之間依靠消息隊列MQ進行通信，兩者可以分布在不同機器，也可分布在同一臺機器。兩者的數(shù)量也是靈活可變的，例如可能有五臺機在做下載、兩臺機在做解析，這都是可以根據(jù)爬蟲系統(tǒng)的狀態(tài)及時調(diào)整的。
2、從上圖可以看到MQ有兩個管道：HTML/JS文件和待爬種子。Downloader從待爬種子里拿到一條種子，根據(jù)種子信息調(diào)用相應(yīng)的抓取模塊進行網(wǎng)頁抓取，然后存入HTML/JS文件這個通道；Analyzer從HTML/JS文件里拿到一條網(wǎng)頁內(nèi)容，根據(jù)里面的信息調(diào)用相應(yīng)的解析模塊進行解析，將目標(biāo)字段入庫，需要的話還會解析出新的待爬種子加入MQ。
3、可以看到Downloader是包含User-Agent池、Proxy池、Cookie池的，可以適應(yīng)復(fù)雜網(wǎng)站的抓取。
4、模塊的調(diào)用使用工廠模式。
這張圖是上一張圖的另一種表述。
Htmls隊列和Seed是隊列可以獨立分開，甚至數(shù)量也可以多開，之間沒有聯(lián)系。完全可以靈活地根據(jù)爬蟲狀態(tài)和硬件環(huán)境作調(diào)整。另外8G的內(nèi)容可以讓Redis作為Seeds隊列存放5~8千萬個種子。
分布式爬蟲非常關(guān)鍵的一點：去重?？梢钥吹蕉鄠€解析器Analyzer共用一個去重隊列，才能夠保證數(shù)據(jù)的統(tǒng)一不重復(fù)。去重隊列可以放在一臺機上?；赗edis實現(xiàn)了Bloomfilter算法，理論上8G的內(nèi)存可以滿足30億條URL的去重，如果允許漏失概率再大點的話能去重更多。
關(guān)于python分布式多爬蟲系統(tǒng)怎么弄就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
網(wǎng)站欄目：python分布式多爬蟲系統(tǒng)怎么弄-創(chuàng)新互聯(lián)
網(wǎng)站鏈接：http://www.dlmjj.cn/article/shoge.html
