建站
咨詢
售后
建站咨詢
新聞中心
“入門”是良好的動機，但是可能作用緩慢。如果你手里或者腦子里有一個項目，那么實踐起來你會被目標驅動，而不會像學習模塊一樣慢慢學習。
另外如果說知識體系里的每一個知識點是圖里的點，依賴關系是邊的話，那么這個圖一定不是一個有向無環(huán)圖。因為學習A的經(jīng)驗可以幫助你學習B。因此，你不需要學習怎么樣“入門”，因為這樣的“入門”點根本不存在！你需要學習的是怎么樣做一個比較大的東西，在這個過程中，你會很快地學會需要學會的東西的。當然，你可以爭論說需要先懂python，不然怎么學會python做爬蟲呢？但是事實上，你完全可以在做這個爬蟲的過程中學習ython :D
看到前面很多答案都講的“術”——用什么軟件怎么爬，那我就講講“道”和“術”吧——爬蟲怎么工作以及怎么在python實現(xiàn)。先長話短說summarize一下：
你需要學習
1.基本的爬蟲工作原理
2.基本的http抓取工具，scrapy
3.Bloom Filter: Bloom Filters by Example
4.如果需要大規(guī)模網(wǎng)頁抓取，你需要學習分布式爬蟲的概念。其實沒那么玄乎，你只要學會怎樣維護一個所有集群機器能夠有效分享的分布式隊列就好。最簡單的實現(xiàn)是python-rq: https://github.com/nvie/rq
5.rq和Scrapy的結合：darkrho/scrapy-redis · GitHub
6.后續(xù)處理，網(wǎng)頁析取(grangier/python-goose · GitHub)，存儲(MongoDB)
那么源碼時代小編來總結一下：
從爬蟲基本要求來看：
1.抓?。鹤ト∽罨揪褪抢W(wǎng)頁回來，所以第一步就是拉網(wǎng)頁回來，慢慢會發(fā)現(xiàn)各種問題待優(yōu)化；
2.存儲：抓回來一般會用一定策略存下來，可以選擇存文件系統(tǒng)開始，然后以一定規(guī)則命名。
3.分析：對網(wǎng)頁進行文本分析，可以用認為最快最優(yōu)的辦法，比如正則表達式；
4.展示：要是做了一堆事情，一點展示輸出都沒有，如何展現(xiàn)價值。
另外小編在這里推薦一本書《用Python寫網(wǎng)絡爬蟲》，里面主要講述的內容有：通過跟蹤鏈接來爬取網(wǎng)站;使用lxml從頁面中抽取數(shù)據(jù);構建線程爬蟲來并行爬取頁面;將下載的內容進行緩存，以降低帶寬消耗;解析依賴于JavaScript的網(wǎng)站;與表單和會話進行交互;解決受保護頁面的驗證碼問題;對AJAX調用進行逆向工程;使用Scrapy創(chuàng)建高級爬蟲。
風里雨里，在源碼時代python爬蟲課程等你。
10年積累的成都網(wǎng)站制作、網(wǎng)站設計、外貿網(wǎng)站建設經(jīng)驗，可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡服務。我雖然不認識你，你也不認識我。但先網(wǎng)站設計后付款的網(wǎng)站建設流程，更有遼陽縣免費網(wǎng)站建設讓你可以放心的選擇與我們合作。
當前名稱：怎樣入門python爬蟲？
文章分享：http://www.dlmjj.cn/article/jioseh.html
