日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側工具欄

新聞中心

這里有您想知道的互聯網營銷解決方案
Python pyspider的安裝與開發(fā)

PySpider 簡介

創(chuàng)新互聯是一家集網站設計制作、成都網站設計、網站頁面設計、網站優(yōu)化SEO優(yōu)化為一體的專業(yè)網站設計公司，已為成都等多地近百家企業(yè)提供網站建設服務。追求良好的瀏覽體驗,以探求精品塑造與理念升華,設計最適合用戶的網站頁面。 合作只是第一步，服務才是根本,我們始終堅持講誠信，負責任的原則，為您進行細心、貼心、認真的服務,與眾多客戶在蓬勃發(fā)展的市場環(huán)境中,互促共生。

PySpider是一個國人編寫的強大的網絡爬蟲系統(tǒng)并帶有強大的WebUI。采用Python語言編寫，分布式架構，支持多種數據庫后端，強大的WebUI支持腳本編輯器、任務監(jiān)視器，項目管理器以及結果查看器。

PySpider 來源于以前做的一個垂直搜索引擎使用的爬蟲后端。我們需要從200個站點(由于站點失效，不是都同時啦，同時有100+在跑吧)采集數據，并要求在5分鐘內將對方網站的更新更新到庫中。所以，靈活的抓取控制是必須的。

同時，由于100個站點，每天都可能會有站點失效或者改版，所以需要能夠監(jiān)控模板失效，以及查看抓取狀態(tài)。

為了達到5分鐘更新，我們使用抓取最近更新頁上面的最后更新時間，以此來判斷頁面是否需要再次抓取。

可見，這個項目對于爬蟲的監(jiān)控和調度要求是非常高的。

  • PySpider 中文網：http://www.pyspider.cn
  • PySpider 官網：http://docs.pyspider.org
  • PySpider 演示：http://demo.pyspider.org
  • PySpider 源碼：https://github.com/binux/pyspider

PySpider 特性

python 腳本控制，可以用任何你喜歡的html解析包(內置 pyquery)

WEB 界面編寫調試腳本、起停腳本、監(jiān)控執(zhí)行狀態(tài)，查看活動歷史，獲取結果產出

數據存儲支持MySQL、MongoDB、Redis、SQLite、 ElasticSearch; PostgreSQL 及 SQLAlchemy

隊列服務支持RabbitMQ、Beanstalk、Redis、Kombu

支持抓取 JavaScript 的頁面

組件可替換，支持單機/分布式部署，支持 Docker 部署

強大的調度控制，支持超時重爬及優(yōu)先級設置

支持Python 2.{6, 7}, 3.{3, 4, 5, 6}

PySpider 安裝

1) pip 安裝

pip可以在以下版本的CPython下運行：2.6, 2.7, 3.1, 3.2, 3.3, 3.4 和 pypy.

pip可以在Unix/Linux、Mac OS X、Windows系統(tǒng)中運行.

a)腳本安裝

python get-pip.py

如果 setuptools (或 distribute) 未安裝， get-pip.py

會 自動為你安裝 setuptools

如果需要升級 setuptools (或 distribute)，運行 pip install -U setuptools

b)命令安裝

sudo apt-get install python-pip // Debian、Ubuntu

sudo yum install python-pip // CentOS、Redhat、Fedora

2)PhantomJS 安裝

PhantomJS 是一個基于 WebKit 的服務器端 JavaScript API。它全面支持web而不需瀏覽器支持，其快速、原生支持各種Web標準：DOM 處理、CSS 選擇器、JSON、Canvas 和 SVG。 PhantomJS 可以用于頁面自動化、網絡監(jiān)測、網頁截屏以及無界面測試等。支持Windows、Linux、Mac OS X等多操作系統(tǒng)。

PhantomJS 下載：http://phantomjs.org/download.html

PhantomJS不需要安裝，解壓后，配置環(huán)境變量后，便可直接使用，詳見 PhantomJS 安裝與開發(fā)

PhantomJS 安裝命令：

sudo apt-get install phantomjs // Debian、Ubuntu

sudo pkg install phantomjs // FreeBSD

brew install phantomjs // Mac OS X

3)PySpider 安裝

PySpider 安裝的依賴包 requirements.txt

 
 
 
 
      
  
  
  
  1. Flask>=0.10 
    2.   
  
  
  
  2. Jinja2>=2.7 
    3.   
  
  
  
  3. chardet>=2.2 
    4.   
  
  
  
  4. cssselect>=0.9 
    5.   
  
  
  
  5. lxml 
    6.   
  
  
  
  6. pycurl 
    7.   
  
  
  
  7. pyquery 
    8.   
  
  
  
  8. requests>=2.2 
    9.   
  
  
  
  9. tornado>=3.2 
    10.   
  
  
  
  10. mysql-connector-python>=1.2.2 
    11.   
  
  
  
  11. pika>=0.9.14 
    12.   
  
  
  
  12. pymongo>=2.7.2 
    13.   
  
  
  
  13. unittest2>=0.5.1 
    14.   
  
  
  
  14. Flask-Login>=0.2.11 
    15.   
  
  
  
  15. u-msgpack-python>=1.6 
    16.   
  
  
  
  16. click>=3.3 
    17.   
  
  
  
  17. SQLAlchemy>=0.9.7 
    18.   
  
  
  
  18. six>=1.5.0 
    19.   
  
  
  
  19. amqp>=1.3.0,<2.0 
    20.   
  
  
  
  20. redis 
    21.   
  
  
  
  21. redis-py-cluster 
    22.   
  
  
  
  22. kombu 
    23.   
  
  
  
  23. psycopg2 
    24.   
  
  
  
  24. elasticsearch 
    25.   
  
  
  
  25. tblib  
    26.

PySpider 安裝命令：

 
 
 
 
      
  
  
  
  1. pip install pyspider 
    2.

Ubuntu 用戶，請?zhí)崆鞍惭b好以下支持類庫：

 
 
 
 
      
  
  
  
  1. sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml 
    2.

4)驗證安裝成功

控制臺輸入命令：

 
 
 
 
      
  
  
  
  1. pyspider all 
    2.

使用瀏覽器訪問 http://localhost:5000

正常出現 PySpider 的頁面，那證明一切 OK

PySpider 示例

1)示例1：爬取米撲科技首頁(mimvp.com)

 
 
 
 
      
  
  
  
  1. #!/usr/bin/env python 
    2.   
  
  
  
  2. # -*- encoding: utf-8 -*- 
    3.   
  
  
  
  3. # Created on 2017-07-28 13:44:53 
    4.   
  
  
  
  4. # Project: pyspiderdemo 
    5.   
  
  
  
  5. # mimvp.com 
    6.   
  
  
  
  6.   
    7.   
  
  
  
  7. from pyspider.libs.base_handler import * 
    8.   
  
  
  
  8.   
    9.   
  
  
  
  9.   
    10.   
  
  
  
  10. class Handler(BaseHandler): 
    11.   
  
  
  
  11.     crawl_config = { 
    12.   
  
  
  
  12.     } 
    13.   
  
  
  
  13.   
    14.   
  
  
  
  14.     @every(minutes=24 * 60) 
    15.   
  
  
  
  15.     def on_start(self): 
    16.   
  
  
  
  16.         self.crawl('mimvp.com', callback=self.index_page) 
    17.   
  
  
  
  17.   
    18.   
  
  
  
  18.     @config(age=10 * 24 * 60 * 60) 
    19.   
  
  
  
  19.     def index_page(self, response): 
    20.   
  
  
  
  20.         for each in response.doc('a[href^="http"]').items(): 
    21.   
  
  
  
  21.             self.crawl(each.attr.href, callback=self.detail_page) 
    22.   
  
  
  
  22.   
    23.   
  
  
  
  23.     @config(priority=2) 
    24.   
  
  
  
  24.     def detail_page(self, response): 
    25.   
  
  
  
  25.         return { 
    26.   
  
  
  
  26.             "url": response.url, 
    27.   
  
  
  
  27.             "title": response.doc('title').text(), 
    28.   
  
  
  
  28.         }  
    29.

運行結果：

2)示例2：設置代理爬取網頁

PySpider 支持使用代理爬取網頁，其使用代理有兩種方式：

方式1：

--phantomjs-proxy TEXT phantomjs proxy ip:port

啟動命令例如：

pyspider --phantomjs-proxy "188.226.141.217:8080" all

方式2：

設置代理全局變量，如下圖：

crawl_config = { 'proxy' : '188.226.141.217:8080'}

示例代碼：

 
 
 
 
      
  
  
  
  1. #!/usr/bin/env python 
    2.   
  
  
  
  2. # -*- encoding: utf-8 -*- 
    3.   
  
  
  
  3. # Created on 2017-07-28 14:13:14 
    4.   
  
  
  
  4. # Project: mimvp_proxy_pyspider 
    5.   
  
  
  
  5. # 
    6.   
  
  
  
  6. # mimvp.com 
    7.   
  
  
  
  7.   
    8.   
  
  
  
  8. from pyspider.libs.base_handler import * 
    9.   
  
  
  
  9.   
    10.   
  
  
  
  10.   
    11.   
  
  
  
  11. class Handler(BaseHandler): 
    12.   
  
  
  
  12.     crawl_config = { 
    13.   
  
  
  
  13.         'proxy' : 'http://188.226.141.217:8080',     # http 
    14.   
  
  
  
  14.         'proxy' : 'https://182.253.32.65:3128'      # https 
    15.   
  
  
  
  15.     } 
    16.   
  
  
  
  16.   
    17.   
  
  
  
  17.     @every(minutes=24 * 60) 
    18.   
  
  
  
  18.     def on_start(self): 
    19.   
  
  
  
  19.         self.crawl('http://proxy.mimvp.com/exist.php', callback=self.index_page) 
    20.   
  
  
  
  20.   
    21.   
  
  
  
  21.     @config(age=10 * 24 * 60 * 60) 
    22.   
  
  
  
  22.     def index_page(self, response): 
    23.   
  
  
  
  23.         for each in response.doc('a[href^="http"]').items(): 
    24.   
  
  
  
  24.             self.crawl(each.attr.href, callback=self.detail_page) 
    25.   
  
  
  
  25.   
    26.   
  
  
  
  26.     @config(priority=2) 
    27.   
  
  
  
  27.     def detail_page(self, response): 
    28.   
  
  
  
  28.         return { 
    29.   
  
  
  
  29.             "url": response.url, 
    30.   
  
  
  
  30.             "title": response.doc('title').text(), 
    31.   
  
  
  
  31.         }  
    32.

運行結果：


當前標題：Python pyspider的安裝與開發(fā)
鏈接URL：http://www.dlmjj.cn/article/copiped.html