日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
如何用Python+Scrapy爬取視頻？

本文轉(zhuǎn)載自微信公眾號「快學(xué)Python」，作者快快。轉(zhuǎn)載本文請聯(lián)系快學(xué)Python公眾號。

人生苦短，快學(xué)Python!

今天將帶大家簡單了解Scrapy爬蟲框架，并用一個(gè)真實(shí)案例來演示代碼的編寫和爬取過程。

一、scrapy簡介

1. 什么是Scrapy

Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，我們只需要實(shí)現(xiàn)少量的代碼，就能夠快速的抓取

Scrapy使用了Twisted異步網(wǎng)絡(luò)框架，可以加快我們的下載速度

http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html

異步和非阻塞的區(qū)別

異步：調(diào)用在發(fā)出之后，這個(gè)調(diào)用就直接返回，不管有無結(jié)果

非阻塞：關(guān)注的是程序在等待調(diào)用結(jié)果時(shí)的狀態(tài)，指在不能立刻得到結(jié)果之前，該調(diào)用不會阻塞當(dāng)前線程

2. Scrapy工作流程

另一種爬蟲方式

Scrapy工作流程

Scrapy engine(引擎) 總指揮:負(fù)責(zé)數(shù)據(jù)和信號的在不同模塊間的傳遞 scrapy已經(jīng)實(shí)現(xiàn)
Scheduler(調(diào)度器)一個(gè)隊(duì)列,存放引擎發(fā)過來的request請求scrapy已經(jīng)實(shí)現(xiàn)
Downloader(下載器)下載把引擎發(fā)過來的requests請求,并返回給引擎scrapy已經(jīng)實(shí)現(xiàn)
Spider(爬蟲)處理引擎發(fā)來的response,提取數(shù)據(jù),提取url,并交給引擎需要手寫
Item Pipline(管道)處理引擎?zhèn)鬟^來的數(shù)據(jù),比如存儲需要手寫
Downloader Middlewares(下載中間件)可以自定義的下載擴(kuò)展，比如設(shè)置代理一般不用手寫
Spider Middlewares(中間件)可以自定義requests請求和進(jìn)行response過濾一般不用手寫

3. Scrapy入門

 
 
 
 
    
  
  
  
  
  1. #1 創(chuàng)建一個(gè)scrapy項(xiàng)目 
    2. 
  
  
  
  
  2. scrapy startproject mySpider 
    3. 
  
  
  
  
  3.  
    4. 
  
  
  
  
  4. #2 生成一個(gè)爬蟲 
    5. 
  
  
  
  
  5. scrapy genspider demo "demo.cn" 
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. #3 提取數(shù)據(jù) 
    8. 
  
  
  
  
  8. 完善spider 使用xpath等 
    9. 
  
  
  
  
  9.  
    10. 
  
  
  
  
  10. #4 保存數(shù)據(jù) 
    11. 
  
  
  
  
  11. pipeline中保存數(shù)據(jù) 
    12.

在命令中運(yùn)行爬蟲

 
 
 
 
    
  
  
  
  
  1. scrapy crawl qb # qb爬蟲的名字 
    2.

在pycharm中運(yùn)行爬蟲

 
 
 
 
    
  
  
  
  
  1. from scrapy import cmdline 
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. cmdline.execute("scrapy crawl qb".split()) 
    4.

4. pipline使用

從pipeline的字典形可以看出來，pipeline可以有多個(gè)，而且確實(shí)pipeline能夠定義多個(gè)

為什么需要多個(gè)pipeline：

1 可能會有多個(gè)spider，不同的pipeline處理不同的item的內(nèi)容

2 一個(gè)spider的內(nèi)容可以要做不同的操作，比如存入不同的數(shù)據(jù)庫中

注意：

1 pipeline的權(quán)重越小優(yōu)先級越高

2 pipeline中process_item方法名不能修改為其他的名稱

5. 文件目錄結(jié)構(gòu)

文件配置：

setting：

 
 
 
 
    
  
  
  
  
  1. SPIDER_MODULES = ['st.spiders'] 
    2. 
  
  
  
  
  2. NEWSPIDER_MODULE = 'st.spiders' 
    3. 
  
  
  
  
  3. LOG_LEVEL = 'WARNING' # 這樣設(shè)置可以在運(yùn)行的時(shí)候不打印日志文件 
    4. 
  
  
  
  
  4. ... 
    5. 
  
  
  
  
  5. # Obey robots.txt rules 
    6. 
  
  
  
  
  6. ROBOTSTXT_OBEY = False # 調(diào)整為false, 
    7. 
  
  
  
  
  7. ... 
    8. 
  
  
  
  
  8. # Override the default request headers: # 頭部信息,反爬 
    9. 
  
  
  
  
  9. DEFAULT_REQUEST_HEADERS = { 
    10. 
  
  
  
  
  10.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36', 
    11. 
  
  
  
  
  11.   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 
    12. 
  
  
  
  
  12.   'Accept-Language': 'en', 
    13. 
  
  
  
  
  13. } 
    14. 
  
  
  
  
  14. ... 
    15. 
  
  
  
  
  15. ITEM_PIPELINES = { # 打開管道 
    16. 
  
  
  
  
  16.    'st.pipelines.StPipeline': 300, 
    17. 
  
  
  
  
  17. } 
    18.

為了運(yùn)行文件方便：新建start.py(和settings在同一目錄下)，

 
 
 
 
    
  
  
  
  
  1. from scrapy import cmdline 
    2. 
  
  
  
  
  2. cmdline.execute('scrapy crawl stsp'.split()) # 這里爬蟲項(xiàng)目名為stsp 
    3.

目前是這樣，后面提取數(shù)據(jù)的時(shí)候修改對應(yīng)文件 .

二、頁面分析

第一頁url：https://699pic.com/video-sousuo-0-18-0-0-0-1-4-popular-0-0-0-0-0-0.html

url規(guī)律：

 
 
 
 
    
  
  
  
  
  1. url = 'https://699pic.com/video-sousuo-0-18-0-0-0-{}-4-popular-0-0-0-0-0-0.html'.format(i) 
    2.

通過分析頁面知道視頻數(shù)據(jù)在li里面，如圖所示.現(xiàn)在問題就簡單了。

三、解析數(shù)據(jù)

 
 
 
 
    
  
  
  
  
  1. def parse(self, response): 
    2. 
  
  
  
  
  2.     # global count 
    3. 
  
  
  
  
  3.     # count += 1 
    4. 
  
  
  
  
  4.     # print(response) 
    5. 
  
  
  
  
  5.     liList = response.xpath('//li') # 獲取所有的li,后面提取有用的 
    6. 
  
  
  
  
  6.      
    7. 
  
  
  
  
  7.     print(len(liList)) # 76(然后分析可知,第11個(gè)到第70個(gè)是我們需要的數(shù)據(jù)) 
    8. 
  
  
  
  
  8.      
    9. 
  
  
  
  
  9.     newfolderName = 'page{}'.format(count) # 文件夾的名字page1,page2,.... 
    10. 
  
  
  
  
  10.     # 步驟二 創(chuàng)建一個(gè)新的文件夾 保存每頁的視頻 
    11. 
  
  
  
  
  11.     if not os.path.exists(newfolderName): 
    12. 
  
  
  
  
  12.         os.mkdir(newfolderName) 
    13. 
  
  
  
  
  13.  
    14. 
  
  
  
  
  14.     for li in liList[10:-6]: 
    15. 
  
  
  
  
  15.         video_link = li.xpath("./a/div/video/@data-original").extract_first() 
    16. 
  
  
  
  
  16.         videoLink = 'https:' + video_link # url拼接 
    17. 
  
  
  
  
  17.         title = li.xpath("./a[2]/h3/text()").extract_first() 
    18. 
  
  
  
  
  18.         # 下載數(shù)據(jù): 
    19. 
  
  
  
  
  19.         res = requests.get(videoLink,headers=headers) 
    20. 
  
  
  
  
  20.         data = res.content 
    21. 
  
  
  
  
  21.                 
    22. 
  
  
  
  
  22.         try: 
    23. 
  
  
  
  
  23.             with open(newfolderName + '/' + title + '.mp4','wb') as f: 
    24. 
  
  
  
  
  24.                  f.write(data) 
    25. 
  
  
  
  
  25.                  print('%s下載成功'%title) 
    26. 
  
  
  
  
  26.         except: 
    27. 
  
  
  
  
  27.            break 
    28.

四、文件配置

items:

 
 
 
 
    
  
  
  
  
  1. import scrapy 
    2. 
  
  
  
  
  2. class StItem(scrapy.Item): 
    3. 
  
  
  
  
  3.     # define the fields for your item here like: 
    4. 
  
  
  
  
  4.     # 和兩個(gè)對應(yīng)前面的數(shù)據(jù) 
    5. 
  
  
  
  
  5.     videoLink = scrapy.Field() 
    6. 
  
  
  
  
  6.     title = scrapy.Field() 
    7. 
  
  
  
  
  7.     # pass 
    8.

設(shè)置好items文件后需要在爬蟲文件(stsp.py)頭部添加如下代碼：

 
 
 
 
    
  
  
  
  
  1. from st.items import StItem # 這個(gè)要設(shè)置根目錄文件即st 
    2.

然后調(diào)整stsp文件：

 
 
 
 
    
  
  
  
  
  1. item = StItem(videoLink=videoLink,title=title)yield item # 這里必須使用yield,如果使用return最后在管道中只能得到一個(gè)文件 
    2.

piplines：

 
 
 
 
    
  
  
  
  
  1. # 前面的注釋代碼 
    2. 
  
  
  
  
  2. from itemadapter import ItemAdapter 
    3. 
  
  
  
  
  3. import csv 
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. class StPipeline: 
    6. 
  
  
  
  
  6.     def __init__(self): 
    7. 
  
  
  
  
  7.         # 打開文件，指定方式為寫，利用第3個(gè)參數(shù)把csv寫數(shù)據(jù)時(shí)產(chǎn)生的空行消除 
    8. 
  
  
  
  
  8.         self.f = open('Sp.csv','w',encoding='utf-8',newline='') 
    9. 
  
  
  
  
  9.         # 設(shè)置文件第一行的字段名，注意要跟spider傳過來的字典key名稱相同 
    10. 
  
  
  
  
  10.         self.file_name = ['title', 'videoLink'] 
    11. 
  
  
  
  
  11.         # 指定文件的寫入方式為csv字典寫入，參數(shù)1為指定具體文件，參數(shù)2為指定字段名 
    12. 
  
  
  
  
  12.         self.writer = csv.DictWriter(self.f, fieldnames=self.file_name) 
    13. 
  
  
  
  
  13.         # 寫入第一行字段名，因?yàn)橹灰獙懭胍淮危晕募旁赺_init__里面 
    14. 
  
  
  
  
  14.         self.writer.writeheader() 
    15. 
  
  
  
  
  15.  
    16. 
  
  
  
  
  16.     def process_item(self, item, spider): 
    17. 
  
  
  
  
  17.         # 寫入spider傳過來的具體數(shù)值 
    18. 
  
  
  
  
  18.         self.writer.writerow(dict(item)) # 這里的item是上面創(chuàng)建出來的實(shí)例對象,需要轉(zhuǎn)換成dict 
    19. 
  
  
  
  
  19.         # 寫入完返回 
    20. 
  
  
  
  
  20.         return item 
    21. 
  
  
  
  
  21.  
    22. 
  
  
  
  
  22.     def close_spider(self,spider): 
    23. 
  
  
  
  
  23.         self.f.close() 
    24.

五、批量爬取

 
 
 
 
    
  
  
  
  
  1. next_url = 'https://699pic.com/video-sousuo-0-18-0-0-0-{}-4-popular-0-0-0-0-0-0.html'.format(count) # 這里的count是初始化的全局變量count,每次執(zhí)行數(shù)據(jù)解析,就讓他+1 
    2. 
  
  
  
  
  2. request = scrapy.Request(next_url) 
    3. 
  
  
  
  
  3. yield request 
    4.

最后運(yùn)行程序：

csv文件：

page2.mp4文件：


當(dāng)前文章：如何用Python+Scrapy爬取視頻？
網(wǎng)址分享：http://www.dlmjj.cn/article/dpsddog.html