日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Python爬蟲之BeautifulSoup

簡介

目前成都創(chuàng)新互聯(lián)公司已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、網(wǎng)站托管、服務(wù)器租用、企業(yè)網(wǎng)站設(shè)計(jì)、旬陽網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

Beautiful Soup提供一些簡單的、python式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因?yàn)楹唵?，所以不需要多少代碼就可以寫出一個完整的應(yīng)用程序。Beautiful Soup自動將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。你不需要考慮編碼方式，除非文檔沒有指定一個編碼方式，這時(shí)，Beautiful Soup就不能自動識別編碼方式了。然后，你僅僅需要說明一下原始編碼方式就可以了。

Beautiful Soup已成為和lxml、html6lib一樣出色的python解釋器，為用戶靈活地提供不同的解析策略或強(qiáng)勁的速度。

安裝

 
 
 
 
      
  
  
  
  1. pip install BeautifulSoup4 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. 或 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5. easy_install BeautifulSoup4 
    6.

創(chuàng)建BeautifulSoup對象

首先應(yīng)該導(dǎo)入BeautifulSoup類庫

 
 
 
 
      
  
  
  
  1. from bs4 import BeautifulSoup 
    2.

下面開始創(chuàng)建對像，在開始之前為了方便演示，先創(chuàng)建一個html文本，如下：

 
 
 
 
      
  
  
  
  1. html = """ 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. The Dormouse's story 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5.  
    6.   
  
  
  
  6.  
    7.   
  
  
  
  7. The Dormouse's story
     
    8.   
  
  
  
  8.  
    9.   
  
  
  
  9. Once upon a time there were three little sisters; and their names were 
    10.   
  
  
  
  10.  
    11.   
  
  
  
  11. , 
    12.   
  
  
  
  12.  
    13.   
  
  
  
  13. Lacie and 
    14.   
  
  
  
  14.  
    15.   
  
  
  
  15. Tillie; 
    16.   
  
  
  
  16.  
    17.   
  
  
  
  17. and they lived at the bottom of a well.
     
    18.   
  
  
  
  18.  
    19.   
  
  
  
  19. ...
     
    20.   
  
  
  
  20.  
    21.   
  
  
  
  21. """ 
    22.

創(chuàng)建對象：soup=BeautifulSoup(html,’lxml’),這里的lxml是解析的類庫，目前來說個人覺得***的解析器了，一直在用這個，安裝方法：

 
 
 
 
      
  
  
  
  1. pip install lxml 
    2.

Tag

Tag就是html中的一個標(biāo)簽，用BeautifulSoup就能解析出來Tag的具體內(nèi)容，具體的格式為soup.name,其中name是html下的標(biāo)簽，具體實(shí)例如下：

 
 
 
 
      
  
  
  
  1. print soup.title # 輸出title標(biāo)簽下的內(nèi)容，包括此標(biāo)簽，這個將會輸出The Dormouse's story 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. print soup.head 
    4.

注意：

這里的格式只能獲取這些標(biāo)簽的***個，后面會講到獲取多個標(biāo)簽的方法。其中對于Tag有兩個重要的屬性name和attrs,分別表示名字和屬性,介紹如下：

  • name:對于Tag，它的name就是其本身，如soup.p.name就是p
  • attrs是一個字典類型的，對應(yīng)的是屬性-值，如print soup.p.attrs,輸出的就是{‘class’: [‘title’], ‘name’: ‘dromouse’},當(dāng)然你也可以得到具體的值，如print soup.p.attrs[‘class’],輸出的就是[title]是一個列表的類型，因?yàn)橐粋€屬性可能對應(yīng)多個值,當(dāng)然你也可以通過get方法得到屬性的，如：print soup.p.get(‘class’)。還可以直接使用print soup.p[‘class’]

get

get方法用于得到標(biāo)簽下的屬性值，注意這是一個重要的方法，在許多場合都能用到，比如你要得到標(biāo)簽下的圖像url,那么就可以用soup.img.get(‘src’),具體解析如下：

 
 
 
 
      
  
  
  
  1. print soup.p.get("class") #得到***個p標(biāo)簽下的src屬性 
    2.

string

得到標(biāo)簽下的文本內(nèi)容，只有在此標(biāo)簽下沒有子標(biāo)簽，或者只有一個子標(biāo)簽的情況下才能返回其中的內(nèi)容，否則返回的是None具體實(shí)例如下：

 
 
 
 
      
  
  
  
  1. print soup.p.string #在上面的一段文本中p標(biāo)簽沒有子標(biāo)簽，因此能夠正確返回文本的內(nèi)容         
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. print soup.html.string  #這里得到的就是None,因?yàn)檫@里的html中有很多的子標(biāo)簽 
    4.

get_text()

可以獲得一個標(biāo)簽中的所有文本內(nèi)容，包括子孫節(jié)點(diǎn)的內(nèi)容，這是最常用的方法

搜索文檔樹

find_all( name , attrs , recursive , text , **kwargs )

find_all是用于搜索節(jié)點(diǎn)中所有符合過濾條件的節(jié)點(diǎn)

1. name參數(shù)：是Tag的名字，如p,div,title …..

soup.find_all("p") 查找所有的p標(biāo)簽，返回的是[The Dormouse's story]，可以通過遍歷獲取每一個節(jié)點(diǎn)，如下：

 
 
 
 
      
  
  
  
  1. ps=soup.find_all("p") 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. for p in ps: 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5.     print p.get('class')   #得到p標(biāo)簽下的class屬性 
    6.

傳入正則表達(dá)式：soup.find_all(re.compile(r’^b’)查找以b開頭的所有標(biāo)簽，這里的body和b標(biāo)簽都會被查到

傳入類列表：如果傳入列表參數(shù),BeautifulSoup會將與列表中任一元素匹配的內(nèi)容返回.下面代碼找到文檔中所有標(biāo)簽和標(biāo)簽

 
 
 
 
      
  
  
  
  1. soup.find_all(["a", "b"]) 
    2.

2. KeyWords參數(shù)，就是傳入屬性和對應(yīng)的屬性值，或者一些其他的表達(dá)式

 
 
 
 
      
  
  
  
  1. # [foo!
] 
  •  
  • data_soup.find_all(attrs={"data-foo": "value"})   #注意這里的atts不僅能夠搜索特殊屬性，亦可以搜索普通屬性      
  •  
  • soup.find_all("p",attrs={'class':'title','id':'value'})  #相當(dāng)與soup.find_all('p',class_='title',id='value') 

    • 3. text參數(shù)：通過 text 參數(shù)可以搜搜文檔中的字符串內(nèi)容.與 name 參數(shù)的可選值一樣, text 參數(shù)接受 字符串 , 正則表達(dá)式 , 列表, True

     
 
 
 
        
  
  
  
    1. soup.find_all(text="Elsie") 
      2.   
  
  
  
    2.  
      3.   
  
  
  
    3. # [u'Elsie'] 
      4.   
  
  
  
    4.  
      5.   
  
  
  
    5. soup.find_all(text=["Tillie", "Elsie", "Lacie"]) 
      6.   
  
  
  
    6.  
      7.   
  
  
  
    7. # [u'Elsie', u'Lacie', u'Tillie'] 
      8.   
  
  
  
    8.  
      9.   
  
  
  
    9. soup.find_all(text=re.compile("Dormouse")) 
      10.   
  
  
  
    10.  
      11.   
  
  
  
    11. [u"The Dormouse's story", u"The Dormouse's story"] 
      12.

    4. limit參數(shù)：find_all() 方法返回全部的搜索結(jié)構(gòu),如果文檔樹很大那么搜索會很慢.如果我們不需要全部結(jié)果,可以使用 limit 參數(shù)限制返回結(jié)果的數(shù)量.效果與SQL中的limit關(guān)鍵字類似,當(dāng)搜索到的結(jié)果數(shù)量達(dá)到 limit 的限制時(shí),就停止搜索返回結(jié)果.

    文檔樹中有3個tag符合搜索條件,但結(jié)果只返回了2個,因?yàn)槲覀兿拗屏朔祷財(cái)?shù)量,代碼如下：

     
 
 
 
        
  
  
  
    1. soup.find_all("a", limit=2) 
      2.   
  
  
  
    2.  
      3.   
  
  
  
    3. # [Elsie, 
      4.   
  
  
  
    4.  
      5.   
  
  
  
    5. #  Lacie] 
      6.

    5. recursive 參數(shù):調(diào)用tag的 find_all() 方法時(shí),BeautifulSoup會檢索當(dāng)前tag的所有子孫節(jié)點(diǎn),如果只想搜索tag的直接子節(jié)點(diǎn),可以使用參數(shù) recursive=False

    find( name , attrs , recursive , text , **kwargs )

    它與 find_all() 方法唯一的區(qū)別是 find_all() 方法的返回結(jié)果是值包含一個元素的列表,而 find() 方法直接返回結(jié)果,就是直接返回***匹配到的元素，不是列表，不用遍歷，如soup.find("p").get("class")

    通過標(biāo)簽名查找

     
 
 
 
        
  
  
  
    1. print soup.select('title') 
      2.   
  
  
  
    2.  
      3.   
  
  
  
    3. #[The Dormouse's story] 
      4.   
  
  
  
    4.   
      5.   
  
  
  
    5.  
      6.   
  
  
  
    6. print soup.select('a') 
      7.   
  
  
  
    7.  
      8.   
  
  
  
    8. #[Tillie] 
      9.

    通過類名查找

     
 
 
 
        
  
  
  
    1. print soup.select('.sister') 
      2.   
  
  
  
    2.  
      3.   
  
  
  
    3. #[Tillie] 
      4.

    通過id名查找

     
 
 
 
        
  
  
  
    1. print soup.select('#link1') 
      2.   
  
  
  
    2.  
      3.   
  
  
  
    3. #[] 
      4.

    組合查找

    學(xué)過 css 的都知道 css 選擇器，如 p #link1 是查找 p 標(biāo)簽下的 id 屬性為 link1 的標(biāo)簽

     
 
 
 
        
  
  
  
    1. print soup.select('p #link1')    #查找p標(biāo)簽中內(nèi)容為id屬性為link1的標(biāo)簽 
      2.   
  
  
  
    2.  
      3.   
  
  
  
    3. #[] 
      4.   
  
  
  
    4.  
      5.   
  
  
  
    5.   
      6.   
  
  
  
    6.  
      7.   
  
  
  
    7. print soup.select("head > title")   #直接查找子標(biāo)簽 
      8.   
  
  
  
    8.  
      9.   
  
  
  
    9. #[The Dormouse's story] 
      10.

    屬性查找

    查找時(shí)還可以加入屬性元素，屬性需要用中括號括起來，注意屬性和標(biāo)簽屬于同一節(jié)點(diǎn)，所以中間不能加空格，否則會無法匹配到。

     
 
 
 
        
  
  
  
    1. print soup.select('a[class="sister"]') 
      2.   
  
  
  
    2.  
      3.   
  
  
  
    3. #[Tillie] 
      4.   
  
  
  
    4.   
      5.   
  
  
  
    5.  
      6.   
  
  
  
    6. print soup.select('a[) 
      7.   
  
  
  
    7.  
      8.   
  
  
  
    8. #[] 
      9.

    同樣，屬性仍然可以與上述查找方式組合，不在同一節(jié)點(diǎn)的空格隔開，同一節(jié)點(diǎn)的不加空格,代碼如下：

     
 
 
 
        
  
  
  
    1. print soup.select('p a[) 
      2.   
  
  
  
    2.  
      3.   
  
  
  
    3. #[] 
      4.

    以上的 select 方法返回的結(jié)果都是列表形式，可以遍歷形式輸出，然后用 get_text() 方法來獲取它的內(nèi)容

     
 
 
 
        
  
  
  
    1. soup = BeautifulSoup(html, 'lxml') 
      2.   
  
  
  
    2. print type(soup.select('title')) 
      3.   
  
  
  
    3.  
      4.   
  
  
  
    4. print soup.select('title')[0].get_text() 
      5.   
  
  
  
    5.   
      6.   
  
  
  
    6.  
      7.   
  
  
  
    7. for title in soup.select('title'): 
      8.   
  
  
  
    8.  
      9.   
  
  
  
    9.     print title.get_text() 
      10.

    本文名稱：Python爬蟲之BeautifulSoup
    URL標(biāo)題：http://www.dlmjj.cn/article/djsgoij.html