新聞中心
這篇文章主要介紹了python中Xpath的語法分析,具有一定借鑒價(jià)值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
一、XMl簡介
(一)什么是 XML
XML 指可擴(kuò)展標(biāo)記語言(EXtensible)
XML 是一種標(biāo)記語言,很類似 HTML。
XML 的設(shè)計(jì)宗旨是傳輸數(shù)據(jù),而非顯示數(shù)據(jù)。
XML 的標(biāo)簽需要我們自行定義。
XML 被設(shè)計(jì)為具有自我描述性。
XML 是 W3C 的推薦標(biāo)準(zhǔn)。
W3School 官方文檔:http://www.w3school.com.cn/xml/index.asp
(二)XML 和 HTML 的區(qū)別
他們兩者都是用于操作數(shù)據(jù)或者結(jié)構(gòu)數(shù)據(jù),在結(jié)構(gòu)上大致相同的,但他們?cè)诒举|(zhì)上卻存在著明顯的區(qū)別。
數(shù)據(jù)格式 | 描述 | 設(shè)計(jì)目標(biāo) |
---|---|---|
XML | Extensible Markup Language ( 可擴(kuò)展標(biāo)記語言) | 被設(shè)計(jì)為傳輸和存儲(chǔ)數(shù)據(jù),其焦點(diǎn)是數(shù)據(jù)的內(nèi)容。 |
HTML | HyperText Markup Language(超文本標(biāo)記語言) | 顯示數(shù)據(jù)以及如何更好顯示數(shù)據(jù)。 |
HTML DOM | Document Object Model for HTML(超文本標(biāo)文檔對(duì)象模型) | 通過 HTML DOM,可以訪問所有的 HTML 元素, 連同它們所包含的文本和屬性??梢詫?duì)其中的內(nèi)容進(jìn)行修改和刪除,同時(shí)也可以創(chuàng)建新的元素。 |
(三)XML 的節(jié)點(diǎn)關(guān)系
Harry Potter J K.Rowling 2005 29.00
1.父(Parent)
每個(gè)元素以及屬性都有一個(gè)父。上面是一個(gè)簡單的 XML 例子中,book 元素是 title、author、year 以及 price 元素的父
2.子(Children)
元素節(jié)點(diǎn)可有零個(gè)、一個(gè)或多個(gè)子元素。在上面的例子中,title、author、year 以及 price 元素都是 book 元素的子元素
3. 同胞(Sibling)
擁有相同的父的節(jié)點(diǎn)。在上面的例子中,title、author、year 以及 price 元素都是同胞
4. 先輩(Ancestor)
某節(jié)點(diǎn)的父、父的父,等等。在上面的例子中,title 元素的先輩是 book 元素和 bookstore元素
5. 后代(Descendant)
某個(gè)節(jié)點(diǎn)的子,子的子等等。在上面的例子中,bookstore 的后代是 book、title、author、year 以及 price 元素:
二、XPATH
XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言,可用來在 XML 文檔中對(duì)元素和屬性進(jìn)行遍歷。
(一)選取節(jié)點(diǎn)
XPath 使用路徑表達(dá)式來選取 XML 文檔中的節(jié)點(diǎn)或者節(jié)點(diǎn)集。這些路徑表達(dá)式和我們?cè)诔R?guī)的電腦文件系統(tǒng)中看到的表達(dá)式非常相似。下面列出了最常用的路徑表達(dá)式:
表達(dá)式 | 描述 |
---|---|
nodename | 選取此節(jié)點(diǎn)的所有子節(jié)點(diǎn)。 |
/ | 從節(jié)點(diǎn)選取。 |
// | 從匹配選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn),而不考慮他們的位置。 |
. | 選取當(dāng)前節(jié)點(diǎn)。 |
.. | 選取當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)。 |
@ | 選取屬性。 |
在下面的表格中,我們已列出了一些路徑表達(dá)式以及表達(dá)式的結(jié)果:
路徑表達(dá)式 | 描述 |
---|---|
bookstore | 選取 bookstore 元素的所有子節(jié)點(diǎn) |
/bookstore | 選取根元素 bookstore。代表元素的絕對(duì)路徑。 |
bookstore/book | 選取屬于 bookstore 的子元素的所有 book 元素。 |
//book | 選取所有 book 子元素,而不管它們?cè)谖臋n中的位置 |
bookstore//book | 選擇屬于 booksore 元素的后代所有的 book 元素,而不管他們位于 bookstore 之下的什么位置。 |
//@lang | 選取名為 lang 的所有屬性。 |
text() | 取標(biāo)簽當(dāng)中的值 |
(二)謂語(Predicates)
謂語用來查找某個(gè)特定的節(jié)點(diǎn)或者包含某個(gè)指定的值的節(jié)點(diǎn),被嵌在方括號(hào)中。在下面的表格中,我們列出了帶有謂語的一些路徑表達(dá)式,以及表達(dá)式的結(jié)果:
路徑表達(dá)式 | 描述 |
---|---|
/bookstore/book[l] | 選取屬于 bookstore 子元素的第一個(gè) book 元素。 |
/bookstore/book[last()] | 選取屬于 bookstore 子元素的最后一個(gè) book 元素。 |
/bookstore/book[last()-1] | 選取屬于 bookstore 子元素的倒數(shù)第二個(gè) book 元素。 |
/bookstore/book[position()<2] | 選最前面的一個(gè)屬于 bookstore 元素的子元素的 book 元素。 |
//title[@lang] | 選取所有屬性名為 lang 的屬性的 title 元素。 |
//titlel@lang=‘eng’] | 選取所有 tltle 元素,且這些元素有屬性值為 eng 的 lang 屬性。 |
(三)選取未知節(jié)點(diǎn)
XPath 通配符可用來選取未知的 XML 元素。
通配符 | 描述 |
---|---|
* | 匹配任何元素節(jié)點(diǎn)。 |
@* | 匹配任何屬性節(jié)點(diǎn)。 |
在下面的表格中,我們列出了一些路徑表達(dá)式,以及這些表達(dá)式的結(jié)果:
路徑表達(dá)式 | 描述 |
---|---|
/bookstore/* | 選取 bookstore 元素的所有子元素 |
//* | 選取文檔中的所有元素。 |
//title[@*] | 選取所有帶有屬性的 title 元素。 |
(四)選取若干路徑
通過在路徑表達(dá)式中使用“|”運(yùn)算符,您可以選取若干個(gè)路徑。在下面的表格中,我們列出了一些路徑表達(dá)式,以及這些表達(dá)式的結(jié)果:
路徑表達(dá)式 | 描述 |
---|---|
//book/title | //book/price |
//title | //price |
//price | 選取文檔中所有的 price 元素。 |
三、lxml 模塊
(一)lxml 簡介與安裝
lxml 是一個(gè) HTML/XML 的解析器,主要的功能是如何解析和提取 HTML/XML 數(shù)據(jù)。我們可以利用之前學(xué)習(xí)的 XPath 語法,來快速的定位特定元素以及節(jié)點(diǎn)信息。
安裝方法:pip install lxml
(二)lxml 初步使用
1、解析HTML字符串
XML 素材:/tupian/20230522/10114698.html 小結(jié):lxml 可以自動(dòng)修正 html 代碼,例子里不僅補(bǔ)全了 li 標(biāo)簽,還添加了 body,html 標(biāo)簽。
2.、lxml 文件讀取
XML 素材:http://www.cnblogs.com/zhangboblogs/p/10114698.htm
除了直接讀取字符串,lxml 還支持從文件里讀取內(nèi)容。我們新建一個(gè) hello.html 文件,再利用 etree.parse()方法來讀取文件。
注意:從文件中讀取數(shù)據(jù),要求文件內(nèi)容符合 xml 格式,如果標(biāo)簽缺失,則不能正常讀取。
四、XPath 節(jié)點(diǎn)信息解析:
# 安裝lxml: pip install lxml # 1. 導(dǎo)入etree: 兩種導(dǎo)入方式 # 第一種: 直接導(dǎo)入 from lxml import etree # 注意: 此種導(dǎo)入方式,可能會(huì)導(dǎo)致報(bào)錯(cuò)(etree下面會(huì)出現(xiàn)紅色波浪線,不影響正常使用) # 第二種: # from lxml import html # etree = html.etree str = '' \ ' ' # 2. etree.HTML() 將字符串轉(zhuǎn)換成HTML元素對(duì)象,可以自動(dòng)添加缺失的元素 html = etree.HTML(str) #' \ ' ' \ 'Harry Potter ' \ '29.99 ' \ '' \ ' ' \ 'Learning XML ' \ '39.95 ' \ '' \ ' ' \ '西游記 ' \ '69.95 ' \ '' \ ' ' \ '水滸傳 ' \ '29.95 ' \ '' \ ' ' \ '三國演義 ' \ '29.95 ' \ '是一個(gè)el對(duì)象 # print(html) # 3. 方法: # 3.1 tostring() 查看轉(zhuǎn)換之后的內(nèi)容(二進(jìn)制類型) # 如果想要查看字符串,需要解碼 # 如果想要顯示漢字,需要先編碼,再解碼 # content = etree.tostring(html,encoding='utf-8') # print(content.decode()) # 3.2 xpath()方法 作用:提取頁面數(shù)據(jù),返回值是一個(gè)列表 # xpath的使用一定是建立在etree.HTML()之后的內(nèi)容中的 # xpath是如何來提取頁面數(shù)據(jù)的? # 答:使用的是路徑表達(dá)式 # 3.2.1 xpath路徑分為兩種: # 第一種: / 代表一層層的查找,如果/存在于開頭,代表根路徑 # bookstore = html.xpath('/html/body/bookstore') # print(bookstore) # [ ] # 第二種: // 任意路徑 焦點(diǎn)在元素身上 # 例如:查找bookstore標(biāo)簽 # bookstore = html.xpath('//bookstore') # print(bookstore) # [ ] # 第一種和第二種結(jié)合 # 例如:查找所有book標(biāo)簽 # book = html.xpath('//bookstore/book') # print(book) # [ , , , , ] # 3.2.2 /text() 獲取標(biāo)簽之間的內(nèi)容 # 例如:獲取所有title標(biāo)簽的內(nèi)容 # 步驟: # 1. 找到所有title標(biāo)簽 # 2. 獲取內(nèi)容 # title = html.xpath('//book/title/text()') # print(title) # ['Harry Potter', 'Learning XML', '西游記', '水滸傳', '三國演義'] # 3.3 位于 使用[] 可以理解成條件 # 3.3.1 [n] 代表獲取第n個(gè)元素,n是數(shù)字,n<=1 # 例如: 獲取第二個(gè)title標(biāo)簽 # title = html.xpath('//book[2]/title/text()') # title1 = html.xpath('//title[2]/text()') # print(title) # ['Learning XML'] # print(title1) # [] # last() 獲取最后一個(gè) # 同理: last()-1 獲取倒數(shù)第二個(gè) # 例如: 獲取最后一本書的title標(biāo)簽之間的內(nèi)容 # title = html.xpath('//book[last()]/title/text()') # title1 = html.xpath('//book[last()-1]/title/text()') # print(title) # ['三國演義'] # print(title1) # ['水滸傳'] # 3.3.2 position() 位置,范圍 支持 > / < / = / >= / <= / != # 例如: 獲取最后兩本書的title標(biāo)簽之間的內(nèi)容 # 步驟: # 1. 先獲取后兩本書 # 2. 獲取內(nèi)容 # title = html.xpath('//book[position()>3]/title/text()') # print(title) # ['水滸傳', '三國演義'] # ? title = html.xpath('//book[position()>last()-2]/title/text()') # print(title) # ['水滸傳', '三國演義'] # 3.3.3 獲取屬性值:@屬性名 # 例如: 獲取lang屬性值為cng的title標(biāo)簽的內(nèi)容 # title = html.xpath('//book/title[@lang="cng"]/text()') # print(title) # ['西游記'] # 例如: 獲取包含src屬性得title標(biāo)簽的內(nèi)容 # title = html.xpath('//book/title[@src]/text()') # print(title) # ['Harry Potter', '水滸傳', '三國演義'] # 例如: 獲取包含屬性的title標(biāo)簽的內(nèi)容 # title = html.xpath('//book/title[@*]/text()') # print(title) # ['Harry Potter', 'Learning XML', '西游記', '水滸傳', '三國演義'] # 例如: 獲取最后一個(gè)title標(biāo)簽的src屬性的值 # title = html.xpath('//book[last()]/title/@src') # print(title) # ['https://www.jd.com'] # 例如: 獲取所有包含src屬性的標(biāo)簽之間的內(nèi)容 # node = html.xpath('//*[@src]/text()') # print(node) # ['Harry Potter', '水滸傳', '三國演義'] # 3.4 and 與 連接的是謂語(條件) # 例如: 獲取lang="dng"并且class="t1"的title標(biāo)簽的內(nèi)容 # title = html.xpath('//book/title[@lang="dng" and @class="t1"]/text()') # title1 = html.xpath('//book/title[@lang="dng"][@class="t1"]/text()') # print(title) # ['三國演義'] # print(title1) # ['三國演義'] # 3.5 or 或 連接謂語 # 例如: 查找lang="cng"或者lang="bng"的title標(biāo)簽的內(nèi)容 # title = html.xpath('//book/title[@lang="cng" or @lang="bng"]/text()') # print(title) # ['Harry Potter', '西游記'] # 3.6 | 連接路徑 # 例如: 獲取所有title標(biāo)簽和price標(biāo)簽之間的內(nèi)容 # title = html.xpath('//title/text() | //price/text()') # print(title) # ['Harry Potter', '29.99', 'Learning XML', '39.95', '西游記', '69.95', '水滸傳', '29.95', '三國演義', '29.95'] # 3.8 parse() 作用:從文件中讀取數(shù)據(jù) # 注意: 讀取的文件,必須滿足xml格式**(不存在單標(biāo)簽,全部都是上標(biāo)簽)** content = etree.parse('test.html') # print(content) # res = etree.tostring(content,encoding='utf-8') print(res.decode()) test 這是一個(gè)html
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享python中Xpath的語法分析內(nèi)容對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司,,關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,遇到問題就找創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司,,詳細(xì)的解決方法等著你來學(xué)習(xí)!
文章標(biāo)題:python中Xpath的語法分析-創(chuàng)新互聯(lián)
本文路徑:http://www.dlmjj.cn/article/jchch.html