Python爬蟲——Xpath和lxml

1. Xpath 基本語法
1.1什麼是XpathXpath，全稱 XML Path Language，及XML路徑語言，是一門在XML文檔中查找信息的語言，最初是用來搜尋XML文檔的，但是它同樣適用於HTML文檔的搜索。1.2 常用規則

獲取文本

表達式描述a/text()獲取 a 下的文本a//text()獲取 a 下所有元素的文本//a[text()='下一頁']獲取文本為下一頁的 a 元素

獲取屬性

表達式描述nodename選取此節點的所有子節點/從當前節點選取直接子節點//從當前節點選取子孫節點.選取當前節點..選取當前節點的父節點@選取屬性*匹配任何元素節點@*匹配任何屬性節點node()匹配任何類型的節點1.3示例路徑表達式結果/bookstore/book[1] （注意下標從1開始）選取屬於 bookstore 子元素的第一個book元素/bookstore/book[last()]選取屬於 bookstore 子元素的最後一個 book 元素/bookstore/book[last()-1]選取屬於 bookstore 子元素的倒數第二個 book 元素/bookstore/book[position()<3]選取屬於 bookstore 子元素的 最前面兩個 book 元素//title[@lang]選取所有擁有名為 lang 的屬性的title元素//title[@lang='eng']選取所有 lang 屬性為 eng 的 title 元素/bookstore/book[price>35.00]選取 bookstore 元素下所有 book 元素，它們的 price 元素值大於 35.00/bookstore/book[price>35.00]/title選取 bookstore 元素中的 book 元素的所有 title 元素，且 price 元素的值大於35.00/bookstore/*選取 bookstore 的所有子元素//*選取文檔中的所有元素//node()/meta[]/@*選取 html 下面任意節點的 meta 節點的所有屬性//title[@*]選取所有帶有屬性的 title 元素//book/title | // book/price選取 book 元素的所有 title 和 price 元素//title | //price選取文檔中的所有 title 和 price 元素//bookstore/book/title | //price選取屬於 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素2. lxml的使用2.1 使用注意點lxml 能夠修正 HTML 代碼，但是可能會改錯了，解決方法：使用etree.tostring觀察修改之後的html的樣子，根據修改之後的html字符串寫xpath遍歷，取其中每一組進行數據的提取，不會造成數據的對應錯亂2.2 簡單示例

from lxml import etree

text = ''' <div> <ul>
<li><a href="link1.html">first item</a></li>
<li><a href="link2.html">second item</a></li>
<li><a href="link3.html">third item</a></li>
<li><a href="link4.html">fourth item</a></li>
<li><a href="link5.html">fifth item</a>
</ul> </div> '''

html = etree.HTML(text)

print(html) # <Element html at 0x1f1007c9d08>
print(etree.tostring(html).decode())

# 獲取 class 為 item-1 li 下的 a 的 href
ret1 = html.xpath('//li[@class="item-1"]/a/@href')
print(ret1)

# 獲取 class 為 item-1 li 下的文本
ret2 = html.xpath("//li[@class='item-1']/a/text()")
print(ret2)

# 把 url 和 文本組成字典
# 如果其中一個獲取失敗或者沒有數據，則url 和 title 就不是原來對應的結果
for i in ret1:
item = {}
item['url'] = i
item['title'] = ret2[ret1.index(i)]
print(item)

# 改進
ret3 = html.xpath('//li[@class="item-1"]')
for i in ret3:
item = {}
item['url'] = i.xpath('./a/@href')[0] if len(i.xpath('./a/@href')) else None # ./a/@href 表示當前節點下的
item['title'] = i.xpath('./a/text()')[0] if len(i.xpath('./a/text()')) else None
print(item)

聲明：https://juejin.cn/post/6844903764302757895