Python爬蟲教程-22-lxml-etree和xpath配合使用

肖朋偉發表於2018-09-06
Python爬蟲XML

Python爬蟲教程-22-lxml-etree和xpath配合使用

  • lxml：python 的HTML/XML的解析器
  • 官網文件：https://lxml.de/
  • 使用前，需要安裝安 lxml 包
  • 功能：
    • 1.解析HTML：使用 etree.HTML(text) 將字串格式的 html 片段解析成 html 文件
    • 2.讀取xml檔案
    • 3.etree和XPath 配合使用

lxml 的安裝

  • 【PyCharm】>【file】>【settings】>【Project Interpreter】>【+】 >【lxml】>【install】
  • 具體操作截圖：
    這裡寫圖片描述這裡寫圖片描述這裡寫圖片描述

lxml-etree 的使用

  • 案例v25檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py25etree.py
  • 用 lxml 來解析HTML程式碼
# 先安裝lxml

# 用 lxml 來解析HTML程式碼

from lxml import etree

text = '''
<div>
    <ul>
        <li class="item-0"><a href="0.html">item 0 </a></li>
        <li class="item-1"><a href="1.html">item 1 </a></li>
        <li class="item-2"><a href="2.html">item 2 </a></li>
        <li class="item-3"><a href="3.html">item 3 </a></li>
        <li class="item-4"><a href="4.html">item 4 </a></li>
        <li class="item-5"><a href="5.html">item 5 </a></li>
    </ul>     
</div>
'''

# 利用 etree.HTML 把字串解析成 HTML 檔案
html = etree.HTML(text)
s = etree.tostring(html).decode()

print(s)

執行結果

這裡寫圖片描述

lxml-etree 的使用

  • 案例v26etree2檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py26etree2.py
  • 讀取xml檔案：
# lxml-etree讀取檔案
from lxml import etree

xml = etree.parse("./py24.xml")
sxml = etree.tostring(xml, pretty_print=True)

print(sxml)

執行結果

這裡寫圖片描述

etree和XPath 配合使用

  • 案例v26expath.檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py26expath.py
  • etree和XPath 配合使用：
# lxml-etree讀取檔案
from lxml import etree

xml = etree.parse("./py24.xml")
print(type(xml))

# 查詢所有 book 節點
rst = xml.xpath('//book')
print(type(rst))
print(rst)

# 查詢帶有 category 屬性值為 sport 的元素
rst2 = xml.xpath('//book[@category="sport"]')

print(type(rst2))
print(rst2)

# 查詢帶有category屬性值為sport的元素的book元素下到的year元素
rst3 = xml.xpath('//book[@category="sport"]/year')
rst3 = rst3[0]

print('-------------\n',type(rst3))
print(rst3.tag)
print(rst3.text)

執行結果

etree和XPath 配合使用結果
這裡寫圖片描述

更多文章連結：Python 爬蟲隨筆

  • 本筆記不允許任何個人和組織轉載

相關文章