python 爬蟲

落落的学习發表於2024-04-20

原文網址 : http://blog.itpub.net/678020/viewspace-2637146/

Python爬蟲

python 爬蟲

1.開發工具

pycharm：

https://pan.baidu.com/s/1s_bkgDT0QxNTQY07LnQRWQ?pwd=2dlb
提取碼：2dlb

python3

VSCode

2.第一個爬蟲的開發

from urllib.request import urlopen

url = "http://www.baidu.com"

resp = urlopen(url)
#print(resp.read().decode("utf-8")) #獲取頁面原始碼

#將頁面原始碼儲存到當前目錄下的 mybaidu.html 檔案中
with open("mybaidu.html", mode="w", encoding="utf-8") as f:
    f.write(resp.read().decode("utf-8"))

3.瀏覽器工具的使用

4.HTTP 協議

HTTP（Hyper Text Transfer Protocol）：超文字傳輸協議

請求：

請求行 -> 請求方式（get/post）請求 URL 地址 協議
請求頭 -> 放一些伺服器要使用的附加資訊

請求體 -> 一般放一些請求引數

響應：

狀態行 -> 協議 狀態碼
響應頭 -> 放一些客戶端要使用的一些附加資訊

響應體 -> 伺服器返回的真正客戶端要使用的內容（HTML、json）等

請求頭中最常見的一些重要內容（爬蟲需要）：

User-Agent：請求載體的身份標識（用什麼傳送的請求）
Referer：防盜鏈（該請求是從哪個頁面來的，反爬會用到）
Cookie：本地字串資料資訊（使用者登入資訊，反爬的 token）

響應頭中的一些重要的內容：

Cookie：本地字串資料資訊（使用者登入資訊，反爬的 token）
各種神器的莫名其妙的字串（需要經驗判斷，一般是 token 字樣，防止各種攻擊和反爬）

5.requests 模組入門

5.1.模組安裝

模組安裝：pip install requests

如果安裝速度慢的話，可以改用國內源進行下載：

臨時使用：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
設為預設：
pip install pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

5.2.使用

python 指令碼的命名不要和模組相同

import requests

#爬取百度的頁面原始碼
url = "http://www.baidu.com"
resp = requests.get(url)
resp.encoding = "utf-8" #設定編碼方式
print(resp.text) #拿到頁面原始碼

5.3.UA 頭反爬

import requests

content = input("請輸入你要檢索的內容：")
url = f"https://www.sogou.com/sie?query={content}"

headers = {
    #新增一個請求資訊，UA 頭
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"
}
#處理一個小小的反爬
resp = requests.get(url, headers=headers)
print(resp.text)

#print(resp.request.headers) #可以檢視到預設的請求頭資訊

5.4.GET 請求方法-get，params

get 函式，params 傳遞引數

import requests

url = "https://movie.douban.com/j/chart/top_list"

data = {
    "type": "13",
    "interval_id": "100:90",
    "action": "",
    "start": "0",
    "limit": "20"
}

header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"}
resp = requests.get(url, params=data, headers=header)
#print(resp.text) #拿到的是文字字串
print(resp.request.url) #輸出請求的 url
print(resp.json()) #直接拿到的是 json 資料

5.5.POST 請求方法

post 函式，data 傳遞引數

import requests

url = "https://movie.douban.com/j/chart/top_list"

data = {
    "kw":input("請輸入一個單詞：")
}

resp = requests.post(url, data=data)
#print(resp.text) #拿到的是文字字串
print(resp.json()) #直接拿到的是 json 資料

6.資料解析

四種解析方式

re 解析（正則）
bs4 解析
xpath 解析
pyquery 解析

四種方式可以混合使用

7.正規表示式

線上測試正規表示式：https://tool.oschina.net/regex/

7.1.常用元字元

元字元：具有固定含義的特殊符號，一個元字元匹配一位

.：匹配除換行符以外的任意字元
\w：匹配字母或數字或下劃線
\s：匹配任意的空白符
\d：匹配數字
\n：匹配一個換行符
\t：匹配一個製表符

^：匹配以某字串開頭的，^test
$：匹配以某字串結尾的，test$

\W：匹配非字母或數字或下劃線
\D：匹配非數字
\S：匹配非空白符
a|b：匹配字元a，或字元b
()：匹配括號內的表示式，也表示一個組
[...]：匹配字元組種的字元
[^...]：匹配除了字元組中的字元的左右字元

7.2.量詞

量詞：控制前面的元字元出現的次數

*：重複零次或多次
+：重複一次或多次
?：重複零次或一次
{n}：重複 n 次
{n,}：重複 n 次或更多次
{n,m}：重複至少 n 次且最多 m 次

7.3.貪婪匹配和惰性匹配

.*：貪婪匹配（儘可能多地匹配）
>*?：惰性匹配（儘可能少地匹配）

在爬蟲中用得最多的就是惰性匹配

案例

str：玩兒吃雞遊戲，晚上一起打遊戲，幹嘛呢？打遊戲啊

reg：玩兒.*?遊戲
匹配結果：玩兒吃雞遊戲

reg：玩兒.*遊戲
匹配結果：玩兒吃雞遊戲，晚上一起打遊戲，幹嘛呢？打遊戲

8.re 模組

8.1.基本使用

內建模組

import re

#result = re.findall(r"\d+", "我今年18歲，存款280000000塊")
#print(result)

#重點
# result = re.finditer(r"\d+", "我今年18歲，存款280000000塊")
# for item in result: #從迭代器中拿到內容
#     print(item.group()) #從匹配到地結果中拿到資料

#search 只會匹配到第一次匹配地內容
# result = re.search(r"\d+", "我叫張三，今年20歲，我地班級是5年4班")
# print(result.group())

#match 在匹配時，是從字串的開頭進行匹配的，類似在正則前面加上了 ^
# result = re.match(r"\d+", "我叫張三，今年20歲，我地班級是5年4班")
# print(result)

#預載入，提前把正則物件載入完畢
obj = re.compile(r"\d+")
#直接使用載入好的正則
result = obj.findall("我叫張三，今年20歲，我地班級是5年4班")
print(result)

獲取資料

import re

#想要提取資料，必須用小括號括起來，可以單獨起名字
#(?P<名字>正則)
#提取資料的時候，需要 group("名字")
s = """
<div class='西遊記'><span id='10010'>中國聯通</span></div>
<div class='西遊記'><span id='10086'>中國移動</span></div>
"""
obj = re.compile(r"<span id='(?P<id>\d+)'>(?P<name>.*?)</span>")

result = obj.finditer(s)
for item in result:
    id = item.group("id")
    print(id)

    name = item.group("name")
    print(name)

8.2.案例1-豆瓣top250

先檢視想獲取的資料是否在頁面原始碼中

"""
思路：
1.拿到頁面原始碼
2.編寫正則，提取頁面資料
3.儲存資料
"""
import requests
import re

f = open("top250.csv", mode="w", encoding="utf-8")

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"}

for i in range(1, 11):
    url = f"https://movie.douban.com/top250?start={(i-1)*25}&filter="
    resp = requests.get(url, headers=headers)
    url = "https://movie.douban.com/top250"
    # resp.encoding = "utf-8" #解決中文亂碼問題
    pageSource = resp.text
    # print(pageSource)

    # 編寫正規表示式
    # re.S 可以讓正則中的 . 匹配換行符
    obj = re.compile(r'<div class="item">.*?<span class="title">'
                     r'(?P<name>.*?)</span>.*?<p class="">.*?導演: '
                     r'(?P<dao>.*?)&nbsp;.*?<br>'
                     r'(?P<year>.*?)&nbsp;.*?<span class="rating_num" property="v:average">'
                     r'(?P<score>.*?)</span>.*?<span>(?P<num>.*?)人評價</span>', re.S)

    # 進行正則匹配
    result = obj.finditer(pageSource)
    for item in result:
        name = item.group("name")  # 拿結果
        dao = item.group("dao")
        year = item.group("year").strip()  # 去除字串左右兩端空白
        score = item.group("score")
        num = item.group("num")
        f.write(f"{name},{dao},{year},{score}\n")  # 可以更換成 csv 模組，進行資料寫入
        # print(name, dao, year, score, num)

f.close()
resp.close()
print("豆瓣top250提取完畢")

#如何翻頁提取
#（頁數-1）*25 => start

8.3.案例2-獲取電影天堂電影名稱及對應下載連結

"""
思路：
1.提取到主頁面中的每一個電影的背後的那個 url 地址
    1.1.拿到 “2024必看熱片” 那一塊的 HTML 程式碼
    1.2.從剛才拿到的 HTML 程式碼中提取到 href 值
2.訪問子頁面，提取到電影的名稱以及下載連結
    2.1.拿到子頁面的頁面原始碼
    2.2.資料提取
"""
import requests
import re

url = "https://www.dy2018.com/"
resp = requests.get(url)
resp.encoding = "gbk"
#print(resp.text)

#1.1.提取 2024必看熱片 部分的 HTML 程式碼
obj1 = re.compile(r"2024必看熱片.*?<ul>(?P<html>.*?)</ul>", re.S)
result1 = obj1.search(resp.text)
html = result1.group("html")

#1.2.提取a標籤中的href值
obj2 = re.compile(r"<li><a href='(?P<href>.*?)' title", re.S)
result2 = obj2.finditer(html)


obj3 = re.compile(r'<div id="Zoom">.*?◎片　　名(?P<moive_name>.*?)<br />.*?'
                  r'<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="'
                  r'(?P<download>.*?)">', re.S)

for item in result2:
    #拼接出子頁面的url
    child_url = url.strip("/") + item.group("href")
    child_resp = requests.get(child_url)
    child_resp.encoding = "gbk"

    result3 = obj3.search(child_resp.text)
    movie_name = result3.group("moive_name")
    download = result3.group("download")
    print(movie_name, download)

9.CSS 基礎語法

9.1.CSS 語法規則

透過 style 屬性來編寫樣式

透過 style 標籤，然後使用選擇器的形式來編寫樣式

在 CSS 檔案中編寫樣式，透過 link 引入該檔案

9.2.CSS 選擇器

id 選擇器：#

標籤選擇器：標籤

類選擇器：.

選擇器分組：,

後代選擇器：空格

子選擇器：>

相鄰選擇器：+

屬性選擇器：[屬性=值]

10.bs4 解析

10.1.基本使用

安裝：pip install bs4

from bs4 import BeautifulSoup

html = """
<ul>
    <li><a href="zhangwuji.com">張無忌</li>
    <li id="abc"><a href="zhouxingchi.com">周星馳</li>
    <li><a href="zhubajie.com">豬八戒</li>
    <li><a href="wuzetian.com">武則天</li>
    <a href="jinmaoshiwang.com">金毛獅王</a>
</ul>
"""

#1.初始化 BeautifulSoup 物件
page = BeautifulSoup(html, "html.parser")
#page.find("標籤名", attrs={"屬性":"值"}) #查詢某個元素，只會找到一個結果
#page.find_all("標籤名", attrs={"屬性":"值"}) #找到一堆結果

# li = page.find("li", attrs={"id":"abc"})
# a = li.find("a")
# print(a.text) #拿文字
# print(a.get("href")) #拿屬性值：.get("屬性名")

li_list = page.find_all("li")
for li in li_list:
    a = li.find("a")
    text = a.text
    href = a.get("href")
    print(text, href)

10.2.案例1-新發地菜價

import requests
from bs4 import BeautifulSoup

f = open("新發地菜價.csv", mode="w", encoding="utf-8")

url = "http://www.xinfadi.com/marketanalysis/0/list/1.shtml"
resp = requests.get(url)
#初始化物件
page = BeautifulSoup(resp.text, "html.parser")
table = page.find("table", attrs={"class":"hq_table"})
trs = table.find_all("tr")[1:] #拿到除第一行外的所有 tr
for tr in trs:
    tds = tr.find_all("td")
    name = tds[0].text #品名
    low = tds[1].text #最低價
    avg = tds[2].text #平均價
    hig = tds[3].text #最高價
    kind = tds[4].text #規格
    dan = tds[5].text #單位
    date = tds[6].text #釋出日期
    #print(name, low, avg, hig, dan, date)
    f.write(f"{name},{low},{avg},{hig},{dan},{date}")
f.close()
resp.close()
print("爬取成功")

10.3.案例2-圖片抓取

import requests
from bs4 import BeautifulSoup

"""
注意：
子頁面的 url 如果開頭是 /，直接在前面拼接上域名即可
子頁面的 url 不是 / 開頭，此時需要找到主頁面的 url，去掉最後一個 / 後面的所有內容，和當前獲取的 url 進行拼接
"""
domain = "https://www.umei.net"
url = "https://www.umei.net/bizhitupian/xiaoqingxinbizhi/"
resp = requests.get(url)
resp.encoding = "utf-8"

n = 1 #圖片名稱

main_page = BeautifulSoup(resp.text, "html.parser")
a_list = main_page.find_all("a", attrs={"calss":"TypeBigPics"})
for a in a_list:
    href = a.get("href")
    child_url = domain + href
    child_resp = requests.get(child_url) #請求到子頁面
    child_resp.encoding = "utf-8"
    # print(child_resp.text)
    # break #測試以下，如果亂碼需要進行編碼設定
    #子頁面的 bs 物件
    child_bs = BeautifulSoup(child_resp.text, "html.parser")
    div = child_bs.find("div", attrs={"class":"ImageBody"})
    img_src = div.find("img").get("src") #拿到圖片的下載路徑
    #print(img_src)
    #下載圖片
    img_resp = requests.get(img_src)
    with open(f"{n}.jpg", mode="wb") as f: #注意，此時寫入到檔案的是位元組，所以必須是 wb
        f.write(img_resp.content) #把圖片資訊寫入檔案
    print(f"第{n}張圖片下載完畢")
    n += 1

import requests
from bs4 import BeautifulSoup

domain = "https://www.umei.net"
url = "https://www.umei.net/tags/qingchun/"
resp = requests.get(url)
#print(resp.text) #測試網頁是否正常顯示（如：完整拉取、中文是否亂碼）

n = 1

main_page = BeautifulSoup(resp.text, "html.parser")
l_list = main_page.find_all("li", {"class": "i_list list_n2"})

for l in l_list:
    a_url = l.find("a")["href"]
    child_url = domain + a_url
    child_resp = requests.get(child_url)
    child_resp.encoding = "utf-8"
    child_bs = BeautifulSoup(child_resp.text, "html.parser")
    div = child_bs.find("div", {"class": "image_div"})
    img_src = div.find("img")["src"]
    img_resp = requests.get(img_src, verify=False)
    name = main_page.find("title")
    #print(name.text)
    with open(f"{name.text}.jpg", "wb") as f:
        f.write(img_resp.content)
    print(f"第{n}張圖片下載完畢")
    n += 1
    # break
resp.close()
print("爬取完畢")

11.xpath 解析

11.1.基礎使用

XPath 是一門在 XML 文件中查詢資訊的語言

<book>
    <id>1</id>
    <name>野花遍地香</name>
    <price>1.23</price>
    <author>
        <nick>周大強</nick>
        <nick>周芷若</nick>
    </author>
</book>

book、id、name、price。。。都被稱為節點

id、name、price、author 被稱為 book 的子節點

安裝模組：pip install lxml

匯入模組兩種方式：

from lxml import etree

報錯可以考慮以下匯入方式：
from lxml import html
etree = html.etree

from lxml import etree

xml = """
<book>
    <id>1</id>
    <name>野花遍地香</name>
    <price>1.23</price>
    <nick>臭豆腐</nick>
    <author>
        <nick id="10086">周大強</nick>
        <nick id="10010">周芷若</nick>
        <nick class="jay">周杰倫</nick>
        <nick class="jolin">蔡依林</nick>
        <div>
            <nick>惹了</nick>
        </div>
    </author>
    <partner>
        <nick id="ppc">胖胖陳</nick>
        <nick id="ppbc">胖胖不陳</nick>
    </partner>
</book>
"""
#此時練習只能用 XML
et = etree.XML(xml)
#result = et.xpath('/book') #找根節點的 book
#result = et.xpath('/book/name')
# result = et.xpath('/book/name/text()')[0] #text()：拿文字，[0]表示取出文字內容
# result = et.xpath('/book//nick') # // 表示的所有的子孫後代
# result = et.xpath('//book/*/nick/text()') #* 萬用字元
# result = et.xpath('//book/*/*/nick/text()')
#result = et.xpath('//book/author/nick[@class="jay"]/text()') #[] 表示屬性篩選，@屬性名=值
result = et.xpath('//book/partner/nick/@id') #最後一個 / 表示拿到 nick 中的 id 的內容，@屬性，可以直接拿到屬性值
print(result)

from lxml import etree

#xpath 處理 html

html = """
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8" />
    <title>Title</title>
</head>
<body>
    <ul>
        <li><a href="http://www.baidu.com">百度</a></li>
        <li><a href="http://www.google.com">谷歌</a></li>
        <li><a href="http://www.sougou.com">搜狗</a></li>
    </ul>
    <ol>
        <li><a href="feiji">飛機</a></li>
        <li><a href="dapao">大炮</a></li>
        <li><a href="huoche">火車</a></li>
    </ol>
    <div class="job">李嘉誠</div>
    <div class="common">胡辣湯</div>
</body>
</html>
"""

et = etree.HTML(html)
# li_list = et.xpath('/html/body/ul/li[2]/a/text()')
# print(li_list)

li_list = et.xpath('//li')
for li in li_list:
    href = li.xpath('./a/@href') # ./ 表示當前節點
    text = li.xpath('./a/text()')
    print(href, text)
    # 後續的爬蟲工作...

11.2.案例1-豬八戒網站

"""
1.拿到頁面原始碼
2.從頁面原始碼中提取需要的資料、價格、名稱、公司名稱
"""
import requests
from lxml import etree

url = "https://www.zbj.com/fw/?k=saas"
resp = requests.get(url)
resp.encoding = "utf-8"
#print(resp.text)

#提取資料
et = etree.HTML(resp.text)
divs = et.xpath('//div[@class="search-result-list-service"]/div')

for div in divs:
    #此時的 div 就是一條資料，對應一個商品資訊
    # 商品價格
    price = div.xpath('./div/div[3]/div/span/text()')
    # 去除價格為空的情況
    if not price:
        continue
    price = price[0]
    company = div.xpath('./div/a/div[2]/div[1]/div/text()')[0]
    name = div.xpath('./div/div[3]/div[2]/a//text()') # // 表示提取 a 的所有文字
    name = "".join(name)
    print(name, price, company)

11.3.小技巧：找 XPath

F12 下的 Elements 模組

選擇需要查詢的程式碼

確定 xpath 路徑：

divs = et.xpath('//div[@class="search-result-list-service"]/div')

然後按上述操作，尋找到想要爬取的資料的程式碼位置，如，價格：

在價格的程式碼上滑鼠右鍵，選擇 Copy -> Copy XPath

然後對複製下來的 xpath 進行調整成自己需要的

12.pyquery 解析

12.1.基礎使用

pyquery 可以對 HTML 結構進行修改

from pyquery import PyQuery

html = """
<HTML>
    <div class="aaa">噠噠噠</div>
    <div class="bbb">嘟嘟嘟</div>
</HTML>
"""

p = PyQuery(html)

# 在xxx標籤後新增 xxx 新標籤
#p("div.aaa").after("""<div class="ccc">吼吼吼</div>""")
# 在 xxx 標籤裡面 新增
#p("div.aaa").append("""<span>yyy</span>""")

#修改標籤屬性值及新增屬性
# p("div.bbb").attr("class", "aaa")
# p("div.bbb").attr("id", '12306') #前提是該標籤沒有該屬性

# p("div.bbb").remove_attr("id") #刪除屬性
# p("div.bbb").remove() #刪除標籤
print(p)

12.2.案例-汽車之家

目標網站程式碼更變，下面程式碼不適用

"""
1.提取頁面原始碼
2.解析頁面原始碼，提取資料
"""
import requests
from pyquery import PyQuery

def get_page_source(url):
    resp = requests.get(url)
    resp.encoding = "utf-8"
    print(resp.text)

def parse_page_source(html):
    doc = PyQuery(html)
    mt_list = doc(".mt-10").items() #class="mt-10"
    for mt in mt_list: # 拿到每一個 mt
        # 判斷是否有汽車經銷商
        if not mt("div > dl:nth-child(3) > dt:contains(購車經銷商"):
            mt("div > dl:nth-child(2)").after(PyQuery("""
            html 相關程式碼"""))

        # 提取購買的車型
        # 想要在已經提取的內容中獲取第一個怎麼辦 eq(0)
        # nth-child(1) 在 css 進行選擇的時候，選取第一個位置的內容
        chexing = mt("div > dl:nth-child(1) > dd").eq(0).text().replace("\n", "").replace(" ","")
        didian = mt("div > dl:nth-child(2) > dd").text()
        shijian = mt("div > dl:nth-child(4) > dd").text()
        jiage = mt("div > dl:nth-child(5) > dd").text().replace(" 萬元", "")
        youhao = mt("div > dl:nth-child(6) > dd > p:nth-child(1)").text().replace(" 升/百公里", "")
        gonglishu = mt("div > dl:nth-child(6) > dd > p:nth-child(2)").text().replace(" 公里", "")
        other = mt("div > div > dl > dd").text().split()
        #print(chexing)
        #儲存到檔案中

def main(): #入口函式
    url = "https://k.autohome.com.cn/146/"
    #1.提取頁面原始碼
    html = get_page_source(url)
    #2.解析頁面原始碼，提取資料
    parse_page_source(html)

if __name__ == '__main__':
    main()

13.requests 進階

13.1.模擬使用者登入

# 登入 -> 得到 cookie
# 帶著 cookie 去請求到書架 url -> 書架上的內容
# 必須把上面兩個操作連起來
# 可以使用 session 進行請求 -> 可以任務 session 是一連串的請求。在這個過程中的 cookie 不會丟失
import requests

# 會話
session = requests.session()
data = {"loginName": "173xxxx36",
        "password": "xxx08"}
# 1.登入
url = "https://passport.17k.com/ck/user/login"
resp = session.post(url, data=data)
# print(resp.cookie) # cookie

# 2.拿書架上的資料
# session 中是有 cookie 的
resp2 = session.get('https://user.17k.com/ck/author2/shelf?page=1&appKey=2406394919')
print(resp2.text)

# 直接從登入頁面中拿取cookie獲取資料
# resp = requests.get("https://user.17k.com/ck/author2/shelf?page=1&appKey=2406394919", headers={"Cookie":"cookie 值"})
# print(resp.text)

13.2.防盜鏈

# 1.拿到 contId
# 2.拿到 videoStatus 返回的json -> srcURL
# 3.srcURL 裡面的內容進行修整
# 4.下載影片
import requests

# 拉取影片的網址
url = "https://www.pearvideo.com/video_1721605"
contId = url.split("_")[1]

videoStatusUrl = f"https://www.pearvideo.com/videoStatus.jsp?contId={contId}&mrd=0.6952007481227842"
headers = {
    "User-Agent": "Mozilla/5",
    # 防盜鏈
    "Referer": url
}

resp = requests.get(videoStatusUrl, headers=headers)
dic = resp.json()

srcUrl = dic['videoInfo']['videos']['srcUrl']
systemTime = dic['systemTime']
srcUrl = srcUrl.replace(systemTime, f"cont-{contId}")

# 下載影片
with open("a.mp4", "wb") as file:
    file.write(requests.get(srcUrl).content)

# https://video.pearvideo.com/mp4/adshort/20210301/cont-1721692-15618910_adpkg-ad_hd.pm4 真實連結
# https://video.pearvideo.com/mp4/adshort/20210301/1614588366486-15618910_adpkg-ad_hd.pm4 拿到的連結

13.3.代理

# 代理，可以使用第三方的機器來代理你的請求
import requests

# https://www.kuaidaili.com/free/intr

url = "http://www.baidu.com"

# 準備代理資訊
proxy = {
    "http": "http://123.233.245.158:9443",
    "https": "https://123.233.245.158:9443"
}

resp = requests.get(url, proxies=proxy)
resp.encoding = "utf-8"
print(resp.text)

接入第三方

import requests

def get_ip():
    # 有待完善，如果代理 IP 都用完了，怎麼辦（再請求一編）
    url = "第三方生成的 API 連結"
    resp = requests.get(url)
    ips = resp.json()
    for ip in ips['data']['proxy_list']: #拿到每一個ip
        yield ip # 一個一個地返回 IP
def spider():
    url = "http://www.baidu.com/"
    while 1:
        try:
            proxy_ip = next(gen) # 拿到代理 IP
            proxy = {
                "http": "http://" + proxy_ip,
                "https": "http://" + proxy_ip
            }
            resp = requests.get(url, proxies=proxy)
            resp.encoding = "utf-8"
            return resp.text
        except:
            print("報錯了.")

if __name__ == '__main__':
    gen = get_ip() # gen 就是代理 IP 的生成器
    for i in range(10):
        spider()

【Python學習】爬蟲爬蟲爬蟲爬蟲~
2018-05-03
Python爬蟲
python爬蟲---網頁爬蟲，圖片爬蟲，文章爬蟲，Python爬蟲爬取新聞網站新聞
2019-01-04
Python爬蟲網頁網站
python就是爬蟲嗎-python就是爬蟲嗎
2020-10-29
Python爬蟲
python爬蟲
2024-06-13
Python爬蟲
python爬蟲初探--第一個python爬蟲專案
2018-05-18
Python爬蟲
python網路爬蟲_Python爬蟲：30個小時搞定Python網路爬蟲視訊教程
2020-10-21
Python爬蟲
python爬蟲2
2019-01-07
Python爬蟲
Python爬蟲-xpath
2018-06-08
Python爬蟲
Python爬蟲——XPath
2018-07-28
Python爬蟲
Python爬蟲--2
2024-03-24
Python爬蟲
Python asyncio 爬蟲
2020-04-28
Python爬蟲
Python 爬蟲系列
2021-01-01
Python爬蟲
Python爬蟲入門教程 50-100 Python3爬蟲爬取VIP視訊-Python爬蟲6操作
2019-02-14
Python爬蟲
Python爬蟲教程-01-爬蟲介紹
2018-09-06
Python爬蟲
Java爬蟲與Python爬蟲的區別？
2023-10-25
Java爬蟲Python
什麼是Python爬蟲？python爬蟲入門難嗎？
2021-12-27
Python爬蟲
python爬蟲是什麼?學習python爬蟲難嗎
2021-03-31
Python爬蟲
什麼是Python爬蟲？Python爬蟲常用框架有哪些？
2020-12-24
Python爬蟲框架
不踩坑的Python爬蟲：Python爬蟲開發與專案實戰，從爬蟲入門 Python
2021-12-17
Python爬蟲
python爬蟲-33個Python爬蟲專案實戰(推薦)
2020-10-28
Python爬蟲
Python爬蟲可以幹什麼?Python爬蟲有什麼用?
2022-08-25
Python爬蟲
【爬蟲】python爬蟲從入門到放棄
2018-12-20
爬蟲Python
【python--爬蟲】彼岸圖網高清桌布爬蟲
2019-07-21
Python爬蟲
Python爬蟲（1.爬蟲的基本概念）
2018-04-20
Python爬蟲
python爬蟲實戰，爬蟲之路，永無止境
2022-01-27
Python爬蟲
什麼是爬蟲？Python爬蟲框架有哪些？
2022-04-18
爬蟲Python框架
Python爬蟲與Java爬蟲有何區別？
2022-06-01
Python爬蟲Java
Python爬蟲之路-chrome在爬蟲中的使用
2021-01-04
Python爬蟲Chrome
Python爬蟲之路-selenium在爬蟲中的使用
2021-01-04
Python爬蟲
Python爬蟲之BeautifulSoup
2019-02-16
Python爬蟲
python爬蟲Scrapy框架
2018-11-21
Python爬蟲框架
Python爬蟲工具列表
2018-11-15
Python爬蟲
python 爬蟲代理池
2019-03-09
Python爬蟲
Python爬蟲的用途
2018-08-16
Python爬蟲
python爬蟲系列版
2018-03-16
Python爬蟲
Python：基礎&爬蟲
2023-10-29
Python爬蟲
Python 爬蟲實戰
2023-10-16
Python爬蟲
python 爬蟲 Demo webdriver
2019-09-25
Python爬蟲Web

python 爬蟲

python 爬蟲

1.開發工具

2.第一個爬蟲的開發

3.瀏覽器工具的使用

4.HTTP 協議

5.requests 模組入門

5.1.模組安裝

5.2.使用

5.3.UA 頭反爬

5.4.GET 請求方法-get，params

5.5.POST 請求方法

6.資料解析

7.正規表示式

7.1.常用元字元

7.2.量詞

7.3.貪婪匹配和惰性匹配

8.re 模組

8.1.基本使用

8.2.案例1-豆瓣top250

8.3.案例2-獲取電影天堂電影名稱及對應下載連結

9.CSS 基礎語法

9.1.CSS 語法規則

9.2.CSS 選擇器

10.bs4 解析

10.1.基本使用

10.2.案例1-新發地菜價

10.3.案例2-圖片抓取

11.xpath 解析

11.1.基礎使用

11.2.案例1-豬八戒網站

11.3.小技巧：找 XPath

12.pyquery 解析

12.1.基礎使用

12.2.案例-汽車之家

13.requests 進階

13.1.模擬使用者登入

13.2.防盜鏈

13.3.代理

相關文章