python爬蟲-1w+套個人簡歷模板爬取

import requests  # 傳送請求

from lxml import etree  # 資料解析

import time  # 執行緒暫停，怕封 ip

import os  # 建立資料夾

# 由於目標網站更新了反爬蟲機制，簡單的 UA 偽裝不能滿足我們的需求，所有對整個訊息頭進行了偽裝

headers = {

    'Accept':

        'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

    'Accept-Encoding':

        'gzip, deflate, br',

    'Accept-Language':

        'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',

    'Cache-Control':

        'max-age=0',

    'Connection':

        'keep-alive',

    'Cookie':

        '__gads=undefined; Hm_lvt_aecc9715b0f5d5f7f34fba48a3c511d6=1614145919,1614755756; '        'UM_distinctid=177d2981b251cd-05097031e2a0a08-4c3f217f-144000-177d2981b2669b; '

        'sctj_uid=ccf8a73d-036c-78e4-6b1d-6035e961b0d3; '

        'CNZZDATA300636=cnzz_eid%3D1737029801-1614143206-%26ntime%3D1614759211; '        'Hm_lvt_398913ed58c9e7dfe9695953fb7b6799=1614145927,1614755489,1614755737; '        '__gads=ID=af6dc030f3c0029f-226abe1136c600e4:T=1614760491:RT=1614760491:S=ALNI_MZAA0rXz7uNmNn6qnuj5BPP7heStw; '

        'ASP.NET_SessionId=3qd454mfnwsqufegavxl5lbm; Hm_lpvt_398913ed58c9e7dfe9695953fb7b6799=1614760490; '

        'bbsmax_user=ce24ea68-9f80-42e3-8d4f-53b13b13c719; avatarId=a034b11b-abc9-4bfd-a8b2-bdf7fef644bc-; '

        'Hm_lpvt_aecc9715b0f5d5f7f34fba48a3c511d6=1614756087',

    'Host':

        'sc.chinaz.com',

    'If-None-Match':

        '',

    'Referer':

        '

    'Upgrade-Insecure-Requests':

        '1',

    'User-Agent':

        'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0',

}

# 如果該資料夾不存在 , 則建立資料夾

if not os.path.exists('./moban'):

    os.mkdir('./moban')

for i in range(1, 701):  # 預計可爬 700*20 套簡歷模板

    print(f" 正準備爬取第 {i} 頁簡歷模板 ")

    print(" 怕封 ip ，操作暫停中 ......")  # 操作暫停提示語

    time.sleep(15)  # 跟單網 每獲取一個列表頁暫停 15s ，一個列表頁有 20 分簡歷模板的連結

    url = f'{str(i)}.html'  # 設定相應的路由 i

    try:  # 異常處理

        response = requests.get(url=url, headers=headers)  # 獲取響應

    except Exception as e:  # 給異常取名為 e

        print(e)  # 列印異常名稱

        print(' 連線失敗，選擇跳過！！！ ')  # 連不上就不要連了，頭鐵容易出事

        print(" 怕封 ip ，獲取列表頁操作暫停中 ......")  # 操作暫停提示語

        time.sleep(5)  # 每出現一次異常暫停 5s

        continue  # 跳過本次迴圈

    response.encoding = 'utf-8'  # 中文編碼為 utf-8

    page = response.text  # 獲取響應的文字資料

    tree = etree.HTML(page)  # 用 etree 進行資料解析

    a_list = tree.xpath("//div[@class='box col3 ws_block']/a")  # 用 xpath 提取目標內容形成 20 份一起的列表

    for a in a_list:

        resume_href = 'https:' + a.xpath('./@href')[0]  # 根據爬取的連結設定新的網頁

        resume_name = a.xpath('./img/@alt')[0]  # 爬取名字，並對列表進行切片取第一個

        resume_name = resume_name.strip()  # 去掉首尾的空格

        try:

            resume_response = requests.get(url=resume_href, headers=headers)  # 進入簡歷模板詳情頁面

        except Exception as e:

            print(e)

            print(' 連線失敗，選擇跳過！！！ ')

            print(" 怕封 ip ，獲取個人簡歷詳情頁操作暫停中 ......")

            time.sleep(5)

            continue

        resume_response.encoding = 'utf-8'  # 中文編碼為 utf-8

        resume_page = resume_response.text  # 獲取響應的文字資料

        resume_tree = etree.HTML(resume_page)  # 用 etree 進行資料解析

        resume_link = resume_tree.xpath('//ul[@class="clearfix"]/li/a/@href')[0]  # 用 xpath 提取目標內容的下載連結

        try:

            download = requests.get(url=resume_link, headers=headers).content  # 獲取二進位制資料

        except Exception as e:

            print(e)

            print(' 連線失敗，選擇跳過！！！ ')

            print(" 怕封 ip ，下載個人簡歷操作暫停中 ......")

            time.sleep(5)

            continue

        download_path = './moban/' + resume_name + '.rar'  # 設定儲存路徑以及檔名稱

        with open(download_path, 'wb') as fp:  # 設定檔案製作，以二進位制形式

            fp.write(download)  # 儲存檔案

            print(resume_name, ' 下載成功！！！ ')  # 下載成功提示語