Python爬蟲入門實戰之貓眼電影資料抓取(理論篇)

前言

• Python環境搭建與基礎知識
• 爬蟲原理概述
• 爬蟲技術概覽
• 貓眼電影排行資料抓取
• Ajax資料爬取貓眼電影票房
• 更多進階，代理、模擬登陸、APP 爬取等…..

Python環境搭建與基礎知識

Python環境搭建

Anaconda安裝

IDE環境搭建

1.1Python 基礎技術

• 資料型別
• 列表
• 迴圈語句
• 判斷語句
• 函式

Python基礎

• Python3 教程 | 菜鳥教程
• Python教程 | 廖雪峰的官方網站
• Python 教程| 簡明教程
• Python教程™
• 笨辦法學Python | 看雲
• The Python Tutorial | Python 3.6.6 documentation

　　Python官方文件，具有絕對的權威和全面，但是文件本身是英文，所以對大部分初學者來說並不是很友好，下面是國人翻譯的Python版本，對英文感冒的讀者可以選擇該版本學習:

• Python 入門指南 | python tutorial 3.6.3 documentation 　　一些入門的書籍推薦
• 《Python程式設計 從入門到實踐》
• 《Python基礎教程（第3版）》 Python進階 　　對於想要提升自己技術的讀者，接下的書籍和資料應該是很符合你的胃口了 ：
• The Python Standard Library
• 《Python CookBook 3》
• 《流暢的Python》
• 《Python學習手冊（第4版）》
• 《Python核心程式設計（第3版）》
• 《資料結構 Python語言描述》
• 《Python高效能程式設計》

爬蟲是什麼

爬蟲原理

• 第一列Name:請求的名稱，一般會將URL的最後一 部分內容當作名稱。
• 第二列Status: 響應的狀態碼，這裡顯示為200，代表響應是正常的。通過狀態碼，我們可 以判斷髮送了請求之後是否得到了正常的響應。
• 第三列Type: 請求的文件型別。這裡為document, 代表我們這次請求的是一個HTML文件,內容就是一些HTML程式碼。
• 第四列initiator: 請求源。用來標記請求是由哪個物件或程式發起的。
• 第五列Size: 從伺服器下載的檔案和請求的資源大小。如果是從快取中取得的資源，則該列會顯示from cache。
• 第六列Time:發起請求到獲取響應所用的總時間。
• 第七列Waterfall:網路請求的視覺化瀑布流。 　　接下來我們分析請求的詳細組成，比如點第一個請求即Name為www.baidu.com的請求，如下圖所示：

• Request URL為請求的URL
• Request Method為請求的方法
• Status Code為響應狀態碼，
• Remote Address為遠端伺服器的地址和埠

• HTTP/1.1為響應採用的協議和版本號 200 (狀態碼) OK(描述資訊)
• Location為服務端需要客戶端訪問的頁面路徑
• Server為服務端的Web服務端名
• Content-Encoding為服務端能夠傳送壓縮編碼型別
• Content-Length為服務端傳送的壓縮資料的長度
• Content-Language為服務端傳送的語言型別
• Content-Type為服務端傳送的型別及採用的編碼方式
• Last-Modified為服務端對該資源最後修改的時間
• Refresh為服務端要求客戶端1秒鐘後，重新整理，然後訪問指定的頁面路徑
• Content-Disposition為服務端要求客戶端以下載檔案的方式開啟該檔案
• Transfer-Encoding為分塊傳遞資料到客戶端
• Set-Cookie為服務端傳送到客戶端的暫存資料
• Connection為維護客戶端和服務端的連線關係

• GET(請求的方式) /newcoder/hello.html(請求的目標資源) HTTP/1.1(請求採用的協議和版本號)
• Accept為客戶端能接收的資源型別
• Accept-Language為客戶端接收的語言型別
• Connection為維護客戶端和服務端的連線關係
• Host: localhost為連線的目標主機和埠號
• Referer告訴伺服器我來自於哪裡
• User-Agent為客戶端版本號的名字
• Accept-Encoding為客戶端能接收的壓縮資料的型別
• If-Modified-Since為快取時間
• Cookie為客戶端暫存服務端的資訊
• Date為客戶端請求服務端的時間 　　而我們需要做的就是模擬瀏覽器提交Requests Headers獲取伺服器的響應資訊，從而得到我們想要的資料，想要深入瞭解的讀者請訪問HTTP | MDN文件瞭解更多資訊。

爬蟲能抓什麼樣的資料

爬蟲技術概覽

第一個請求

Requests庫

Beautiful is better than ugly.(美麗優於醜陋) Explicit is better than implicit.(直白優於含蓄) Simple is better than complex.(簡單優於複雜) Complex is better than complicated.(複雜優於繁瑣) Readability counts.(可讀性很重要)

# 匯入requests 模組
import requests
# 發起Get請求並返回Response物件，包含伺服器對HTTP請求的響應
response = requests.get('https://gitbook.cn/')
# 列印 響應狀態碼
print(response.status_code)
# 列印 str型別的響應體，比如一個普通的 HTML 頁面，需要對文字進一步分析時，使用 text
print(response.text)

複製程式碼

# 匯入 requests 模組
import requests
# 需要提交的表單資料
data = {
    'name': 'ruo', 'age': 22
}
# 發起Post請求
response = requests.post("http://httpbin.org/post", data=data)
# 響應體內容
print(response.text)

複製程式碼

# PUT請求
requests.put(“http://httpbin.org/put”) 
# DELETE請求
requests.delete(“http://httpbin.org/delete”)
# HEAD請求
requests.head(“http://httpbin.org/get”) 
# OPTIONS請求
requests.options(“http://httpbin.org/get”) 

複製程式碼

# 匯入 requests 模組
import requests
# 發起Get請求
response = requests.get("https://www.zhihu.com")
# 狀態碼
print(response.status_code)
# 響應體內容
print(r.text)

複製程式碼

# 匯入 requests 模組
import requests
# 在Headers中新增User-Agent欄位資訊
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
# 發起Get請求
response = requests.get("https://www.zhihu.com", headers=headers)
# 狀態碼
print(response.status_code)
# 響應體內容
print(response.text)

複製程式碼

提取資訊

正規表示式

# 匯入 re 模組
import re
# 待匹配文字
h1 = '<H1>Chapter 3.2.1 - 介紹正規表示式</H1>'
# 將正則字串編譯成正規表示式物件，方便在後面的匹配中複用
pat = re.compile('<H1>(.*?)</H1>', re.S)
# re.search 掃描整個字串並返回第一個成功的匹配
result = re.search(pat, h1)
# 匹配的整個表示式的字串，group() 可以一次輸入多個組號，在這種情況下它將返回一個包含那些組所對應值的元組。
print(result.group(0))
# 匹配的第一個括號內的字串，group() 可以一次輸入多個組號，在這種情況下它將返回一個包含那些組所對應值的元組。
print(result.group(1))

複製程式碼

Xpath

import requests
# 匯入lxml庫的etree模組
from lxml import etree
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
url = 'http://maoyan.com/board/4'
response = requests.get(url, headers=headers)
html = response.text
# 呼叫HTML類進行初始化
html = etree.HTML(html)
# 貼上我們copy的xpath，提取電影名 “霸王別姬”
result_bawangbieji = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')
#　列印節點標籤包含的文字內容
print(result_bawangbieji[0].text)
# 提取該頁面所有電影名，即選擇所有'dd'標籤的電影名
result_all = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a')
#　列印所有提取出的電影名
print('該頁面全部電影名：')
for one in result_all:
    print(one.text)

複製程式碼

儲存資訊

TEXT 文字儲存

import requests
from lxml import etree
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
url = 'http://maoyan.com/board/4'
response = requests.get(url, headers=headers)
html = response.text
# 呼叫HTML類進行初始化
html = etree.HTML(html)
# 貼上我們copy的xpath，提取電影名 “霸王別姬”
result_bawangbieji = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')
#　列印節點標籤包含的文字內容
print(result_bawangbieji[0].text)
# 提取該頁面所有電影名
result_all = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a')
#　列印所有提取出的電影名
print('該頁面全部電影名：')
for one in result_all:
    print(one.text)
# 將這一頁電影名儲存至TEXT檔案中，'a' 指開啟一個檔案進行追加。 如果檔案存在，則檔案指標位於檔案末尾。也就是說，檔案處於追加模式。如果檔案不存在，它將建立一個新檔案進行寫入。
with open('film_name.text', 'a') as f:
    for one in result_all:
        f.write(one + '\n')

複製程式碼

CSV儲存

import requests
from lxml import etree
# 匯入CSV模組
import csv

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
url = 'http://maoyan.com/board/4'

response = requests.get(url, headers=headers)
html = response.text
html = etree.HTML(html)
result_bawangbieji = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')
print(result_bawangbieji[0].text)
result_all = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a')
print('該頁面全部電影名：')
for one in result_all:
    print(one.text)
# 將這一頁電影名儲存至CSV檔案中：
with open('film_name.csv', 'a', newline='') as f:
    csv_file = csv.writer(f)
    for one in result_all:
        csv_file.writerow([one.text])

複製程式碼

MySQL 儲存

import requests
from lxml import etree
# 匯入pymysql模組
import pymysql

# 開啟一個資料庫連線
db = pymysql.connect(host='localhost', user='root', password='root', port=3306, db='spider', use_unicode=True, charset="utf8")
# 獲取MySQL的操作遊標，利用遊標來執行SQL語句
cursor = db.cursor()

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
url = 'http://maoyan.com/board/4'

response = requests.get(url, headers=headers)
html = response.text
html = etree.HTML(html)
result_bawangbieji = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')
print(result_bawangbieji[0].text)
result_all = html.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a')
print('該頁面全部電影名：')
for one in result_all:
    print(one.text)

    try:
        # 插入資料語句
        sql = 'INSERT INTO film_infor(film_name) values (%s)'
        cursor.execute(sql, (one.text))
        db.commit()

    except:
        db.rollback()

複製程式碼