關於python爬取網頁

import urllib.request

from bs4 import BeautifulSoup

import xlwt

import re

def main():

    #    爬取網頁

    baseurl = '

    datalist = getData(baseurl)

    savepath = ' 豆瓣電影 Top250.xls'

    #    儲存資料

    saveData(datalist,savepath)

    # askURL(")

# 影片詳情的規則

findLink = re.compile(r'<a class="" href="(.*?)">')  # 建立從正規表示式，表示規則

findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S) # 讓換行符匹配到字元中

# 影片的片名

finTitle = re.compile(r'<span>(.*)</span>')

# 影片的評分

findReating = re.compile(r'<span property="v:average">(.*)</span>')

# 找到評價人數

findJudge = re.compile(r'<span>(\d*) 人評價 </span>')

# 找到概況

findInq = re.compile(r'<span>(.*)</span>')

# 找到影片的相關內容

findBb = re.compile(r'<p class="">(.*?)</p>', re.S)#re.S 忽視換行符

第二部分：爬取網頁。

def getData(baseurl):

    datalist = []

    for i in range(0, 10):

        url = baseurl + str(i*25)

        html = askURL(url)    # 儲存獲取到的網頁原始碼

        # 對網頁進行解析

        soup = BeautifulSoup(html, 'html.parser')

        for item in soup.find_all('div', class_="item"):  # 查詢符合要求的字串 形成列表

            #print(item)  # 測試檢視電影資訊

            data = []

            item = str(item)

            link = re.findall(findLink, item)[0]  #re 庫用來查詢指定的字串

            data.append(link)

            imgSrc = 外匯跟單(findImgSrc, item)[0]

            data.append(imgSrc) # 新增圖片

            titles = re.findall(finTitle, item)         #

            if (len(titles) == 2):

                ctitle = titles[0]      # 新增中文名

                data.append(ctitle)

                otitle = titles[1].replace("/", "")   #replace("/", "") 去掉無關的符號

                data.append(otitle)     # 新增英文名

            else:

                data.append(titles[0])

                data.append(' ')# 外國名字留空

            rating = re.findall(findReating, item)[0] # 新增評分

            data.append(rating)

            judgeNum = re.findall(findJudge,item) # 評價人數

            data.append(judgeNum)

            inq = re.findall(findInq, item)  # 新增概述

            if len(inq) != 0:

                inq = inq[0].replace(".", "")  # 去掉句號

                data.append(inq)

            else:

                data.append(" ")    # 留空

            bd = re.findall(findBb,item)[0]

            bd = re.sub('<br(\s+)?/>(\s+)?',' ', bd)  # 去掉 br   後面這個 bd 表示對 bd 進行操作

            bd = re.sub('/', ' ', bd)   # 替換 /

            data.append(bd.strip())  # 去掉前後的空格 strip()

            datalist.append(data)   # 把處理好的一部電影放入 datalist 當中

    return datalist

第三部分：得到一個指定的url 資訊。

# 得到指定的一個 url 網頁資訊

def askURL(url):

    head = {

        "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Mobile Safari/537.36"

}

    request = urllib.request.Request(url,headers=head)    #  get 請求不需要其他的的，而 post 請求需要 一個 method 方法

    html = ""

    try:

        response = urllib.request.urlopen(request)

        html = response.read().decode('utf-8')

        # print(html)

    except Exception as e:

        if hasattr(e,'code'):

            print(e.code)

        if hasattr(e,'reason'):

            print(e.reason)

    return  html

 

第四部分：儲存資料

#    3: 儲存資料

def saveData(datalist,savepath):

    book = xlwt.Workbook(encoding="utf-8", style_compression=0)

    sheet = book.add_sheet(' 豆瓣電影 Top250', cell_overwrite_ok=True)

    col = (' 電影詳情連結 ', ' 圖片連結 ', ' 影片中文名 ', ' 影片外國名 ', ' 評分 ', ' 評價數 ', ' 概況 ', ' 相關資訊 ')

    for i in range(0,8):

        sheet.write(0,i,col[i])  # 列名

    for i in range(0,250):

        print(" 第 %d 條 "%i)

        data = datalist[i]

        for j in range(0,8):

            sheet.write(i+1,j,data[j])

    book.save(savepath) # 儲存

if __name__ == '__main__':

    main()

    print(" 爬取完畢 ")