Python爬蟲超詳細講解（零基礎入門，老年人都看的懂）

findImgSrc = re.compile(r'

findTitle = re.compile(r'(.*)')

findRating = re.compile(r'(.*)')

findJudge = re.compile(r'(d*)人評價')

findInq = re.compile(r'(.*)')

findBd = re.compile(r'

(.*?)

def main():

    baseurl = "?start="  #要爬取的網頁連結

    # 1.爬取網頁

    datalist = getData(baseurl)

    savepath = "豆瓣電影Top250.xls"    #當前目錄新建XLS，儲存進去

    # dbpath = "movie.db"              #當前目錄新建資料庫，儲存進去

    # 3.儲存資料

    saveData(datalist,savepath)      #2種儲存方式可以只選擇一種

    # saveData2DB(datalist,dbpath)

# 爬取網頁

def getData(baseurl):

    datalist = []  #用來儲存爬取的網頁資訊

    for i in range(0, 10):  # 呼叫獲取頁面資訊的函式，10次

        url = baseurl + str(i * 25)

        html = askURL(url)  # 儲存獲取到的網頁原始碼

        # 2.逐一解析資料

        soup = BeautifulSoup(html, "html.parser")

        for item in soup.find_all('div', class_="item"):  # 查詢符合要求的字串

            data = []  # 儲存一部電影所有資訊

            item = str(item)

            link = re.findall(findLink, item)[0]  # 透過正規表示式查詢

            data.append(link)

            imgSrc = re.findall(findImgSrc, item)[0]

            data.append(imgSrc)

            titles = re.findall(findTitle, item)

            if (len(titles) == 2):

                ctitle = titles[0]

                data.append(ctitle)

                otitle = titles[1].replace("/", "")  #消除跳脫字元

                data.append(otitle)

            else:

                data.append(titles[0])

                data.append(' ')

            rating = re.findall(findRating, item)[0]

            data.append(rating)

            judgeNum = re.findall(findJudge, item)[0]

            data.append(judgeNum)

            inq = re.findall(findInq, item)

            if len(inq) != 0:

                inq = inq[0].replace("。", "")

                data.append(inq)

            else:

                data.append(" ")

            bd = re.findall(findBd, item)[0]

            bd = re.sub('
(s+)?', "", bd)

            bd = re.sub('/', "", bd)

            data.append(bd.strip())

            datalist.append(data)

    return datalist

# 得到指定一個URL的網頁內容

def askURL(url):

    head = {  # 模擬瀏覽器頭部資訊，向豆瓣伺服器傳送訊息

        "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.36"

    }

    # 使用者代理，表示告訴豆瓣伺服器，我們是什麼型別的機器、瀏覽器（本質上是告訴瀏覽器，我們可以接收什麼水平的檔案內容）

    request = urllib.request.Request(url, headers=head)

    html = ""

    try:

        response = urllib.request.urlopen(request)

        html = response.read().decode("utf-8")

    except urllib.error.URLError as e:

        if hasattr(e, "code"):

            print(e.code)

        if hasattr(e, "reason"):

            print(e.reason)

    return html

# 儲存資料到表格

def saveData(datalist,savepath):

    print("save.......")

    book = xlwt.Workbook(encoding="utf-8",style_compression=0) #建立workbook物件

    sheet = book.add_sheet('豆瓣電影Top250', cell_overwrite_ok=True) #建立工作表

    col = ("電影詳情連結","圖片連結","影片中文名","影片外國名","評分","評價數","概況","相關資訊")

    for i in range(0,8):

        sheet.write(0,i,col[i])  #列名

    for i in range(0,250):

        # print("第%d條" %(i+1))       #輸出語句，用來測試

        data = datalist[i]

        for j in range(0,8):

            sheet.write(i+1,j,data[j])  #資料

    book.save(savepath) #儲存

# def saveData2DB(datalist,dbpath):

#     init_db(dbpath)

#     conn = sqlite3.connect(dbpath)

#     cur = conn.cursor()

#     for data in datalist:

#             for index in range(len(data)):

#                 if index == 4 or index == 5:

#                     continue

#                 data[index] = '"'+data[index]+'"'

#             sql = '''

#                     insert into movie250(

#                     info_link,pic_link,cname,ename,score,rated,instroduction,info)

#                     values (%s)'''%",".join(data)

#             # print(sql)     #輸出查詢語句，用來測試

#             cur.execute(sql)

#             conn.commit()

#     cur.close

#     conn.close()

# def init_db(dbpath):

#     sql = '''

#         create table movie250(

#         id integer  primary  key autoincrement,

#         info_link text,

#         pic_link text,

#         cname varchar,

#         ename varchar ,

#         score numeric,

#         rated numeric,

#         instroduction text,

#         info text

#         )

#

#

#     '''  #建立資料表

#     conn = sqlite3.connect(dbpath)

#     cursor = conn.cursor()

#     cursor.execute(sql)

#     conn.commit()

#     conn.close()

# 儲存資料到資料庫

if __name__ == "__main__":  # 當程式執行時

    # 呼叫函式

     main()

    # init_db("movietest.db")

     print("爬取完畢！")

下面我根據程式碼，從下到下給大家講解分析一遍

-- codeing = utf-8 --，開頭的這個是設定編碼為utf-8 ，寫在開頭，防止亂碼。

然後下面 import就是匯入一些庫，做做準備工作，（sqlite3這庫我並沒有用到所以我註釋起來了）。

下面一些find開頭的是正規表示式，是用來我們篩選資訊的。

（正規表示式用到 re 庫，也可以不用正規表示式，不是必須的。）

大體流程分三步走：

1. 爬取網頁

2.逐一解析資料

3. 儲存網頁

先分析流程1，爬取網頁，baseurl 就是我們要爬蟲的網頁網址，往下走，呼叫了 getData（baseurl) ,

我們來看 getData方法

這段大家可能看不懂，其實是這樣的：
因為電影評分Top250，每個頁面只顯示25個，所以我們需要訪問頁面10次，25*10=250。

我們只要在baseurl後面加上數字就會跳到相應頁面，比如i=1時