實戰（一）之使用自帶urllib和re正規表示式獲取電影詳情頁連結

3.根據上面的分析查詢，基本可以按照這樣的思路進行爬取了。

1.先請求index最新電影板塊首頁，獲取到最大的頁數。 2.迴圈構造頁碼連結，請求獲取所有的帶有電影列表的頁面。 3.在獲取到頁面基礎上，獲得電影列表的所有電影詳情頁連結，為下一步提取電影的標題，迅雷連結做準備。

三、開始動手

1、構造一個urllib請求頁面的opener，儘量模仿瀏覽器，減少被禁的風險。

# -*- coding:utf-8 -*-
#!/usr/bin  python
import urllib.request
import re
import time
import random
from decorator import fun_timer

#構建一個模仿瀏覽器的opener
base_url = 'http://www.ygdy8.com'
#瀏覽器請求頭，這裡用的是搜狗瀏覽器
user_agents=[('User-Agent','Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;
  en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50'), ]
    Headers = [ random.choice(user_agents),
            ("Connection","keep-alive") ]
    #構建opener
opener = urllib.request.build_opener()
    #新增請求頭
opener.addheaders=Headers
複製程式碼

2、構造請求首頁，獲取最大頁碼數的方法。

# 1、獲取最大的頁碼數
# 2、你可以到頁面檢視最大頁碼數，但是頁碼數是會不斷增加的，
      #如果你要自動化反覆去爬取，就需要進行頁碼數的自動獲取。

def get_pageNum():
    url = "http://www.ygdy8.com/html/gndy/dyzz/index.html"
    data = opener.open(url).read()
   #上面的分析已經知道頁碼的連結是以 list_23_頁數.html結尾的，可以匹配正規表示式來查詢。
    res = re.findall(r'list\_23\_[0-9]*', str(data))
    if res:
        page_num = res[-1].split("_")[-1]
        print('獲取到頁碼數%s'%page_num)
        return int(page_num)

複製程式碼

3、知道頁數後，就可以迴圈構造連結進行爬取了。

#根據頁數爬取每頁的電影列表
def find_by_page(page = 1):
    if page%10==0:
       #每隔10頁進行延時，防止ip被禁
        time.sleep(random.randint(1,3))
    url = "http://www.ygdy8.com/html/gndy/dyzz/list_23_%s.html" % (str(page))
    data = opener.open(url).read()

# 正規表示式獲取連結
#因為頁面的左側會有其他類別電影板塊的外鏈，所以要先定位到class為co_content8的目標板塊，
       #再獲取板塊裡的所有連結。

    res = re.findall(r'class\=\"co\_content8\"[\s\S]*\<\/ul\>', str(data))[0]
    res = re.findall(r'\/html\/gndy[/a-z]+[0-9/]{1,}\.html', str(res))
    urls = [base_url + url for url in res]
    print('爬取第%s頁: '%page+str(urls))
    return urls


#彙總所有的列表，上面的函式是每頁返回一個電影詳情頁連結列表

def get_urls(pages=1):
    all_url = []
    for page in range(1,pages+1):
         for r in find_by_page(page):
                 all_url.append(r)
    #去重
    all_url= set(all_url)
    print('獲取到%s條連結'%len(all_url))
    return all_url
複製程式碼

4、最後開始爬取並輸出到TXT檔案上。

if __name__ == "__main__":
    out = ''
    for url in get_urls(get_pageNum()):
        url = str(url)+'\n'
        out= out+url
    with open('all_urls.txt','w') as f:
        f.write(out)


複製程式碼

四、總結

其實總結起來，簡單小規模的爬蟲無非就是分析頁面---請求頁面--獲取目標元素--儲存等若干步驟，但是真正動起手來，就會遇到各種問題，解決問題也是一個進步的過程。 解決ip被禁有很多種途徑，例如使用代理ip，模擬登陸，隨機延時請求，本次我是簡單粗暴地每隔10頁進行隨機的延時。 這樣我們獲取到所有目標電影的詳情頁連結，下一步就是進行詳情頁的分析爬取了，這涉及到動態載入頁面的爬取，將放到後面幾篇分享哈，下一篇，將介紹使用第三方庫requests庫和xpath匹配爬取詳情頁連結喲。