urllib

urllib 是 Python 標準庫中用於網路請求的庫。該庫有四個模組，分別是urllib.request，urllib.error，urllib.parse，urllib.robotparser。

• 獲取網頁原始碼：urllib.request.urlopen(url)

• 資料需要字串型別:decode('utf-8')

• 資料需要bytes型別：encode('utf-8')

• 網址拼接引數有漢字的，對漢字進行轉義：urllib.parse.quote(url,safe=string.printable)

• 拼接多個引數的：用字典來新增引數：

  params = {
      'wd': '中文',
      'key': 'hello',
      'value': 'world'
  }
  

• 對引數中包含漢字的進行轉譯：str_params = urllib.parse.urlencode(params)

• 新增header

  • 建立請求物件：urllib.request.Request(url)

  • 新增header：

    request.add_header("User-Agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
    

• 選擇User-Agent,模擬瀏覽器進行爬蟲

  • 新增agent_list陣列

    user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50"
    
    ]
    

  • 利用random選擇agent_list陣列中的一個random_user_agent = random.choice(user_agent_list)

  • 請求url：request = urllib.request.Request(url)

  • 新增User-Agent資訊:request.add_header("User-Agent",random_user_agent)

  • 獲取網頁原始碼：response = urllib.request.urlopen(request)

利用urllib實現代理功能

原因：系統的urllib並沒有新增代理的功能所以需要我們自己定義這個功能

• 建立自己handler：handler = urllib.request.HTTPHandler()

• 建立自己的openner：openner = urllib.request.build_opener(handler)

• 用自己的openner請求資料：response = openner.open(url)

• 新增代理

  • 新增代理：

    proxy = {
        "http": "127.0.0.1:80"
    }
    

  • 建立代理handler：proxy_handler = urllib.request.ProxyHandler(proxy)

  • 建立代理openner：openner = urllib.request.build_opener(proxy_handler)

  • 利用代理openner請求資料：response = openner.open(url)