爬蟲2

請求方式：get 和 post

獲取AJAX載入的內容 --用post,把資料儲存在request請求裡的data=

有些網頁內容使用AJAX請求載入，這種資料無法直接對網頁url進行獲取。但是隻要記住，AJAX請求一般返回給網頁的是JSON檔案，只要對AJAX請求地址進行POST或GET，就能返回JSON資料了。

                        爬取豆瓣熱門電影

import urllib.request

import urllib.parse

start=0

b=1

while True:

    url_base='http://movie.douban.com/j/chart/top_list?'

    url_kw={

        'type': 11,

        'interval_id': '100:90',

        'action':'',

        'start':start,

        'limit': 20

    }

    url_all=url_base+urllib.parse.urlencode(url_kw)

    print(url_all)

    request=urllib.request.Request(url=url_all)

    response = urllib.request.urlopen(url=request)

    context = response.read()

    file_name = 'douban%s.html'%(b)

    with open(file_name, 'wb') as file:

        file.write(context)

    #通過解碼得到字串

    ret1 = context.decode('utf-8')

    #因為true與前端的True,衝突無法解析,所以要替換

    ret2 = ret1.replace('true','True').replace('false','False')

    ret3 = eval(ret2)

    print(ret3)

    print(len(ret3))

    if ret3!=[]:

        with open(file_name, 'w',encoding='utf-8') as file:

            for i in ret3:

                file.write(str(i)+'\n')

        start=start+20

        b+=1

    else:

        break

自定義opener物件

#自定義url opener物件

import urllib.request

#建立一個http物件

http_handler=urllib.request.HTTPHandler(debuglevel=1)

#建立一個opener物件

http_opener=urllib.request.build_opener(http_handler)

request = urllib.request.Request('http://www.sina.com')

#傳送請求，獲取影響

response = http_opener.open(request)

content = response.read()

with open('./12_1.html','wb') as file:

    file.write(content)

urllib2的異常錯誤處理

import urllib.request

 request = urllib.request.Request(url='http://www.iloveyou.com/')

try:

   response = urllib.request.urlopen(url=request)

  except urllib.request.URLError as ex:

   print(ex)

 else:

  content = response.read()

     print(content)

 print('哦了...')

print('*'*100)

# request = urllib.request.Request(url='http://www.douyu.com/Jack_Cui.html')

request = urllib.request.Request(url='https://err.taobao.com/error1.html?c=404&u=https://www.taobao.com/markddddddddddddddddddddddddets/nvzhuang/dddddddddddddddtaobaonvzhuang?spm=a21bo.2017.201867-main.1.1819dddddddddddddddsac8a9XRYCTP&r=')

try:

    response = urllib.request.urlopen(url=request)

except urllib.request.HTTPError as ex:

    print(ex)

    print(dir(ex))

    print(ex.code)

    print(ex.getcode())

    print(ex.info())

    print(ex.msg)

    print(ex.reason)

else:

    content = response.read()

    print(content)

print('哦了...')

ProxyBasicAuthHandler(代理授權驗證)

如果我們使用之前的程式碼來使用私密代理，會報HTTP 407 錯誤，表示代理沒有通過身份驗證：

urllib.request.HTTPError: HTTP Error 407: Proxy Authentication Required

所以我們需要改寫程式碼，通過：                          

# 1.構建一個附帶Auth驗證的的ProxyHandler處理器類物件

proxyauth_handler = urllib.request.ProxyHandler({"http" : "使用者名稱:密碼@IP:PORT"})

# 2.通過 build_opener()方法使用這個代理Handler物件，建立自定義opener物件，引數包括構建的 proxy_handler

opener = urllib.request.build_opener(proxyauth_handler)

# 3.構造Request 請求

request = urllib.request.Request("http://www.baidu.com/")

# 4.使用自定義opener傳送請求

response = opener.open(request)

# 5.列印響應內容

print(response.read())