python3使用requests包抓取並儲存網頁原始碼

轉載自：http://blog.csdn.net/w93223010/article/details/18968081

近期的工作學習中使用到了Python，分享一些初學者的心得與君共勉。

本節的內容主要是如何使用python去獲取網頁的原始碼並儲存到本地檔案中，希望通過本節可以讓你略微瞭解到python的神奇。

先上程式碼：

import urllib.request  
def getPage(url):     
    request = urllib.request.Request(url)  
    response = urllib.request.urlopen(request)  
    return response.read().decode("utf-8") 
      
url='http://www.kntpb.com/'  
result=getPage(url)  
print (result) 

第1行匯入了必要的包

第2至6\5行定義了一個函式，目的是向指定url傳送http請求，並將網頁的原始碼返回

最後把獲得的原始碼進行展示

在命令列執行程式碼的話，可以看到類似圖1-1的一堆html程式碼，即為成功。

圖1-1

可以用瀏覽器訪問一下程式碼中的url，可以看到類似圖1-2的ebay的網站。（為了逃避中文字元的處理，所以選擇了英文的網站）

圖1-2

而在瀏覽的網頁的空白處單擊右鍵，選擇“檢視網頁原始碼”，可以看到類似圖1-3的的html原始碼，實際上與圖1-1中是一樣的。

圖1-3

修改一下程式碼，將獲取的html原始碼寫入本地的檔案。

第10至12行進行了檔案操作，在D盤建立了result.html檔案並將result變數中的內容寫入其中。

作為一個購物網站，大部分型別的商品都是分很多頁的，接下來繼續修改程式碼，讓它能夠取出前5頁的內容，分別寫入5個檔案中。

第8行修改了url字串的結尾部分，刪除了“&_pgn=1”，並將其作為後面迴圈的引數

第10至17行做了一個0至4的迴圈（當然你也可以設定成1到5），其中第11行和16行僅是跟蹤程式碼，用以顯示當前讀到的頁數。第12行的實參將迴圈變數p組合進去，達到獲取不同頁html原始碼的作用。

第18行結束檔案操作，關閉所用資源。

程式在命令列執行後，最後一行顯示“==5====end==”，並在D盤生成如圖1-4的，檔案大小近似的5個html檔案即為成功。

圖1-4

==========================================以下是之前的筆記=====================================

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()