Python中的mechanize模組是什麼？

mechanize是對urllib2的部分功能的替換，能夠更好的模擬瀏覽器行為，在web訪問控制方面做得更全面。結合beautifulsoup和re模組，可以有效的解析web頁面。

下面主要總結了使用mechanize模擬瀏覽器的行為和幾個例子（谷歌搜尋，百度搜尋和人人網登入等）

1.初始化並建立一個瀏覽器物件

如果沒有mechanize需要easy_install安裝，以下程式碼建立瀏覽器物件並作了一些初始化設定，實際使用過程可以按需開關。其實只用預設的設定也可以完成基本任務。

#!/usr/bin/env python
import sys,mechanize
 
#Browser
br = mechanize.Browser()
 
#options
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
 
#Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
 
#debugging?
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)
 
#User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

2.模擬瀏覽器行為

瀏覽器物件建立並初始化完畢之後即可使用了，下面給出幾個例子（程式碼承接以上部分）

獲取web網頁：

分行列印可以逐個檢視詳細資訊，就不贅述

r = br.open(sys.argv[1])
html = r.read()
print html
print br.response().read()
print br.title()
print r.info()

模擬谷歌和百度查詢

列印和選擇forms，然後填寫相應鍵值，透過post提交完成操作

for f in br.forms():
 print f
 
br.select_form(nr=0)

谷歌查詢football

br.form['q'] = 'football'
br.submit()
print br.response().read()

百度查詢football

br.form['wd'] = 'football'
br.submit()
print br.response().read()

相應鍵值名，可以透過列印查出

回退（Back）

非常簡單的操作，列印url即可驗證是否回退

# Back
br.back()
print br.geturl()

3.http基本認證

br.add_password('', 'username', 'password')
br.open('')

4.form認證

以登陸人人網為例，列印forms可以查出使用者名稱和密碼鍵資訊

br.select_form(nr = 0)
br['email'] = username
br['password'] = password
resp = self.br.submit()

5.cookie支援

透過匯入cookielib模組，並設定瀏覽器cookie，可以在需要認證的網路行為之後不用重複認證登陸。透過儲存session cookie即可重新訪問，Cookie Jar完成了該功能。

#!/usr/bin/env python
import mechanize, cookielib
 
br = mechanize.Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar()

6.proxy設定

設定http代理

#Proxy
br.set_proxies({"http":"proxy.com:8888"})
br.add_proxy_password("username", "password")
 
#Proxy and usrer/password
br.set_proxies({"http":"username:password@proxy.com:8888"})

7.關於記憶體過高問題

在用mechanize寫了一個爬蟲指令碼，想要去某網站爬取大概30萬張圖片。

整個過程是：

1、獲取目標頁面地址

2、取得目標地址前幾頁的所有圖片url

3、對這些url進行下載，並把索引資料儲存到mysql資料庫。

這個指令碼大概每秒鐘完成一張圖片的下載(主要是網路只有200K/S左右，是瓶頸)

當圖片下載到大約15000張左右的時候，發現越來越慢，最後乾脆停下了。

用ps aux檢視，發現程式sleep。

free看一下，記憶體竟然只剩下100M了（系統總記憶體4GB）

問題發現：mechanize預設會儲存模擬過的操作歷史，導致佔用的記憶體越來越大：

mechanize初始化Browser()的時候，如果你不給他傳一個history物件作為引數，Browser()就會按照預設的方式（允許儲存操作歷史）來進行初始化，你可以隨便傳個什麼history給它即可，如自定義一個NoHistory物件：

class NoHistory(object): 
 def add(self, *a, **k): pass
 def clear(self): pass
  
b = mechanize.Browser(history=NoHistory())