在web開發的時候我們經常會遇到網頁抓取和分析，各種語言都可以完成這個功能。我喜歡用python實現，因為python提供了很多成熟的模組，可以很方便的實現網頁抓取。
但是在抓取過程中會遇到編碼的問題，那今天我們來看一下如何判斷網頁的編碼：
網上很多網頁的編碼格式都不一樣，大體上是GBK,GB2312，UTF-8等。
我們在獲取網頁的的資料後，先要對網頁的編碼進行判斷，才能把抓取的內容的編碼統一轉換為我們能夠處理的編碼，避免亂碼問題的出現。
下面介紹兩種判斷網頁編碼的方法：
方法一：使用urllib模組的getparam方法
import urllib
fopen1 = urllib.urlopen('http://www.baidu.com').info()
fopen2 = urllib.urlopen('http://www.pythontab.com').info()
print fopen1.getparam('charset')# baidu
print fopen2.getparam('charset')# pythontab執行結果為：
gbk
None
PS: 呵呵，其實，上面的獲取的編碼都是不正確的，我們可以自己開啟網頁檢視原始碼，發現baidu的是gb2312，而pythontab是utf-8。唉，這個方法確實有點坑爹啊。檢測不準確、檢測不到，它都佔了，所以很不靠譜，下面介紹一個靠譜的方法。
方法二：使用chardet模組
#如果你的python沒有安裝chardet模組，你需要首先安裝一下chardet判斷編碼的模組哦
import chardet
import urllib
#先獲取網頁內容
data = urllib.urlopen('http://www.pythontab.com').read()
#用chardet進行內容分析
chardit = chardet.detect(data)
data1 = urllib.urlopen('http://www.baidu.com').read()
chardit1 = chardet.detect(data1)
print chardit['encoding'] # pythontab
print chardit1['encoding'] # baidu執行結果為：
utf-8
gb2312
這兩個結果都是正確的哦，各位可以去親自驗證一下~~
總結：第二個方法很準確，在網頁編碼分析的時候用python模組分析內容是最準確的，而使用分析meta頭資訊的方法是不太準確的。