再也不用擔心網頁編碼的坑了！

kimg1234發表於2019-02-16
網頁

大家爬取網頁的時候，應該都遇到過這種情況 

當我列印網頁原始碼的時候

發現 全部是亂碼的

那這個時候應該怎麼辦呢？

requests是如何判斷編碼

首先，response.content返回的內容 是二進位制內容

response.text 則是根據設定的encoding來解碼

# Try charset from content-type  
content = None  
encoding = self.encoding  
  
if not self.content:  
  return str(``)  
  
# Fallback to auto-detected encoding.  
if self.encoding is None:  
    encoding = self.apparent_encoding  
  
# Decode unicode from given encoding.  
try:  
    content = str(self.content, encoding, errors=`replace`)  
except (LookupError, TypeError):

我們可以看到 ，當encoding為None的時候，

編碼是通過chardet.detect來獲取的,

def apparent_encoding(self):  
"""The apparent encoding, provided by the chardet library."""  
    return chardet.detect(self.content)[`encoding`]

那麼chardet.detect 又是幹嘛的呢？

簡單的講，就是根據給定的位元組，來返回他的編碼

至於他是如何實現的，歡迎去看原始碼。。。

上面說到了當encoding為None的時候,requests是如何設定encoding的

那麼encoding 預設編碼是啥呢？繼續檢視原始碼

我們在adapters.py 裡面找到了~

response.encoding = get_encoding_from_headers(response.headers)

def get_encoding_from_headers(headers):  
"""Returns encodings from given HTTP Header Dict.  
    :param headers: dictionary to extract encoding from.  
    :rtype: str  
    """  
    content_type = headers.get(`content-type`)  
  
if not content_type:  
  return None  
content_type, params = cgi.parse_header(content_type)  

if `charset` in params:  
  return params[`charset`].strip("`"")  
  
if `text` in content_type:  
  return `ISO-8859-1`

簡單講就是 如何返回頭裡面沒有content_type，則encoding為None

如果charset在引數裡面的話，則使用charset設定的值（看下圖，github返回的）

如果text在引數裡面的話，則使用ISO-8859-1

然後你列印下 你亂碼網頁的encoding，發現，還真是ISO-8859-1

你會很奇怪，為啥當content-type為text/html的時候，編碼為iso-8859-1呢？

現在常見的編碼不是utf8麼，requests怎麼這麼傻*呢…

然後發現是rfc2016的規定。。。

rfc2016的連結在 https://www.ietf.org/rfc/rfc2…

感興趣的同學可以自行查閱…

最後總結

當返回頭沒有content_type 的時候，encoding使用chardet.detect 猜測出來的編碼（一般都是很準的）

當返回頭裡面有content_type 的時候，如果有charset=xxx，則encoding的編碼為chatset的值。如果只是text/html,則編碼為ISO-8859-1

那麼當你發現response.text返回亂碼的時候，怎麼辦呢。。。

只要先設定編碼為None…

再列印.text就可以了..

response.encoding = None  
response.text

本來呢，本篇文章到此結束了。。。但是呢。。。

科普個小知識

有幾種方法可以知道網頁的編碼呢？

  1. 我們上面講過的 response.headers中的content_type
  2. 通過chardet.detect猜測出來（上面講過的）
  3. 網頁原始碼中的 meta（且有charset的值）如下面的，則表示網頁編碼為gb2312（不過呢，有時候並不是很準，這個是前端瞎xx寫的，這時候就可以用chardet.detect來猜測了…）

方法3的程式碼如何寫呢（如下）

def get_encodings_from_content(content):  
"""Returns encodings from given content string.  
    :param content: bytestring to extract encodings from.  
    """  
    warnings.warn((  
`In requests 3.0, get_encodings_from_content will be removed. For `  
        `more information, please see the discussion on issue #2266. (This`  
        ` warning should only appear once.)`),  
        DeprecationWarning)  
  
    charset_re = re.compile(r`<meta.*?charset=["`]*(.+?)["`>]`, flags=re.I)  
    pragma_re = re.compile(r`<meta.*?content=["`]*;?charset=(.+?)["`>]`, flags=re.I)  
    xml_re = re.compile(r`^<?xml.*?encoding=["`]*(.+?)["`>]`)  
  
    return (charset_re.findall(content) +  
            pragma_re.findall(content) +  
            xml_re.findall(content))

你會看到requests3.0版本的時候，這個方法會去掉，這又是為什麼呢。。。

截圖自己看把，地址在https://github.com/requests/r…

如果還有猜測編碼的方法，歡迎留言

完…

相關文章