今天偷個懶寫篇總結性的文章，我們在寫爬蟲，對網路抓包或逆向一些token引數時常常遇到一長串的字元，看到一長串不知其意義的字串往往有點懵圈。如果你靠肉眼能從這一長串字元中看出一些特徵或含義，那麼會加快你寫爬蟲解析網路引數的步伐，也能給你提供分析思路。
這篇文章就是總結一下常見的字串編碼的格式和特徵。
一、URL編碼
請求URL的時候通常看見以%開頭的字串，這一般是對字元做了URL編碼處理。
http%3A%2F%2Fwww.yuanrenxue.com%2F比如上面字串，經常看的話其實你就知道上面的含義，%3A是: %2F是/ 。
解碼後的完整URL其實是：
http://www.yuanrenxue.com/可以使用urllib.parse.quote做URL編碼，用urllib.parse.unquote做解碼。比如我們對 猿人學 三個字做一下URL編碼：
>>import urllib
>>st = '猿人學'
>>enc_st = urllib.parse.quote(st)
>>print(enc_st)
>>%E7%8C%BF%E4%BA%BA%E5%AD%A6
>>
>>urllib.parse.unquote(enc_st)
>>猿人學
%E7%8C%BF%E4%BA%BA%E5%AD%A6 這一串就是猿人學URL編碼
再用urllib.parse.unquote對這一串解碼就是猿人學三個字。
Python中做URL編碼一般是對特殊字元做編碼處理，你可以簡單認為對非英語字元做編碼處理，實際上我們在寫爬蟲分析對方JS時，你會發現對方把英語字元也做了編碼處理。
同樣的 http://www.yuanrenxue.com/ 這串在Python一般編碼後是：
http%3A%2F%2Fwww.yuanrenxue.com%2F在Javascript中可以是這樣：
%68%74%74%70%3A%2F%2F%77%77%77%2E%79%75%61%6E%72%65%6E%78%75%65%2E%63%6F%6D%2F它是對所有字元都做了編碼。
二、Unicode轉義
有時你開啟一張網頁，想分析下它的網頁結構，發現網頁裡全都是密密麻麻的&#開頭的字元，完全不認識，例如是這樣的：
看得人頭暈，但是它有一個特徵都是以&#開頭，以;結尾的。這是HTML中一種Unicode轉義，在網頁中做Unicode編碼就是這樣子的。
我們來測試一下：
>>import html
>>
>>s = '''今天偷个懒写篇总结性的文章，我们在'''
>>
>>print(html.unescape(s))
>> 今天偷個懶寫篇總結性的文章，我們在如上程式碼，我們使用html.unescape可以還原這些文字，還原出來的文字是我這篇文章的開篇詞。
三、16進位制Unicode轉義
上面的Unicode轉義是 這樣：
今天偷个懒
&#後面是的數字是10進位制的，還有一種&#後面是16進位制的，比如：
>>import html
>>
>>s = '''今天偷个懒写篇总结性的文章，我们在'''
>>
>>print(html.unescape(s))
>>今天偷個懶寫篇總結性的文章，我們在也是用html.unescape可以還原。
四、UTF-8編碼
\u4eca\u5929\u5077\u4e2a\u61d2\u5199\u7bc7\u603b\u7ed3\u6027\u7684\u6587\u7ae0\uff0c\u6211\u4eec\u5728
\u後面加四個字元的是UTF-8編碼
轉換很簡單：
>>s = '\u4eca\u5929\u5077\u4e2a\u61d2\u5199\u7bc7\u603b\u7ed3\u6027\u7684\u6587\u7ae0\uff0c\u6211\u4eec\u5728'
>>print(s)
>> 天偷個懶寫篇總結性的文章，我們在
Python內部會轉換。
五、base64編碼
寫爬蟲抓取時，常常會看到token裡帶有類似：eXVhbnJlbnh1ZS5jb20=
這樣的字串，常常字串後面以=結尾的，很可能就是base64編碼了的。
>>import base64
>>str = 'yuanrenxue.com'
>>bytesStr = str.encode(encoding='utf-8')
>>b64str = base64.b64encode(bytesStr)
>>print(b64str)
>>b'eXVhbnJlbnh1ZS5jb20='
如上程式碼，我們對yuanrenxue.com做base64編碼出來的是以=結尾的。
總結：
1.以%開頭的一般是做了URL編碼的，用urllib.parse.unquote()解碼。
2.以&#開頭的一般是做了Unicode轉義處理，html.unescape()做反轉義。
3.以&#x開頭的是做了Unicode 16進位制轉義，也用html.unescape()做反轉義。
4.以\u開頭的是一般是UTF-8編碼。
5.字串後面以=結尾的，通常是做了base64編碼處理的。
————–
PS：最近晚上都忙著給跟著我學習爬蟲的同學上課，上週只寫了一篇公眾號，這週會應能恢復一週兩篇。
持續三個月的爬蟲課，只教了一個半月左右，已有幾個同學找到爬蟲工作，自我感覺還是不錯。七月我會繼續教，教會你：
1.海量爬蟲的抓取策略和抓取竅門
2.JS/APP逆向
3.自己動手設計分散式爬蟲框架
適合致力於找爬蟲工作，和爬蟲技能進階的同學。在公眾號選單欄你能找到我的微信。
關於我：
爬蟲過往好文：
我的公眾號：猿人學 Python 上會分享更多心得體會，敬請關注。
***版權申明:若沒有特殊說明，文章皆是猿人學 yuanrenxue.com 原創，沒有猿人學授權，請勿以任何形式轉載。***