MD5演算法研究 (10千字)

標 題:MD5演算法研究 (10千字)

發信人:eCool

時 間:2002-5-4 12:13:41 

詳細資訊:

CSDN - 技術頻道 - 文件中心 - ASP     
 
標題    MD5演算法研究    popcode（轉貼）
 
關鍵字    資料演算法
 
出處    http://www.5xsoft.com/data/200203/2914345701.htm
 

綜述

　　md5的全稱是message-digest algorithm 5（資訊-摘要演算法），在90年代初由mit laboratory for computer science和rsa data security inc的ronald l. rivest開發出來，經md2、md3和md4發展而來。它的作用是讓大容量資訊在用數字簽名軟體簽署私人密匙前被"壓縮"成一種保密的格式（就是把一個任意長度的位元組串變換成一定長的大整數）。不管是md2、md4還是md5，它們都需要獲得一個隨機長度的資訊併產生一個128位的資訊摘要。雖然這些演算法的結構或多或少有些相似，但md2的設計與md4和md5完全不同，那是因為md2是為8位機器做過設計最佳化的，而md4和md5卻是面向32位的電腦。這三個演算法的描述和c語言原始碼在internet rfcs 1321中有詳細的描述（http://www.ietf.org/rfc/rfc1321.txt），這是一份最權威的文件，由ronald l. rivest在1992年8月向ieft提交。

　　rivest在1989年開發出md2演算法。在這個演算法中，首先對資訊進行資料補位，使資訊的位元組長度是16的倍數。然後，以一個16位的檢驗和追加到資訊末尾。並且根據這個新產生的資訊計算出雜湊值。後來，rogier和chauvaud發現如果忽略了檢驗和將產生md2衝突。md2演算法的加密後結果是唯一的--既沒有重複。

　　為了加強演算法的安全性，rivest在1990年又開發出md4演算法。md4演算法同樣需要填補資訊以確保資訊的位元組長度加上448後能被512整除（資訊位元組長度mod 512 = 448）。然後，一個以64位二進位制表示的資訊的最初長度被新增進來。資訊被處理成512位damg?rd/merkle迭代結構的區塊，而且每個區塊要透過三個不同步驟的處理。den boer和bosselaers以及其他人很快的發現了攻擊md4版本中第一步和第三步的漏洞。dobbertin向大家演示瞭如何利用一部普通的個人電腦在幾分鐘內找到md4完整版本中的衝突（這個衝突實際上是一種漏洞，它將導致對不同的內容進行加密卻可能得到相同的加密後結果）。毫無疑問，md4就此被淘汰掉了。

　　儘管md4演算法在安全上有個這麼大的漏洞，但它對在其後才被開發出來的好幾種資訊保安加密演算法的出現卻有著不可忽視的引導作用。除了md5以外，其中比較有名的還有sha-1、ripe-md以及haval等。

　　一年以後，即1991年，rivest開發出技術上更為趨近成熟的md5演算法。它在md4的基礎上增加了"安全-帶子"（safety-belts）的概念。雖然md5比md4稍微慢一些，但卻更為安全。這個演算法很明顯的由四個和md4設計有少許不同的步驟組成。在md5演算法中，資訊-摘要的大小和填充的必要條件與md4完全相同。den boer和bosselaers曾發現md5演算法中的假衝突（pseudo-collisions），但除此之外就沒有其他被發現的加密後結果了。

　　van oorschot和wiener曾經考慮過一個在雜湊中暴力搜尋衝突的函式（brute-force hash function），而且他們猜測一個被設計專門用來搜尋md5衝突的機器（這臺機器在1994年的製造成本大約是一百萬美元）可以平均每24天就找到一個衝突。但單從1991年到2001年這10年間，竟沒有出現替代md5演算法的md6或被叫做其他什麼名字的新演算法這一點，我們就可以看出這個瑕疵並沒有太多的影響md5的安全性。上面所有這些都不足以成為md5的在實際應用中的問題。並且，由於md5演算法的使用不需要支付任何版權費用的，所以在一般的情況下（非絕密應用領域。但即便是應用在絕密領域內，md5也不失為一種非常優秀的中間技術），md5怎麼都應該算得上是非常安全的了。

　　演算法的應用

　　md5的典型應用是對一段資訊（message）產生資訊摘要（message-digest），以防止被篡改。比如，在unix下有很多軟體在下載的時候都有一個檔名相同，副檔名為.md5的檔案，在這個檔案中通常只有一行文字，大致結構如：

　　　md5 (tanajiya.tar.gz) = 0ca175b9c0f726a831d895e269332461

　　這就是tanajiya.tar.gz檔案的數字簽名。md5將整個檔案當作一個大文字資訊，透過其不可逆的字串變換演算法，產生了這個唯一的md5資訊摘要。如果在以後傳播這個檔案的過程中，無論檔案的內容發生了任何形式的改變（包括人為修改或者下載過程中線路不穩定引起的傳輸錯誤等），只要你對這個檔案重新計算md5時就會發現資訊摘要不相同，由此可以確定你得到的只是一個不正確的檔案。如果再有一個第三方的認證機構，用md5還可以防止檔案作者的"抵賴"，這就是所謂的數字簽名應用。

　　md5還廣泛用於加密和解密技術上。比如在unix系統中使用者的密碼就是以md5（或其它類似的演算法）經加密後儲存在檔案系統中。當使用者登入的時候，系統把使用者輸入的密碼計算成md5值，然後再去和儲存在檔案系統中的md5值進行比較，進而確定輸入的密碼是否正確。透過這樣的步驟，系統在並不知道使用者密碼的明碼的情況下就可以確定使用者登入系統的合法性。這不但可以避免使用者的密碼被具有系統管理員許可權的使用者知道，而且還在一定程度上增加了密碼被破解的難度。

　　正是因為這個原因，現在被駭客使用最多的一種破譯密碼的方法就是一種被稱為"跑字典"的方法。有兩種方法得到字典，一種是日常蒐集的用做密碼的字串表，另一種是用排列組合方法生成的，先用md5程式計算出這些字典項的md5值，然後再用目標的md5值在這個字典中檢索。我們假設密碼的最大長度為8位位元組（8 bytes），同時密碼只能是字母和數字，共26+26+10=62個字元，排列組合出的字典的項數則是p(62,1)+p(62,2)….+p(62,8)，那也已經是一個很天文的數字了，儲存這個字典就需要tb級的磁碟陣列，而且這種方法還有一個前提，就是能獲得目標賬戶的密碼md5值的情況下才可以。這種加密技術被廣泛的應用於unix系統中，這也是為什麼unix系統比一般作業系統更為堅固一個重要原因。

　　演算法描述

　　對md5演算法簡要的敘述可以為：md5以512位分組來處理輸入的資訊，且每一分組又被劃分為16個32位子分組，經過了一系列的處理後，演算法的輸出由四個32位分組組成，將這四個32位分組級聯後將生成一個128位雜湊值。

　　在md5演算法中，首先需要對資訊進行填充，使其位元組長度對512求餘的結果等於448。因此，資訊的位元組長度（bits length）將被擴充套件至n*512+448，即n*64+56個位元組（bytes），n為一個正整數。填充的方法如下，在資訊的後面填充一個1和無數個0，直到滿足上面的條件時才停止用0對資訊的填充。然後，在在這個結果後面附加一個以64位二進位制表示的填充前資訊長度。經過這兩步的處理，現在的資訊位元組長度=n*512+448+64=(n+1)*512，即長度恰好是512的整數倍。這樣做的原因是為滿足後面處理中對資訊長度的要求。

　　md5中有四個32位被稱作連結變數（chaining variable）的整數引數，他們分別為：a=0x01234567，b=0x89abcdef，c=0xfedcba98，d=0x76543210。

　　當設定好這四個連結變數後，就開始進入演算法的四輪迴圈運算。迴圈的次數是資訊中512位資訊分組的數目。

　　將上面四個連結變數複製到另外四個變數中：a到a，b到b，c到c，d到d。

　　主迴圈有四輪（md4只有三輪），每輪迴圈都很相似。第一輪進行16次操作。每次操作對a、b、c和d中的其中三個作一次非線性函式運算，然後將所得結果加上第四個變數，文字的一個子分組和一個常數。再將所得結果向右環移一個不定的數，並加上a、b、c或d中之一。最後用該結果取代a、b、c或d中之一。
以一下是每次操作中用到的四個非線性函式（每輪一個）。

　　　f(x,y,z) =(x&y)|((~x)&z)
　　　g(x,y,z) =(x&z)|(y&(~z))
　　　h(x,y,z) =x^y^z
　　　i(x,y,z)=y^(x|(~z))
　　　（&是與，|是或，~是非，^是異或）

　　這四個函式的說明：如果x、y和z的對應位是獨立和均勻的，那麼結果的每一位也應是獨立和均勻的。
f是一個逐位運算的函式。即，如果x，那麼y，否則z。函式h是逐位奇偶運算子。

　　假設mj表示訊息的第j個子分組（從0到15），<<
　　　ff(a,b,c,d,mj,s,ti)表示a=b+((a+(f(b,c,d)+mj+ti)<< 　　　gg(a,b,c,d,mj,s,ti)表示a=b+((a+(g(b,c,d)+mj+ti)<< 　　　hh(a,b,c,d,mj,s,ti)表示a=b+((a+(h(b,c,d)+mj+ti)<< 　　　ii(a,b,c,d,mj,s,ti)表示a=b+((a+(i(b,c,d)+mj+ti)<<
　　這四輪（64步）是：

　　第一輪

　　　ff(a,b,c,d,m0,7,0xd76aa478)
　　　ff(d,a,b,c,m1,12,0xe8c7b756)
　　　ff(c,d,a,b,m2,17,0x242070db)
ff(b,c,d,a,m3,22,0xc1bdceee)
　　　ff(a,b,c,d,m4,7,0xf57c0faf)
　　　ff(d,a,b,c,m5,12,0x4787c62a)
　　　ff(c,d,a,b,m6,17,0xa8304613)
　　　ff(b,c,d,a,m7,22,0xfd469501)
　　　ff(a,b,c,d,m8,7,0x698098d8)
　　　ff(d,a,b,c,m9,12,0x8b44f7af)
　　　ff(c,d,a,b,m10,17,0xffff5bb1)
　　　ff(b,c,d,a,m11,22,0x895cd7be)
　　　ff(a,b,c,d,m12,7,0x6b901122)
　　　ff(d,a,b,c,m13,12,0xfd987193)
　　　ff(c,d,a,b,m14,17,0xa679438e)
　　　ff(b,c,d,a,m15,22,0x49b40821)

　　第二輪

　　　gg(a,b,c,d,m1,5,0xf61e2562)
　　　gg(d,a,b,c,m6,9,0xc040b340)
　　　gg(c,d,a,b,m11,14,0x265e5a51)
　　　gg(b,c,d,a,m0,20,0xe9b6c7aa)
　　　gg(a,b,c,d,m5,5,0xd62f105d)
　　　gg(d,a,b,c,m10,9,0x02441453)
　　　gg(c,d,a,b,m15,14,0xd8a1e681)
　　　gg(b,c,d,a,m4,20,0xe7d3fbc8)
　　　gg(a,b,c,d,m9,5,0x21e1cde6)
　　　gg(d,a,b,c,m14,9,0xc33707d6)
　　　gg(c,d,a,b,m3,14,0xf4d50d87)
　　　gg(b,c,d,a,m8,20,0x455a14ed)
　　　gg(a,b,c,d,m13,5,0xa9e3e905)
　　　gg(d,a,b,c,m2,9,0xfcefa3f8)
　　　gg(c,d,a,b,m7,14,0x676f02d9)
　　　gg(b,c,d,a,m12,20,0x8d2a4c8a)

　　第三輪

　　　hh(a,b,c,d,m5,4,0xfffa3942)
　　　hh(d,a,b,c,m8,11,0x8771f681)
　　　hh(c,d,a,b,m11,16,0x6d9d6122)
　　　hh(b,c,d,a,m14,23,0xfde5380c)
　　　hh(a,b,c,d,m1,4,0xa4beea44)
　　　hh(d,a,b,c,m4,11,0x4bdecfa9)
　　　hh(c,d,a,b,m7,16,0xf6bb4b60)
　　　hh(b,c,d,a,m10,23,0xbebfbc70)
　　　hh(a,b,c,d,m13,4,0x289b7ec6)
　　　hh(d,a,b,c,m0,11,0xeaa127fa)
　　　hh(c,d,a,b,m3,16,0xd4ef3085)
　　　hh(b,c,d,a,m6,23,0x04881d05)
　　　hh(a,b,c,d,m9,4,0xd9d4d039)
　　　hh(d,a,b,c,m12,11,0xe6db99e5)
　　　hh(c,d,a,b,m15,16,0x1fa27cf8)
　　　hh(b,c,d,a,m2,23,0xc4ac5665)

　　第四輪

　　　ii(a,b,c,d,m0,6,0xf4292244)
　　　ii(d,a,b,c,m7,10,0x432aff97)
　　　ii(c,d,a,b,m14,15,0xab9423a7)
　　　ii(b,c,d,a,m5,21,0xfc93a039)
　　　ii(a,b,c,d,m12,6,0x655b59c3)
　　　ii(d,a,b,c,m3,10,0x8f0ccc92)
　　　ii(c,d,a,b,m10,15,0xffeff47d)
　　　ii(b,c,d,a,m1,21,0x85845dd1)
　　　ii(a,b,c,d,m8,6,0x6fa87e4f)
　　　ii(d,a,b,c,m15,10,0xfe2ce6e0)
　　　ii(c,d,a,b,m6,15,0xa3014314)
　　　ii(b,c,d,a,m13,21,0x4e0811a1)
　　　ii(a,b,c,d,m4,6,0xf7537e82)
　　　ii(d,a,b,c,m11,10,0xbd3af235)
　　　ii(c,d,a,b,m2,15,0x2ad7d2bb)
　　　ii(b,c,d,a,m9,21,0xeb86d391)

　　常數ti可以如下選擇：

　　在第i步中，ti是4294967296*abs(sin(i))的整數部分，i的單位是弧度。(4294967296等於2的32次方)
所有這些完成之後，將a、b、c、d分別加上a、b、c、d。然後用下一分組資料繼續執行演算法，最後的輸出是a、b、c和d的級聯。

　　當你按照我上面所說的方法實現md5演算法以後，你可以用以下幾個資訊對你做出來的程式作一個簡單的測試，看看程式有沒有錯誤。

　　　md5 ("") = d41d8cd98f00b204e9800998ecf8427e
　　　md5 ("a") = 0cc175b9c0f1b6a831c399e269772661
　　　md5 ("abc") = 900150983cd24fb0d6963f7d28e17f72
　　　md5 ("message digest") = f96b697d7cb7938d525a2f31aaf161d0
　　　md5 ("abcdefghijklmnopqrstuvwxyz") = c3fcd3d76192e4007dfb496cca67e13b
　　　md5 ("abcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyz0123456789") =
d174ab98d277d9f5a5611c2c9f419d9f
　　　md5 ("123456789012345678901234567890123456789012345678901234567890123456789
01234567890") = 57edf4a22be3c955ac49da2e2107b67a

　　如果你用上面的資訊分別對你做的md5演算法例項做測試，最後得出的結論和標準答案完全一樣，那我就要在這裡象你道一聲祝賀了。要知道，我的程式在第一次編譯成功的時候是沒有得出和上面相同的結果的。


　　md5的安全性

　　md5相對md4所作的改進：

　　　1. 增加了第四輪；

　　　2. 每一步均有唯一的加法常數；

　　　3. 為減弱第二輪中函式g的對稱性從(x&y)|(x&z)|(y&z)變為(x&z)|(y&(~z))；

　　　4. 第一步加上了上一步的結果，這將引起更快的雪崩效應；

　　　5. 改變了第二輪和第三輪中訪問訊息子分組的次序，使其更不相似；

　　　6. 近似最佳化了每一輪中的迴圈左移位移量以實現更快的雪崩效應。各輪的位移量互不相同。