看國外開發者如何檢驗並恢復損壞的git資料檔案

伯樂線上讀者發表於2013-11-02

【感謝 @剛子-廷皇 的熱心翻譯。如果其他朋友也有不錯的原創或譯文,可以嘗試提交到伯樂線上。】

 

最近我提交了一分損壞的檔案到資源庫上,被問到資料是否可恢復。根據提出的描述開始著手調查和修復問題,我認為其他人也會對解決的過程感興趣,或者遇到相同狀況後可以幫助到你。

我開啟了檢查(fsck),發現問題出現在一個類上(我過去經常用 $pack $obj 命令使得輸出可讀,而且因為我也更傾向於他們):

 

錯誤的資訊意味著一個位元組在某一個地方混亂了,推測是類裡面描述過的(因為檢驗和的索引和zlib都失敗了)

通過閱讀zlib原始碼,我發現“檢查不正確資料”意味著adler-32

演算法檢驗zlib資料末端沒有匹配已經增加的資料。因此通過zlib壓縮資料是沒有用的,因為到每次末尾都會有錯誤,此時我們了也解到這個crc檔案不能匹配。這個出錯的位元組存在類檔案的任何地方。

第一件事情我從packfilepull出損壞的檔案。我需要知道到底它多大的類,然後我發現了下面的資訊:

Show-index命令可以列出類和他們的偏移量。我們除了偏移量以外通通拋棄,然後排列,這樣我們感興趣的偏移量(這個位置是從上面fsck命令得出來的)是遵循下一個物件的偏移量。現在我們知道類檔案長度是10863位元組,然後我們可以抓取它:

我檢查了檔案的十六進位制,搜尋任何明顯的錯誤(例如,一個4K大小執行中的0是檔案系統衝突很好的訊號)。但是所有的地方看起來都很合理。

注意到“object”檔案不適合被zlib直接壓縮;它本身包含git類資訊頭,而且是可變長度的。我們想要去掉它,所以開始直接使用zlib運算元據。你可以用你手工的方式(格式化資訊的描述在Documentation/technical/pack-format.txt裡面),或者你也可以用debugger搞定它。我選擇了後者,建立了一個驗證的包如下:# pack magic and version

然後在debugger中執行”git index-pack tmp.pack” 命令(會停在unpack_raw_entry)。做到這裡,我發現有3個自己的資訊頭(資訊頭本身有一個完整的型別和大小)。然後我用下面語句去掉了這些內容:

我用一個自定義的C程式過的zlib的解壓鎖結果。但是它報錯了,我得到準確的輸出數字位元組(也就是說,它匹配了上面解碼的git的資訊頭大小)。但是”git hash-object” 命令的結果並沒有相同的shal值。所以現在仍然有一些錯誤的位元組是我不知道的。這個檔案發生在C源程式程式碼,我希望我能注意到一些明顯的錯誤,但是我沒有成功,我甚至都編譯成功了!

我也試過和在資源庫相同路徑下其他版本的檔案作比較,希望有不一樣和不合理的部分。不幸運的是,這碰巧是唯一的修訂檔案,在這個資源庫中。所以我沒有任何東西可以作比較。

於是我採取不同的措施,猜測著衝突是由限制單個位元組引起的,我寫了交換每個位元組的程式,是這解壓縮得到結果。因為這個類檔案壓縮過後僅有10K,花了很多時間解壓出之後的結果是2.5M。

這是我用的程式:

編譯和執行的結果:

有一些錯誤出現(如果你在zlib的資訊頭中得到”no data”資訊,zlib認為它執行的很好:))。但是我中途得到了下面的資訊:

等到執行完結束,末尾獲得了更多的記錄(整理crc檔案匹配了我們損壞的檔案)。有一個很好的機會,在中間的記錄,就是原始碼的問題

在一個十六進位制編輯器中對位元組稍微做了一些調整,zlib解壓縮(毫無錯誤!),然後管道輸出”git hash-object”,報告了損壞檔案的shal值,成功了!

我修正packfile檔案本身:

發現’\xc7’來自與替換我們的“munge”程式。把原來的物件偏移(51653873)匯出了偏移量51659518 。通過“munge”(5642)增加了代替部分的偏移量,然後增加了之前去掉的3位元組的git資訊頭。

最後,”git fsck” 清理乾淨。

關於衝突本身來說,我很幸運它確實是一個位元組。實際上,證明就是單獨的位。0xc7位元組發生衝突成為0xc5.所以推測由錯誤的硬體引起,或者物理射線。

緊接著,中止關注於解壓縮的輸出是錯的嗎?我本會一直看前面的部分這樣永遠不會發現它。下面是解壓縮後衝突資料的不同,真正的資料檔案:

調整了一個位元組,最終仍然是有效的,可讀的C碰巧做了完全不同的事情!一次不同嘗試會造成幸運的日子,看看zlib的輸出可能確實有用,正如大多數隨機的改變也許就會破壞C程式碼。

但更重要的是,git的hash、檢驗和引起了在另外一個系統中,很容易不被檢測問題。這個結果仍然會編譯,但是可能就引起一個有趣的bug(歸咎於一些隨機性的提交)

相關文章