【C# 程式碼小知識】畫蛇添足的編碼字首

丹楓無跡發表於2020-02-10
C#

我們都知道，檔案有不同的編碼，例如我們常用的中文編碼有：UTF8、GK2312 等。

Windows 作業系統中，新建的檔案會在起始部分加入幾個字元的字首，來識別編碼。

例如，新建文字檔案，寫入單詞 Hello，另存為 UTF8。Hello 佔 5 個位元組，但文字大小卻是 8 個位元組。（win7 系統下還是這樣的，win10 已經去掉了編碼字首，所以 win10 下檔案大小依然是 5 個位元組。看來微軟自己也改變了。）

我們用 StreamWriter 來生成檔案。

using (StreamWriter sw = new StreamWriter("a.txt"))
{
    sw.Write("Hello");  // 5 位元組
}

using (StreamWriter sw = new StreamWriter("b.txt", false, Encoding.UTF8))
{
    sw.Write("Hello");  // 8 位元組
}
複製程式碼

詭異的事情發生了，StreamWriter 的預設編碼是 UTF8，都是用的 UTF8 編碼，怎麼檔案的大小會不一樣呢？

UTF8Encoding 有兩個私有屬性：emitUTF8Identifier 和 isThrowException，初始化時由建構函式傳入。

  • emitUTF8Identifier 表示是否新增編碼字首
  • isThrowException 表示遇到編碼錯誤時是否報錯

由此可見，是否新增編碼字首，是可以控制的。

Encoding 中 UTF8 定義如下，新增編碼字首。

public static Encoding UTF8 {
    get {
        if (utf8Encoding == null) utf8Encoding = new UTF8Encoding(true);
        return utf8Encoding;
    }
}
複製程式碼

而 StreamWriter 中使用的預設編碼，emitUTF8Identifier=false：

internal static Encoding UTF8NoBOM {
    get { 
        if (_UTF8NoBOM == null) {
            UTF8Encoding noBOM = new UTF8Encoding(false, true);
            _UTF8NoBOM = noBOM;
        }
        return _UTF8NoBOM;
    }
}
複製程式碼

這就是開頭的程式碼中兩個檔案大小不一樣的原因了。

相關文章