ArrayBuffer:型別化陣列

卡卡西村長發表於2017-10-25

型別化陣列是JavaScript操作二進位制資料的一個介面。

這要從WebGL專案的誕生說起,所謂WebGL,就是指瀏覽器與顯示卡之間的通訊介面,為了滿足JavaScript與顯示卡之間大量的、實時的資料交換,它們之間的資料通訊必須是二進位制的,而不能是傳統的文字格式。

比如,以文字格式傳遞一個32位整數,兩端的JavaScript指令碼與顯示卡都要進行格式轉化,將非常耗時。這時要是存在一種機制,可以像C語言那樣,直接操作位元組,然後將4個位元組的32位整數,以二進位制形式原封不動地送入顯示卡,指令碼的效能就會大幅提升。

型別化陣列(Typed Array)就是在這種背景下誕生的。它很像C語言的陣列,允許開發者以陣列下標的形式,直接操作記憶體。有了型別化陣列以後,JavaScript的二進位制資料處理功能增強了很多,介面之間完全可以用二進位制資料通訊。

分配記憶體

型別化陣列是建立在ArrayBuffer物件的基礎上的。它的作用是,分配一段可以存放資料的連續記憶體區域。

var buf = new ArrayBuffer(32);

上面程式碼生成了一段32位元組的記憶體區域。

ArrayBuffer物件的byteLength屬性,返回所分配的記憶體區域的位元組長度。

var buffer = new ArrayBuffer(32);
buffer.byteLength
// 32

如果要分配的記憶體區域很大,有可能分配失敗(因為沒有那麼多的連續空餘記憶體),所以有必要檢查是否分配成功。

if (buffer.byteLength === n) {
  // 成功
} else {
  // 失敗
}

ArrayBuffer物件有一個slice方法,允許將記憶體區域的一部分,複製生成一個新的ArrayBuffer物件。

var buffer = new ArrayBuffer(8);
var newBuffer = buffer.slice(0,3);

上面程式碼複製buffer物件的前3個位元組,生成一個新的ArrayBuffer物件。slice方法其實包含兩步,第一步是先分配一段新記憶體,第二步是將原來那個ArrayBuffer物件複製過去。

slice方法接受兩個引數,第一個參數列示複製開始的位元組序號,第二個參數列示複製截止的位元組序號。如果省略第二個引數,則預設到原ArrayBuffer物件的結尾。

除了slice方法,ArrayBuffer物件不提供任何直接讀寫記憶體的方法,只允許在其上方建立檢視,然後透過檢視讀寫。

檢視

檢視的生成

ArrayBuffer作為記憶體區域,可以存放多種型別的資料。不同資料有不同的儲存方式,這就叫做“檢視”。目前,JavaScript提供以下型別的檢視:

  • Int8Array:8位有符號整數,長度1個位元組。
  • Uint8Array:8位無符號整數,長度1個位元組。
  • Int16Array:16位有符號整數,長度2個位元組。
  • Uint16Array:16位無符號整數,長度2個位元組。
  • Int32Array:32位有符號整數,長度4個位元組。
  • Uint32Array:32位無符號整數,長度4個位元組。
  • Float32Array:32位浮點數,長度4個位元組。
  • Float64Array:64位浮點數,長度8個位元組。

每一種檢視都有一個BYTES_PER_ELEMENT常數,表示這種資料型別佔據的位元組數。

Int8Array.BYTES_PER_ELEMENT // 1
Uint8Array.BYTES_PER_ELEMENT // 1
Int16Array.BYTES_PER_ELEMENT // 2
Uint16Array.BYTES_PER_ELEMENT // 2
Int32Array.BYTES_PER_ELEMENT // 4
Uint32Array.BYTES_PER_ELEMENT // 4
Float32Array.BYTES_PER_ELEMENT // 4
Float64Array.BYTES_PER_ELEMENT // 8

每一種檢視都是一個建構函式,有多種方法可以生成:

(1)在ArrayBuffer物件之上生成檢視。

同一個ArrayBuffer物件之上,可以根據不同的資料型別,建立多個檢視。

// 建立一個8位元組的ArrayBuffer
var b = new ArrayBuffer(8);

// 建立一個指向b的Int32檢視,開始於位元組0,直到緩衝區的末尾
var v1 = new Int32Array(b);

// 建立一個指向b的Uint8檢視,開始於位元組2,直到緩衝區的末尾
var v2 = new Uint8Array(b, 2);

// 建立一個指向b的Int16檢視,開始於位元組2,長度為2
var v3 = new Int16Array(b, 2, 2);

上面程式碼在一段長度為8個位元組的記憶體(b)之上,生成了三個檢視:v1、v2和v3。檢視的建構函式可以接受三個引數:

  • 第一個引數:檢視對應的底層ArrayBuffer物件,該引數是必需的。
  • 第二個引數:檢視開始的位元組序號,預設從0開始。
  • 第三個引數:檢視包含的資料個數,預設直到本段記憶體區域結束。

因此,v1、v2和v3是重疊:v1[0]是一個32位整數,指向位元組0~位元組3;v2[0]是一個8位無符號整數,指向位元組2;v3[0]是一個16位整數,指向位元組2~位元組3。只要任何一個檢視對記憶體有所修改,就會在另外兩個檢視上反應出來。

(2)直接生成。

檢視還可以不透過ArrayBuffer物件,直接分配記憶體而生成。

var f64a = new Float64Array(8);
f64a[0] = 10;
f64a[1] = 20;
f64a[2] = f64a[0] + f64a[1];

上面程式碼生成一個8個成員的Float64Array陣列(共64位元組),然後依次對每個成員賦值。這時,檢視建構函式的引數就是成員的個數。可以看到,檢視陣列的賦值操作與普通陣列的操作毫無兩樣。

(3)將普通陣列轉為檢視陣列。

將一個資料型別符合要求的普通陣列,傳入建構函式,也能直接生成檢視。

var typedArray = new Uint8Array( [ 1, 2, 3, 4 ] );

上面程式碼將一個普通的陣列,賦值給一個新生成的8位無符號整數的檢視陣列。

檢視陣列也可以轉換回普通陣列。

var normalArray = Array.apply( [], typedArray );

檢視的操作

建立了檢視以後,就可以進行各種操作了。這裡需要明確的是,檢視其實就是普通陣列,語法完全沒有什麼不同,只不過它直接針對記憶體進行操作,而且每個成員都有確定的資料型別。所以,檢視就被叫做“型別化陣列”。

(1)陣列操作

普通陣列的操作方法和屬性,對型別化陣列完全適用。

var buffer = new ArrayBuffer(16);

var int32View = new Int32Array(buffer);

for (var i=0; i<int32View.length; i++) {
  int32View[i] = i*2;
}

上面程式碼生成一個16位元組的ArrayBuffer物件,然後在它的基礎上,建立了一個32位整數的檢視。由於每個32位整數佔據4個位元組,所以一共可以寫入4個整數,依次為0,2,4,6。

如果在這段資料上接著建立一個16位整數的檢視,則可以讀出完全不一樣的結果。

var int16View = new Int16Array(buffer);

for (var i=0; i<int16View.length; i++) {
  console.log("Entry " + i + ": " + int16View[i]);
}
// Entry 0: 0
// Entry 1: 0
// Entry 2: 2
// Entry 3: 0
// Entry 4: 4
// Entry 5: 0
// Entry 6: 6
// Entry 7: 0

由於每個16位整數佔據2個位元組,所以整個ArrayBuffer物件現在分成8段。然後,由於x86體系的計算機都採用小端位元組序(little endian),相對重要的位元組排在後面的記憶體地址,相對不重要位元組排在前面的記憶體地址,所以就得到了上面的結果。

比如,一個佔據四個位元組的16進位制數0x12345678,決定其大小的最重要的位元組是“12”,最不重要的是“78”。小端位元組序將最不重要的位元組排在前面,儲存順序就是78563412;大端位元組序則完全相反,將最重要的位元組排在前面,儲存順序就是12345678。目前,所有個人電腦幾乎都是小端位元組序,所以型別化陣列內部也採用小端位元組序讀寫資料,或者更準確的說,按照本機作業系統設定的位元組序讀寫資料。

這並不意味大端位元組序不重要,事實上,很多網路裝置和特定的作業系統採用的是大端位元組序。這就帶來一個嚴重的問題:如果一段資料是大端位元組序,型別化陣列將無法正確解析,因為它只能處理小端位元組序!為了解決這個問題,JavaScript引入DataView物件,可以設定位元組序,下文會詳細介紹。

下面是另一個例子。

// 假定某段buffer包含如下位元組 [0x02, 0x01, 0x03, 0x07]
// 計算機採用小端位元組序
var uInt16View = new Uint16Array(buffer);

// 比較運算 
if (bufView[0]===258) {
     console.log("ok");
}

// 賦值運算
uInt16View[0] = 255;    // 位元組變為[0xFF, 0x00, 0x03, 0x07]
uInt16View[0] = 0xff05; // 位元組變為[0x05, 0xFF, 0x03, 0x07]
uInt16View[1] = 0x0210; // 位元組變為[0x05, 0xFF, 0x10, 0x02]

總之,與普通陣列相比,型別化陣列的最大優點就是可以直接操作記憶體,不需要資料型別轉換,所以速度快得多。

(2)buffer屬性

型別化陣列的buffer屬性,返回整段記憶體區域對應的ArrayBuffer物件。該屬性為只讀屬性。

var a = new Float32Array(64);
var b = new Uint8Array(a.buffer);

上面程式碼的a物件和b物件,對應同一個ArrayBuffer物件,即同一段記憶體。

(3)byteLength屬性和byteOffset屬性

byteLength屬性返回型別化陣列佔據的記憶體長度,單位為位元組。byteOffset屬性返回型別化陣列從底層ArrayBuffer物件的哪個位元組開始。這兩個屬性都是隻讀屬性。

var b = new ArrayBuffer(8);

var v1 = new Int32Array(b);
var v2 = new Uint8Array(b, 2);
var v3 = new Int16Array(b, 2, 2);

v1.byteLength // 8
v2.byteLength // 6
v3.byteLength // 4

v1.byteOffset // 0
v2.byteOffset // 2
v3.byteOffset // 2

注意將byteLength屬性和length屬性區分,前者是位元組長度,後者是成員長度。

var a = new Int16Array(8);

a.length // 8
a.byteLength // 16

(4)set方法

型別化陣列的set方法用於複製陣列,也就是將一段內容完全複製到另一段記憶體。

var a = new Uint8Array(8);
var b = new Uint8Array(8);

b.set(a);

上面程式碼複製a陣列的內容到b陣列,它是整段記憶體的複製,比一個個複製成員的那種複製快得多。set方法還可以接受第二個引數,表示從b物件哪一個成員開始複製a物件。

var a = new Uint16Array(8);
var b = new Uint16Array(10);

b.set(a,2)

上面程式碼的b陣列比a陣列多兩個成員,所以從b[2]開始複製。

(5)subarray方法

subarray方法是對於型別化陣列的一部分,再建立一個新的檢視。

var a = new Uint16Array(8);
var b = a.subarray(2,3);

a.byteLength // 16
b.byteLength // 2

subarray方法的第一個引數是起始的成員序號,第二個引數是結束的成員序號(不含該成員),如果省略則包含剩餘的全部成員。所以,上面程式碼的a.subarray(2,3),意味著b只包含a[2]一個成員,位元組長度為2。

(6)ArrayBuffer與字串的互相轉換

ArrayBuffer轉為字串,或者字串轉為ArrayBuffer,有一個前提,即字串的編碼方法是確定的。假定字串採用UTF-16編碼(JavaScript的內部編碼方式),可以自己編寫轉換函式。

// ArrayBuffer轉為字串,引數為ArrayBuffer物件
function ab2str(buf) {
   return String.fromCharCode.apply(null, new Uint16Array(buf));
}

// 字串轉為ArrayBuffer物件,引數為字串
function str2ab(str) {
    var buf = new ArrayBuffer(str.length*2); // 每個字元佔用2個位元組
    var bufView = new Uint16Array(buf);
    for (var i=0, strLen=str.length; i<strLen; i++) {
         bufView[i] = str.charCodeAt(i);
    }
    return buf;
}

複合檢視

由於檢視的建構函式可以指定起始位置和長度,所以在同一段記憶體之中,可以依次存放不同型別的資料,這叫做“複合檢視”。

var buffer = new ArrayBuffer(24);

var idView = new Uint32Array(buffer, 0, 1);
var usernameView = new Uint8Array(buffer, 4, 16);
var amountDueView = new Float32Array(buffer, 20, 1);

上面程式碼將一個24位元組長度的ArrayBuffer物件,分成三個部分:

  • 位元組0到位元組3:1個32位無符號整數
  • 位元組4到位元組19:16個8位整數
  • 位元組20到位元組23:1個32位浮點數

這種資料結構可以用如下的C語言描述:

struct someStruct {
  unsigned long id;
  char username[16];
  float amountDue;
};

DataView檢視

如果一段資料包括多種型別(比如伺服器傳來的HTTP資料),這時除了建立ArrayBuffer物件的複合檢視以外,還可以透過DataView檢視進行操作。

DataView檢視提供更多操作選項,而且支援設定位元組序。本來,在設計目的上,ArrayBuffer物件的各種型別化檢視,是用來向網路卡、音效卡之類的本機裝置傳送資料,所以使用本機的位元組序就可以了;而DataView的設計目的,是用來處理網路裝置傳來的資料,所以大端位元組序或小端位元組序是可以自行設定的。

DataView本身也是建構函式,接受一個ArrayBuffer物件作為引數,生成檢視。

DataView(ArrayBuffer buffer [, 位元組起始位置 [, 長度]]);

下面是一個例項。

var buffer = new ArrayBuffer(24);

var dv = new DataView(buffer);

DataView檢視提供以下方法讀取記憶體:

  • getInt8:讀取1個位元組,返回一個8位整數。
  • getUint8:讀取1個位元組,返回一個無符號的8位整數。
  • getInt16:讀取2個位元組,返回一個16位整數。
  • getUint16:讀取2個位元組,返回一個無符號的16位整數。
  • getInt32:讀取4個位元組,返回一個32位整數。
  • getUint32:讀取4個位元組,返回一個無符號的32位整數。
  • getFloat32:讀取4個位元組,返回一個32位浮點數。
  • getFloat64:讀取8個位元組,返回一個64位浮點數。

這一系列get方法的引數都是一個位元組序號,表示從哪個位元組開始讀取。

var buffer = new ArrayBuffer(24);
var dv = new DataView(buffer);

// 從第1個位元組讀取一個8位無符號整數
var v1 = dv.getUint8(0);

// 從第2個位元組讀取一個16位無符號整數
var v2 = dv.getUint16(1); 

// 從第4個位元組讀取一個16位無符號整數
var v3 = dv.getUint16(3);

上面程式碼讀取了ArrayBuffer物件的前5個位元組,其中有一個8位整數和兩個十六位整數。

如果一次讀取兩個或兩個以上位元組,就必須明確資料的儲存方式,到底是小端位元組序還是大端位元組序。預設情況下,DataView的get方法使用大端位元組序解讀資料,如果需要使用小端位元組序解讀,必須在get方法的第二個引數指定true。

// 小端位元組序
var v1 = dv.getUint16(1, true);

// 大端位元組序
var v2 = dv.getUint16(3, false);

// 大端位元組序
var v3 = dv.getUint16(3);

DataView檢視提供以下方法寫入記憶體:

  • setInt8:寫入1個位元組的8位整數。
  • setUint8:寫入1個位元組的8位無符號整數。
  • setInt16:寫入2個位元組的16位整數。
  • setUint16:寫入2個位元組的16位無符號整數。
  • setInt32:寫入4個位元組的32位整數。
  • setUint32:寫入4個位元組的32位無符號整數。
  • setFloat32:寫入4個位元組的32位浮點數。
  • setFloat64:寫入8個位元組的64位浮點數。

這一系列set方法,接受兩個引數,第一個引數是位元組序號,表示從哪個位元組開始寫入,第二個引數為寫入的資料。對於那些寫入兩個或兩個以上位元組的方法,需要指定第三個引數,false或者undefined表示使用大端位元組序寫入,true表示使用小端位元組序寫入。

// 在第1個位元組,以大端位元組序寫入值為25的32位整數
dv.setInt32(0, 25, false); 

// 在第5個位元組,以大端位元組序寫入值為25的32位整數
dv.setInt32(4, 25); 

// 在第9個位元組,以小端位元組序寫入值為2.5的32位浮點數
dv.setFloat32(8, 2.5, true);

如果不確定正在使用的計算機的位元組序,可以採用下面的判斷方式。

var littleEndian = (function() {
  var buffer = new ArrayBuffer(2);
  new DataView(buffer).setInt16(0, 256, true);
  return new Int16Array(buffer)[0] === 256;
})();

如果返回true,就是小端位元組序;如果返回false,就是大端位元組序。

應用

Ajax

傳統上,伺服器透過Ajax操作只能返回文字資料。XMLHttpRequest 第二版允許伺服器返回二進位制資料,這時分成兩種情況。如果明確知道返回的二進位制資料型別,可以把返回型別(responseType)設為arraybuffer;如果不知道,就設為blob。

xhr.responseType = 'arraybuffer';

如果知道傳回來的是32位整數,可以像下面這樣處理。

xhr.onreadystatechange = function () {
if (req.readyState === 4 ) {
    var arrayResponse = xhr.response;
    var dataView = new DataView(arrayResponse);
    var ints = new Uint32Array(dataView.byteLength / 4);

    xhrDiv.style.backgroundColor = "#00FF00";
    xhrDiv.innerText = "Array is " + ints.length + "uints long";
    }
}

Canvas

網頁Canvas元素輸出的二進位制畫素資料,就是型別化陣列。

var canvas = document.getElementById('myCanvas');
var ctx = canvas.getContext('2d');

var imageData = ctx.getImageData(0,0, 200, 100);
var typedArray = imageData.data;

需要注意的是,上面程式碼的typedArray雖然是一個型別化陣列,但是它的檢視型別是一種針對Canvas元素的專有型別Uint8ClampedArray。這個檢視型別的特點,就是專門針對顏色,把每個位元組解讀為無符號的8位整數,即只能取值0~255,而且發生運算的時候自動過濾高位溢位。這為影像處理帶來了巨大的方便。

舉例來說,如果把畫素的顏色值設為Uint8Array型別,那麼乘以一個gamma值的時候,就必須這樣計算:

u8[i] = Math.min(255, Math.max(0, u8[i] * gamma));

因為Uint8Array型別對於大於255的運算結果(比如0xFF+1),會自動變為0x00,所以影像處理必須要像上面這樣算。這樣做很麻煩,而且影響效能。如果將顏色值設為Uint8ClampedArray型別,計算就簡化許多。

pixels[i] *= gamma;

Uint8ClampedArray型別確保將小於0的值設為0,將大於255的值設為255。注意,IE 10不支援該型別。

File

如果知道一個檔案的二進位制資料型別,也可以將這個檔案讀取為型別化陣列。

reader.readAsArrayBuffer(file);

下面以處理bmp檔案為例。假定file變數是一個指向bmp檔案的檔案物件,首先讀取檔案。

var reader = new FileReader();
reader.addEventListener("load", processimage, false); 
reader.readAsArrayBuffer(file);

然後,定義處理影像的回撥函式:先在二進位制資料之上建立一個DataView檢視,再建立一個bitmap物件,用於存放處理後的資料,最後將影像展示在canvas元素之中。

function processimage(e) { 
 var buffer = e.target.result; 
 var datav = new DataView(buffer); 
 var bitmap = {};
 // 具體的處理步驟
}

具體處理影像資料時,先處理bmp的檔案頭。具體每個檔案頭的格式和定義,請參閱有關資料。

bitmap.fileheader = {}; 
bitmap.fileheader.bfType = datav.getUint16(0, true); 
bitmap.fileheader.bfSize = datav.getUint32(2, true); 
bitmap.fileheader.bfReserved1 = datav.getUint16(6, true); 
bitmap.fileheader.bfReserved2 = datav.getUint16(8, true); 
bitmap.fileheader.bfOffBits = datav.getUint32(10, true);

接著處理影像元資訊部分。

bitmap.infoheader = {};
bitmap.infoheader.biSize = datav.getUint32(14, true);
bitmap.infoheader.biWidth = datav.getUint32(18, true); 
bitmap.infoheader.biHeight = datav.getUint32(22, true); 
bitmap.infoheader.biPlanes = datav.getUint16(26, true); 
bitmap.infoheader.biBitCount = datav.getUint16(28, true); 
bitmap.infoheader.biCompression = datav.getUint32(30, true); 
bitmap.infoheader.biSizeImage = datav.getUint32(34, true); 
bitmap.infoheader.biXPelsPerMeter = datav.getUint32(38, true); 
bitmap.infoheader.biYPelsPerMeter = datav.getUint32(42, true); 
bitmap.infoheader.biClrUsed = datav.getUint32(46, true); 
bitmap.infoheader.biClrImportant = datav.getUint32(50, true);

最後處理影像本身的畫素資訊。

var start = bitmap.fileheader.bfOffBits;
bitmap.pixels = new Uint8Array(buffer, start);

至此,影像檔案的資料全部處理完成。下一步,可以根據需要,進行影像變形,或者轉換格式,或者展示在Canvas網頁元素之中。

參考連結

相關文章