客戶端儲存那些事

劉玉剛發表於2017-01-18
客戶端

　介紹

　　本文是關於客戶端儲存（client-side storage）的。這是一個通用術語，包含幾個獨立但相關的 API： Web Storage、Web SQL Database、Indexed Database 和 File Access。每種技術都提供了在使用者硬碟上 —— 而非通常儲存資料的伺服器 —— 儲存資料的獨特方式。這麼做主要基於以下兩點理由：（a）使 web app 離線可用； （b）改善效能。對於客戶端儲存使用情況的詳細闡述，請看 HTML5Rocks 上的文章 《“離線”: 這是什麼意思？我為何要關心?》。

　　這些 API 有著類似的作用範圍和規則。因此，在去看細節之前，我們先了解他們的共同之處吧。

　共同特點

　　基於客戶端的儲存

　　實際上，“客戶端時間儲存”的意思是，資料傳給了瀏覽器的儲存 API，它將資料存在本地裝置中的一塊區域，該區域同樣也是它儲存其他使用者特定資訊如個人偏好、快取的地方。除了儲存資料，這些 API 可以用來檢索資料，且在某些情況下還能執行搜尋和批處理操作。

　　置於沙盒中的

　　所有這四個儲存 API 都將資料綁到一個單獨的“源”（origin）上。例如，若 http://abc.example.com 儲存了一些資料，那以後瀏覽器就只會允許 http://abc.example.com 獲取這些資料。當我們談論“源”（origin）的時候，這意味著域（domain）必須完全相同，所以 http://example.com 和 http://def.example.com 都不行。埠（port）也必須匹配，因此 http://abc.example.com:123 也是不能訪問到 http://abc.example.com （埠預設為80）儲存的資料。同樣，協議也必須一樣（像http vs https 等等）。

　　空間限制（Quotas）

　　你能想象，如果任何網站都被允許往毫不知情的硬碟裡填充以千兆位元組計的資料，該有多混亂。因此，瀏覽器對儲存容量施加了限制。若你的應用試圖超出限制，瀏覽器通常會顯示一個對話方塊，讓使用者確認增加。您可能以為瀏覽器對單個源（origin）可使用的所有儲存都加以同一單獨的限制，但多數儲存機制都是單獨加以限制的。若 Quota API 被採納，這種情況可能會改變。但就現在來說，把瀏覽器當作一個二維矩陣，其維度分別是“源”（origin）和“儲存”（storage）。例如， “http://abc.example.com” 可能會允許最多存 5MB 的 Web Storage， 25MB 的 Web SQL 資料庫，但因使用者拒絕訪問被禁止使用 Indexed DataBase。 Quota API 將問題放到一起來看，讓您查詢還有多少可用空間，有多少空間正在使用。

　　有些情況下，使用者也能先看到有多少儲存將被使用，例如，當使用者在 Chrome 應用商店中安裝一個應用時，他們將被提示預先接受其許可權，其中包括儲存限制。（而該應用的）manifest 中的可能有個值是 “unlimited_storage” （無限制儲存）。

　　資料庫處理（Transactions）

　　兩個 “資料庫” 的儲存格式支援資料處理。目的和通常的關係型資料庫使用資料處理是一樣的：保證資料庫完整。資料庫處理（Transactions）防止 “競爭條件”（race conditions） —— 這種情況是：當兩個操作序列在同一時間被應用到資料庫中， 導致操作結果都無法被預測，而資料庫也處於可疑的準確性（dubious accuracy）狀態。

　　同步和非同步模式（Synchronous and Asynchronous Modes）

　　多數儲存格式都支援同步和非同步模式。同步模式是阻塞的，意味著下一行 js 程式碼執行之前，儲存操作會被完整執行。非同步模式會使得後面的 js 程式碼在資料庫操作完成之前執行。儲存操作會背景環境中執行，當操作完成的時候，應用會以回撥函式被呼叫這種形式接收通知，這個函式須在呼叫的時候被指定。

　　應當儘量避免使用同步模式，它雖然看起來比較簡單，但操作完成時它會阻塞頁面渲染，在某些情況下甚至會凍結整個瀏覽器。你可能注意到網站乃至是應用出現這種情況，點選一個按鈕，結果所有東西都用不了，當你還在想是不是崩潰了？結果一切又突然恢復正常了。

　　某些 API 沒有非同步模式，如 “localStorage”， 使用這些API時，應當仔細做好效能監測，並隨時準備切換到一個非同步API，如果它造成了問題。

　API 概述及比較

　　Web Storage

　　Web Storage 是一個叫做 localStorage 的持久物件。可以使用 localStorage.foo = "bar" 儲存值，之後可以使用 localStorage.foo 獲取到 —— 甚至是瀏覽器關閉之後重新開啟。還可以使用一個叫做 sessionStorage 的物件，工作方式一樣，只是當視窗關閉之後會被清除掉。

　　Web Storage 是 NoSQL 鍵值對儲存（NoSQL key-value store）的一種.

　　Web Storage 的優點

  1. 數年以來，被所有現代瀏覽器支援， iOS 和 Android 系統下也支援（IE 從 IE8 開始支援 ）。
  2. 簡單的API簽名。
  3. 同步 API，呼叫簡單。
  4. 語義事件可保持其他標籤和視窗同步。

　　Web Storage 的弱點

  1. 使用同步 API（這是得到最廣泛支援的模式）儲存大量的或者複雜的資料時效能差。
  2. 缺少索引導致檢索大量的或複雜的資料時效能差。（搜尋操作需要手動遍歷所有項。）
  3. 儲存或讀取大量的或複雜的資料結構時效能差，因為需要手動序序列化成字串或將字串反序列化。主要的瀏覽器實現只支援字串（儘管規範沒這麼說的）。
  4. 需要保證資料的持續性和完整性，因為資料是有效非結構化（effectively unstructured）的。

　　Web SQL Database

　　Web SQL Database 是一個結構化的資料庫，具備典型 SQL驅動的關聯式資料庫（SQL-powered relational database）的所有功能和複雜度。Indexed Database 在兩者之間。Web SQL Database 有自由形式的金鑰值對，有點像 Web Storage，但也有能力從這些值來索引欄位，所以搜尋速度要快得多。

　　Web SQL Database 的優點

  1. 被主要的移動瀏覽器（Android Browser, Mobile Safari, Opera Mobile）以及一些 PC 瀏覽器（Chrome, Safari, Opera） 支援。
  2. 作為非同步 API， 總體而言效能很好。資料庫互動不會鎖定使用者介面。（同步API也可用於 WebWorkers。）
  3. 良好的搜尋效能，因為資料可以根據搜尋鍵進行索引。
  4. 強大，因為它支援事務性資料庫模型（transactional database model）。
  5. 剛性的資料結構更容易保持資料的完整性。

　　Web SQL Database 的弱點

  1. 過時，不會被 IE 或 Firefox 支援，在某些階段可能會被從其他瀏覽器淘汰。
  2. 學習曲線陡峭，要求掌握關聯式資料庫和SQL的知識。
  3. 物件-關係阻抗失配（object-relational impedance mismatch）.
  4. 降低敏捷性，因為資料庫模式必須預先定義，與表中的所有記錄必須匹配相同的結構。

　　Indexed Database (IndexedDB)

　　到目前為止，我們已經看到，Web Storage 和 Web SQL Database 都有各種的優勢和弱點。 Indexed Database 產生於這兩個早期 API 的經驗，可以看作是一種結合兩者優點而不招致其劣勢得到嘗試。

　　Indexed Database 是一個 “物件儲存” （object stores） 的集合，可以直接把物件放進去。這個儲存有點像 SQL 表，但在這種情況下，物件的結構沒有約束，所以不需要預先定義什麼。所以這和 Web Storage 有點像，擁有多個資料庫、每個資料庫又有多個儲存（store）的特點。但不像 Web Storage那樣， 還擁有重要的效能優勢： 非同步介面，可以在儲存上建立索引，以提高搜尋速度。

　　IndexedDB 的優點

  1. 作為非同步API總體表現良好。資料庫互動不會鎖定使用者介面。（同步 API 也可用於 WebWorkers。）
  2. 良好的搜尋效能，因為資料可以根據搜尋鍵進行索引。
  3. 支援版本控制。
  4. 強大，因為它支援事務性資料庫模型（transactional database model）。
  5. 因為資料模型簡單，學習曲線也相當簡單。
  6. 良好的瀏覽器支援: Chrome, Firefox, mobile FF, IE10.

　　IndexedDB 的弱點

  1. 非常複雜的API，導致大量的巢狀回撥。

　　FileSystem

　　上面的 API 都是適用於文字和結構化資料，但涉及到大檔案和二進位制內容時，我們需要一些其他的東西。幸運的是，我們現在有了檔案系統 API 標準（FileSystem API standard）。它給每個域一個完整的層次化的檔案系統，至少在 Chrome 下面，這些都是使用者的硬碟上的真正的檔案。就單個檔案的讀寫而言， API 建立在現有的 File API之上。

　　FileSystem（檔案系統） API 的有點

  1. 可以儲存大量的內容和二進位制檔案，很適合影像，音訊，視訊，PDF，等。
  2. 作為非同步 API， 效能良好。

　　FileSystem API 的弱點

  1. 很早的標準，只有 Chrome 和 Opera 支援。
  2. 沒有事務（transaction）支援。
  3. 沒有內建的搜尋/索引支援。

　來看程式碼

　　本部分比較不同的 API 如何解決同一個問題。這個例子是一個 “地理情緒”（geo-mood） 簽到系統，在那裡你可以記錄你在時間和地點的情緒。介面可讓你在資料庫型別之間切換。當然，在現實情況中，這可能顯得有點作（contrived），資料庫型別肯定比其他的更有意義，檔案系統 API 根本不適用於這種應用！但為了演示的目的，如果我們能看到使用不同方式達到同樣的結果，這還是有幫助的。還得注意，為了保值可讀性，一些程式碼片段是經過重構的。

　　現在可以來試試我們的“地理情緒”（geo-mood）應用。

　　為了讓 Demo 更有意思，我們將資料儲存單獨拿出來，使用標準的物件導向的設計技術（standard object-oriented design techniques）。 UI 邏輯只知道有一個 store；它無需知道 store 是如何實現的，因為每個 store 的方法是一樣的。因此 UI 層程式碼可以稱為 store.setup()，store.count() 等等。實際上，我們的 store 有四種實現，每種對應一種儲存型別。應用啟動的時候，檢查 URL 並例項化對應的 store。

　　為了保持 API 的一致性，所有的方法都是非同步的，即它們將結果返回給呼叫方。Web Storage 的實現甚至也是這樣的，其底層實現是本地的。

　　在下面的演示中，我們將跳過 UI 和定位邏輯，聚焦於儲存技術。

　　建立 Store

　　對 localStorage，我們做個簡單的檢驗看儲存是否存在。如果不存在，則新建一個陣列，並將其儲存在 localStorage 的 checkins（簽到） 鍵下面。首先，我們使用 JSON 物件將結構序列化為字串，因為大多數瀏覽器只支援字串儲存。

if  (!localStorage.checkins) localStorage.checkins = JSON.stringify([]);

　　對 Web SQL Database，資料庫結構如果不存在的話，我們需要先建立。幸運的是，如果資料庫不存在，openDatabase 方法會自動建立資料庫；同樣，使用 SQL 句 “if not exists” 可以確保新的 checkins 表 如果已經存在的話不會被重寫。我們需要預先定義好資料結構，也就是， checkins 表每列的名稱和型別。每一行資料代表一次簽到。

this.db = openDatabase('geomood', '1.0', 'Geo-Mood Checkins', 8192);
this.db.transaction(function(tx) {
    tx.executeSql(
        "create table if not exists "
            + "checkins(id integer primary key asc, time integer, latitude float,"
            + "longitude float, mood string)",
         [], function() {
            console.log("siucc"); 
        }
    );
});

　　Indexed Database 啟動需要一些工作，因為它需要啟用一個資料庫版本系統。當我們連線資料庫的時候要明確我們需要那個版本，如果當前資料庫使用的是之前的版本或者還尚未被建立，會觸發 onupgradeneeded 事件，當升級完成後 onsuccess 事件會被觸發。如果無需升級，onsuccess 事件馬上就會觸發。

　　另外一件事就是建立 “mood” 索引，以便之後能很快地查詢到匹配的情緒。

var db;
var version = 1;
window.indexedStore = {};
window.indexedStore.setup = function(handler) { // attempt to open the database
    var request = indexedDB.open("geomood", version);  // upgrade/create the database if needed
    request.onupgradeneeded =  function(event)  {
        var db = request.result;
        if  (event.oldVersion <  1)  { // Version 1 is the first version of the database.
            var checkinsStore = db.createObjectStore("checkins",  { keyPath:  "time"  });
            checkinsStore.createIndex("moodIndex",  "mood",  { unique:  false  });
        }
        if  (event.oldVersion <  2)  {
            // In future versions we'd upgrade our database here. 
            // This will never run here, because we're version 1.
        }
        db = request.result;
    };
    request.onsuccess =  function(ev)  {  // assign the database for access outside
        db = request.result; handler();
        db.onerror =  function(ev)  {
            console.log("db error", arguments);
        };
    };
};

　　最後，啟動 FileSystem。我們會把每種簽到 JSON 編碼後放在單獨的檔案中，它們都在 “checkins/” 目錄下面。同樣這並非 FileSystem API 最合適的用途，但對演示來說還挺好。

　　啟動在整個檔案系統中拿到一個控制手柄（handle），用來檢查 “checkins/” 目錄。如果目錄不存在，使用 getDirectory 建立。

setup:  function(handler)  {
    requestFileSystem(
        window.PERSISTENT,
        1024*1024,
        function(fs)  {
            fs.root.getDirectory(
                "checkins",
                {},  // no "create" option, so this is a read op
                function(dir)  {
                    checkinsDir = dir;
                    handler();
                }, 
                function()  {
                    fs.root.getDirectory( "checkins",  {create:  true},  function(dir)  { checkinsDir = dir;
                        handler();
                    }, onError );
                }
            );
        },
        function(e)  {
            console.log("error "+e.code+"initialising - see http://goo.gl/YW0TI");
        }  
    );
}

　　儲存一次簽到 （Check-in）

　　使用 localStorage，我們只需要拿出 check-in 陣列，在尾部新增一個，然後重新儲存就行。我們還需要使用 JSON 物件的方法將其以字串的方式存起來。

var checkins = JSON.parse(localStorage["checkins"]);
checkins.push(checkin);
localStorage["checkins"] = JSON.stringify(checkins);

　　使用 Web SQL Database，所有的事情都在 transaction 中進行。我們要在 checkins 表 建立新的一行，這是一個簡單的 SQL 呼叫，我們使用 “?” 語法，而不是把所有的簽到資料都放到 “insert” 命令中，這樣更整潔，也更安全。真正的資料——我們要儲存的四個值——被放到第二行。“?” 元素會被這些值（checkin.time，checkin.latitude等等）替換掉。接下來的兩個引數是操作完成之後被呼叫的函式，分別在成功和失敗後呼叫。在這個應用中，我們對所有操作使用相同的通用錯誤處理程式。這樣，成功回撥函式就是我們傳給搜尋函式的控制程式碼——確保控制程式碼在成功的時候被呼叫，以便操作完成之後 UI 能接到通知（比如，更新目前為止的簽到數量）。

store.db.transaction(function(tx) {
    tx.executeSql(
        "insert into checkins " + "(time, latitude, longitude, mood) values (?,?,?,?);", 
        [checkin.time, checkin.latitude, checkin.longitude, checkin.mood],
        handler, 
        store.onError
    ); 
});

　　一旦儲存建立起來，將其儲存到 IndexedDB 中就像 Web Storage 差不多簡單，還有非同步工作的優點。

var transaction = db.transaction("checkins",  'readwrite'); 
transaction.objectStore("checkins").put(checkin); 
transaction.oncomplete = handler;

　　使用 FileSystem API，新建檔案並拿到相應的控制程式碼，可以用 FileWriter API 進行填充。

fs.root.getFile(
    "checkins/" + checkin.time,
    { create: true, exclusive: true }, 
    function(file) {
        file.createWriter(function(writer) {
            writer.onerror = fileStore.onError;
            var bb = new WebKitBlobBuilder;
            bb.append(JSON.stringify(checkin));
            writer.write(bb.getBlob("text/plain"));
            handler(); }, fileStore.onError);
    },
    fileStore.onError
);

　　搜尋匹配項

　　接下來的函式找到所有匹配特定情緒的簽到，例如，使用者能看到他們在最近何時何地過得很開心。使用 localStorage， 我們必須手動遍歷每次簽到並將其與搜尋的情緒對比，建立一個匹配列表。比較好的實踐是返回儲存資料的克隆，而不是實際的物件，因為搜尋應該是一個只讀的操作；所以我們將每個匹配的簽到物件傳遞給通用的 clone() 方法進行操作。

var allCheckins = JSON.parse(localStorage["checkins"]);
var matchingCheckins = [];
allCheckins.forEach(function(checkin) {
    if (checkin.mood == moodQuery) {
        matchingCheckins.push(clone(checkin));
    } 
});
handler(matchingCheckins);

　　使用 Web SQL Database，我們執行一次查詢，只返回我們需要的行。但我們仍需要手動遍歷來累計簽到資料，因為資料庫 API 返回的是資料庫行，而不是一個陣列。（對大的結果集來說這是好事，但就現在而言這增加了我們需要的工作！）

var matchingCheckins = [];
store.db.transaction(function(tx) {
    tx.executeSql(
        "select * from checkins where mood=?",
        [moodQuery],
        function(tx, results) {
            for (var i = 0; i < results.rows.length; i++) {
                matchingCheckins.push(clone(results.rows.item(i)));
            }
            handler(matchingCheckins); 
        },
        store.onError
    );
});

　　當然，在 IndexedDB 解決方案使用索引，我們先前在 “mood” 表中建立的索引，稱為“moodindex”。我們用一個指標遍歷每次簽到以匹配查詢。注意這個指標模式也可以用於整個儲存；因此，使用索引就像我們在商店裡的一個視窗前，只能看到匹配的物件（類似於在傳統資料庫中的“檢視”）。

var store = db.transaction("checkins", 'readonly').objectStore("checkins");
var request = moodQuery ? store.index("moodIndex").openCursor(new IDBKeyRange.only(moodQuery)) : store.openCursor();
request.onsuccess = function(ev) {
    var cursor = request.result;
    if (cursor) {
        handler(cursor.value);
        cursor["continue"]();
    } 
};

　　與許多傳統的檔案系統一樣，FileSystem API 沒有索引，所以搜尋演算法（如 Unix中的 “grep” 命令）必須遍歷每個檔案。我們從 “checkins/” 目錄中拿到 Reader API ，通過 readentries() 。對於每個檔案，再使用一個 reader，使用 readastext() 方法檢查其內容。這些操作都是非同步的，我們需要使用 readnext() 將呼叫連在一起。

checkinsDir.createReader().readEntries(function(files) {
    var reader, fileCount = 0,
        checkins = [];
    var readNextFile = function() {
        reader = new FileReader();
        if (fileCount == files.length) return;
        reader.onload = function(e) {
            var checkin = JSON.parse(this.result);
            if (moodQuery == checkin.mood || !moodQuery) handler(checkin);
            readNextFile();
        };

        files[fileCount++].file(function(file) {
            reader.readAsText(file);
        });
    };
    readNextFile();
});

　　匹配計數

　　最後，我們需要給所有簽到計數。

　　對localStorage，我們簡單的反序列化簽到陣列，讀取其長度。

handler(JSON.parse(localStorage["checkins"]).length);

　　對 Web SQL Database，可以檢索資料庫中的每一行（select * from checkins），看結果集的長度。但如果我們知道我們在 SQL 中，有更容易和更快的方式 —— 我們可以執行一個特殊的 select 語句來檢索計數。它將返回一行，其中一列包含計數。

store.db.transaction(function(tx) {
    tx.executeSql("select count(*) from checkins;", [], function(tx, results) {
        handler(results.rows.item(0)["count(*)"]);
    }, store.onError);
});

　　不幸的是， IndexedDB 不提供任何計算方法，所以我們只能自己遍歷。

var count = 0;
var request = db.transaction(["checkins"], 'readonly').objectStore("checkins").openCursor();
request.onsuccess = function(ev) {
    var cursor = request.result;
    cursor ? ++count && cursor["continue"]() : handler(count);
};

　　對於檔案系統， directory reader 的 readentries() 方法提供一個檔案列表，所以我們返回該列表的長度就好。

checkinsDir.createReader().readEntries(function(files)  {
    handler(files.length);
});

　總結

　　本文從較高層次的角度，講述了現代客戶端儲存技術

相關文章