FlatBuffers簡介
FlatBuffers是Google開源的一個跨平臺的、高效的、提供了C++/Java介面的序列化工具庫，它是Google專門為遊戲開發或其他效能敏感的應用程式需求而建立。尤其適用移動，嵌入式平臺，這些平臺在記憶體大小及頻寬相比桌面系統都是受限的，而應用程式比如遊戲又有更高的效能要求。它將序列化資料儲存在快取中，這些資料既可以儲存在檔案中，又可以通過網路原樣傳輸，而不需要任何解析開銷。以下是專案地址： 程式碼託管主頁：github.com/google/flat… 專案介紹主頁：google.github.io/flatbuffers…
FlatBuffers優勢
相比傳統的JSON和Protocol Buffers等序列化工具，FlatBuffers具有如下的一些優點：
- 不需要解析/拆包就可以訪問序列化資料：FlatBuffers與其他庫不同之處就在於它使用二進位制緩衝檔案來表示層次資料，這樣它們就可以被直接訪問而不需解析與拆包，同時還支援資料結構進化（前進、後退相容性）。
- 記憶體高效速度快 ：訪問資料時只需要訪問記憶體中的緩衝區。它不需要多餘的記憶體分配（至少在C++是這樣，其他語言中可能會有變動）。 FlatBuffers還適合配合 mmap或資料流使用，只需要緩衝區的一部分儲存在記憶體中。訪問時速度接近原結構訪問，只有一點延遲（一種虛擬函式表vtable），是為了允許格式升級以 及可選欄位。FlatBuffers適合那些花費了大量時間和空間（記憶體分配）來訪問和構建序列化資料的專案，比如遊戲以及其他對錶現敏感的應用。可以參考FlatBuffers基準。
- 靈活 ：由於具有可選欄位，你不但有很強的升級和回退相容性（對於歷史悠久的遊戲尤其重要，不用為了每個版本升級所有資料），在選擇要儲存哪些資料以及設計資料結構時也很自由。
- 輕量的code footprint：FlatBuffers只需要很少量的生成程式碼，以及一個表示最小依賴的很小的標頭檔案，很容易整合。
- 強型別：當編譯時報錯時，不需要自己寫重複的容易出錯的執行時檢查，它可以自動生成有用的程式碼。
- 使用方便：生成的C++程式碼允許精簡訪問與構建程式碼，還有可選的用於實現圖表解析、類似JSON的執行時字串展示等功能的方法。（後者比JSON解析庫更快，記憶體效率更高）。
- 程式碼跨平臺且沒有依賴：C++程式碼可以執行在任何近代的gcc/clang和VS2010上，同時還有用於測試和範例的構建檔案（Android中.mk檔案，其他平臺是cmake檔案）。
VS Protocol Buffers和JSON
Protocol Buffers的確和FlatBuffers比較類似，但其主要區別在於FlatBuffers在訪問資料前不需要解析/拆包這一步，而且Protocol Buffers既沒有可選的文字匯入/匯出功能，也沒有Schemas語法特性（比如union）。
JSON是一種輕量級的資料交換格式，JSON 可以將 JavaScript 物件中表示的一組資料轉換為字串，然後就可以在函式之間輕鬆地傳遞這個字串，或者在非同步應用程式中將字串從 Web 客戶機傳遞給伺服器端程式。JSON和動態型別語言（如JavaScript）一起使用時非常方便。然而在靜態型別語言中序列化資料時，JSON不但具有執行效率低的明顯缺點，而且會讓你寫更多的程式碼來訪問資料。
FlatBuffers究竟有多提高
- 解析速度：解析一個20KB的JSON流需要35ms，超過了UI重新整理間隔也就是16.6ms。如果解析JSON的話，我們就在滑動時就會因為要從磁碟載入快取而導致掉幀（視覺上的卡頓）。
- 解析器初始化 ：一個JSON解析器需要先構建欄位對映再進行解析，這會花100ms到200ms，很明顯的拖緩App啟動時間。
- 垃圾回收 在解析JSON時建立了很多小物件，在我們的試驗中，解析20kb的JSON流時，要分配大約100kb的瞬時儲存，對Java記憶體回收造成很大壓力。
FlatBuffers實戰
FlatBuffers運作流程
首先來看一下FlatBuffers專案為開發者提供了哪些內容，可以從官網下載原始碼，其目錄結構如下圖：
FlatBuffers用法
就像Parcel和Serializable的序列化一樣，FlatBuffers的是使用方式上也比最傳統的JSON序列化要複雜的多。在實際上面開發中，為了降低開發的難度，提高開發效率，我們會將原始碼編譯成可植入的第三方庫。下面以Java環境為例，來介紹FlatBuffers的簡單使用方法。讀者可以到對應的maven倉庫下載。
現在，假如我們拿到的json檔案的格式是下面這樣的：
{
"repos": [
{
"id": 27149168,
"name": "acai",
"full_name": "google/acai",
"owner": {
"login": "google",
"id": 1342004,
...
"type": "Organization",
"site_admin": false
},
"private": false,
"html_url": "https://github.com/google/acai",
"description": "Testing library for JUnit4 and Guice.",
...
"watchers": 21,
"default_branch": "master"
},
...
]
}
複製程式碼注：可以通過下面的連結來獲取更完整的json物件
模式檔案
我們需要準備一個model檔案，它定義了我們想要序列化/反序列化 的資料結構，這個模式將被flatc用於建立Java模型以及從JSON到FlatBuffer二進位制檔案的轉換。
現在，我們所要做的所有事情就是建立3個表：ReposList，Repo和User，並定義root_type。例如：
table ReposList {
repos : [Repo];
}
table Repo {
id : long;
name : string;
full_name : string;
owner : User;
//...
labels_url : string (deprecated);
releases_url : string (deprecated);
}
table User {
login : string;
id : long;
avatar_url : string;
gravatar_id : string;
//...
site_admin : bool;
}
root_type ReposList;
複製程式碼注：完整的模式檔案可以點選下面的連結來獲取
FlatBuffers檔案
接下來，我們所需要做的就是將repos_json.json轉換為FlatBuffers二進位制檔案，併產生Java模型，其可以以Java友好的方式表示我們的資料，下面是轉換的命令：
$ ./flatc -j -b repos_schema.fbs repos_json.json
複製程式碼如果沒有任何報錯，將會生成如下4個檔案：
repos_json.bin (將被重新命名為repos_flat.bin)
Repos/Repo.java
Repos/ReposList.java
Repos/User.java
複製程式碼測試
接下來，我們可以使用FlatBuffers提供的Java庫來處理在Java中直接處理這種資料格式，此處使用需要使用到 flatbuffers-java-1.2.0-SNAPSHOT.jar。
public class MainActivity extends AppCompatActivity {
@Bind(R.id.tvFlat)
TextView tvFlat;
@Bind(R.id.tvJson)
TextView tvJson;
private RawDataReader rawDataReader;
private ReposListJson reposListJson;
private ReposList reposListFlat;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
ButterKnife.bind(this);
rawDataReader = new RawDataReader(this);
}
@OnClick(R.id.btnJson)
public void onJsonClick() {
rawDataReader.loadJsonString(R.raw.repos_json).subscribe(new SimpleObserver<String>() {
@Override
public void onNext(String reposStr) {
parseReposListJson(reposStr);
}
});
}
private void parseReposListJson(String reposStr) {
long startTime = System.currentTimeMillis();
reposListJson = new Gson().fromJson(reposStr, ReposListJson.class);
for (int i = 0; i < reposListJson.repos.size(); i++) {
RepoJson repo = reposListJson.repos.get(i);
Log.d("FlatBuffers", "Repo #" + i + ", id: " + repo.id);
}
long endTime = System.currentTimeMillis() - startTime;
tvJson.setText("Elements: " + reposListJson.repos.size() + ": load time: " + endTime + "ms");
}
@OnClick(R.id.btnFlatBuffers)
public void onFlatBuffersClick() {
rawDataReader.loadBytes(R.raw.repos_flat).subscribe(new SimpleObserver<byte[]>() {
@Override
public void onNext(byte[] bytes) {
loadFlatBuffer(bytes);
}
});
}
private void loadFlatBuffer(byte[] bytes) {
long startTime = System.currentTimeMillis();
ByteBuffer bb = ByteBuffer.wrap(bytes);
reposListFlat = frogermcs.io.flatbuffs.model.flat.ReposList.getRootAsReposList(bb);
for (int i = 0; i < reposListFlat.reposLength(); i++) {
Repo repos = reposListFlat.repos(i);
Log.d("FlatBuffers", "Repo #" + i + ", id: " + repos.id());
}
long endTime = System.currentTimeMillis() - startTime;
tvFlat.setText("Elements: " + reposListFlat.reposLength() + ": load time: " + endTime + "ms");
}
}
複製程式碼在上面的示例程式碼中，有兩個方法是比較核心的，需要我們注意。
- parseReposListJson(String reposStr) ：初始化Gson解析器並將json字串轉換為Java物件。
- loadFlatBuffer(byte[] bytes) 將bytes（即repos_flat.bin檔案）轉為Java物件。
耗時測試
下面我們來測試下FlatBuffers和傳統的json在資料解析上的耗時，我們以4mb的JSON檔案為例。
