將Json資料轉換為ADO.NET DataSet物件

dax.net發表於2015-02-02

Json資料轉換為ADO.NET DataSet其實方法有很多,Newtonsoft.Json也提供了DataSet的Converter用以轉換Json資料。但是有些情況下DataSet Converter並不管用,而且也不一定能夠滿足專案需要。這裡介紹另一種簡單有效的方法,能夠方便快速地將Json資料轉為ADO.NET DataSet。

設計

事實上Newtonsoft.Json已經提供了一套完整的Json資料文件結構,Newtonsoft.Json.Linq名稱空間下提供了這種文件結構的物件模型,因此我們可以借用這樣的模型,在其上應用訪問者(Visitor,GoF95)模式,對樹狀結構的物件模型進行遍歷,以達到ADO.NET DataTable、DataRelation的建立以及DataSet的生成。基本物件模型如下:

2015-02-01 21_43_47-Json2DataSet - Microsoft Visual Studio

其實實現起來還是非常簡單的,我已經把完整的專案和單元測試開源到GitHub上。具體的程式碼可以參考https://github.com/daxnet/Json2DataSet開源專案。

效能

效能方面,在實現的過程中,我發現有兩個地方是效能瓶頸:

  1. 正規表示式
  2. JToken.Path屬性

如果在你的程式碼中需要高頻率地反覆呼叫這兩種操作,那麼你就需要考慮效能問題。尤其是JToken.Path屬性,它的內部實現牽涉到連結串列資料結構、複雜迴圈等,因此效率不是很高,應該儘量避免使用這一屬性(當然我開源的程式碼中還有一處在呼叫該屬性,可以進一步優化)。

另一方面,對於ADO.NET DataTable和DataRelation的構建,效能還是相當高的,無需擔心。總體上看,將15MB的Json資料轉換為DataSet僅需4秒左右,有興趣的朋友還可以在該程式碼基礎上進一步優化。

呼叫

在該開源專案主頁上已經說明了呼叫方式。很簡單:

var json = File.ReadAllText(@"d:\test.json");
var dataSet = Json2DataSetConverter.Convert(json);

比如通過呼叫某個RESTful API,獲得Json Response以後,直接將返回結果轉換為DataSet,並在Visual Studio Debug Visualizer for DataSet中看到某公司的客戶資訊,以及這些客戶所完成的訂單資料:

image

應用

TIBCO Spotfire是一種世界先進的資料分析軟體,不僅功能強大,還可以為其定製資料匯入外掛,方便地將外部資料匯入其中進行分析。它是以表的形式對資料進行整合和分析的,因此,它對ADO.NET DataSet的支援是非常好的,能夠很方便地將ADO.NET DataSet中所包含的表資料匯入。

現有一個RESTful API,它能夠獲取全世界所有國家的列表資訊,包括國家名稱、語言、人口、與該國接壤的國家數量等等。該API的地址是:

GET http://restcountries.eu/rest/v1/all

好了,現在我開發了一個非常簡單的外掛,可以通過GET命令,從RESTful API匯入資料到TIBCO Spotfire中:

image

匯入資料後,我可以立刻分析出哪個國家人口比重最大,哪個國家與其接壤的國家數量最多:

image

看,我國不僅人口最多(佔世界人口的19%),而且與我國接壤的國家數量最多(15個)。

相關文章