CYQ.Data 操作 Json 效能測試：對比 Newtonsoft.Json

路过秋天發表於2024-03-18
JSON

前言：

在 CYQ.Data 版本更新的這麼多年，中間過程的版本都在完善各種功能。

基於需要支援或相容的程式碼越多，很多時候，常規思維，都把相關功能完成，就結束了。

實現過程中，無法避免的會用到大量的反射、鎖等對效能有所影響的邏輯程式碼。

CYQ.Data 從V5.9 版本開始，開始大規模的最佳化調整程式碼，目前穩定在 V5.9.2.7 版本，下面看一下更新記錄

版本更新記錄：

794：新增：FireBird 資料庫支援：增刪改查與分頁。（2023-12-18）【V5.9.0.0 - V5.9.0.2】
795：新增：DaMeng 達夢資料庫支援：增刪改查與分頁。（2023-12-20）
796：最佳化：FireBird 資料結構獲取與轉化的精準化。（2023-12-21）
797：最佳化：DaMeng 資料結構獲取與轉化的精準化。（2023-12-22）
798：新增：DaMeng ： AppConfig.DB.IsDaMengUpper 配置，預設表名欄位轉大寫。（2023-12-23）
799：新增：FireBird：AppConfig.DB.IsFireBirdUpper 配置，預設表名欄位轉大寫。（2023-12-23）
800：最佳化：Postgre： AppConfig.DB.IsPostgreLower 配置，預設表名欄位轉小寫。（2023-12-23）
801：新增：KingBaseES 人大金倉資料庫支援：增刪改查與分頁。（2023-12-24）
802：最佳化：KingBaseES 資料結構獲取與轉化的精準化。（2023-12-25）
803：最佳化：CYQ.Data.Orm.SimpleOrm 基類。（2024-01-01）
804：新增：分散式鎖類：DistributedLock。（2024-01-02）
805：最佳化：調整注意：CacheManage 名稱變更分散式快取：DistributedCache。（2024-01-04）
806：最佳化：調整注意：JsonHelper 名稱空間由CYQ.Data.Tool 變更為：CYQ.Data.Json。（2024-01-04）
807：最佳化：增加輸出標準庫：.net standard2.1 版本。（2024-01-10）
-------------------------------------------------------------------------------------
808：最佳化：AppConfig.WebRootPath 路徑的獲取。（2024-01-13）【V5.9.0.3】
809：最佳化：SimpleOrmBase（2024-01-13）
810：最佳化：增加 AppConfig.IsDebugMode 只讀屬性，最佳化 WebRootPath 屬性取值。
811：最佳化：內部IP獲取。
-------------------------------------------------------------------------------------
812：修復：AppConfig.IsDebugMode .net 下取值。（2024-01-21）【V5.9.0.4】
813：新增：分散式鎖增加冪等性方法。（2024-01-21）
814：修復：V5.9.0.3最佳化的內部IP獲取，在Docker容器不支援的異常。 【V5.9.0.5】
-------------------------------------------------------------------------------------
815：最佳化：XHtmlAction 載入 html 速度，無實體&xxxx;內容時不載入dtd。（2024-01-25）【V5.9.0.6】
816：最佳化：AppConfig：IsNetCore 和 IsWeb 和 WebRoot 三個屬性取值。（2024-01-25）
817：移除：【分散式鎖】轉移到 Taurus.DistributedLock 外掛庫中（增加資料庫鎖）。（2024-01-25）
818：最佳化：SimpleOrmBase 增加建構函式過載，允許異常時不寫日誌【以支援分散式資料庫鎖】。（2024-01-26）
819：最佳化：AppConfig 調整幾個不常用的配置項【DefaultCacheTime、IsEnumToInt、JsonEscape】。（2024-01-26）
820：最佳化：DistributedCache 開放幾個批次介面，以供分散式鎖外掛呼叫。（2024-01-27）
821：修復：SimpleOrmBase 建構函式忘了賦值連結。（2024-01-29）【V5.9.0.7】
-------------------------------------------------------------------------------------
822：最佳化：XHtmlAction 載入效能：最佳化快取轉化，提升2次訪問速度。（2024-01-31）【V5.9.1.0】
823：最佳化：XHtmlAction 載入效能：最佳化取消DTD依賴、提升首次訪問速度。（2024-02-01）
-------------------------------------------------------------------------------------
824：最佳化：XHtmlAction 調整方法或屬性：SaveToCache 更名為RefleshCache 等。（2024-02-04）【V5.9.1.1】
825：移除：IField 擴充套件。（2024-02-04）
826：最佳化：MDataRow GetIndex，提升取值效能。（2024-02-04）
827：最佳化：ConvertTool 相關方法，提升轉化效能。（2024-02-04）
-------------------------------------------------------------------------------------
版本簡要：透過大範圍使用 Emit 來替換反射，提升效能。
828：新增：CYQ.Data.Emit（內部）最佳化反射程式碼，提升效能。【V5.9.2】
829：新增：JsonOp 引數，調整（JsonHelper、MDataRow、MDataTable）ToJson 過載方法引數。（2024-02-06）
830：最佳化：JsonHelper 實體轉化效能：涉及：ToJson(),ToList<T>()。（2024-02-05、2024-02-22）
831：最佳化：MDataTable 實體列表轉化效能：涉及：CreateFrom。（2024-02-22）
832：最佳化：MDataRow 實體轉化效能：涉及：CreateFrom。。（2024-02-22）
-------------------------------------------------------------------------------------
版本簡要：對 XHtmlAction 進行各種簡化和最佳化，以供 Taurus.Mvc 便於使用。
833：移除：XHtmlAction SetFor 系列方法（該方法使用門檻較高） 。（2024-02-23）【V5.9.2.1】
834：移除：XHtmlAction SetForeach(MDataTable dataSource, string idOrName, SetType setType) 過載方法 。（2024-02-23）
835：移除：XHtmlAction GetByID，GetByName 兩個方法，其 Get 方法已可替代以上兩者。（2024-02-23）
836：移除：XHtmlAction IsCurrentLang，IsUseLangSplit 兩個成員屬性。（2024-02-23）
837：移除：XHtmlBase LoadFromCache、SetCDATA、ClearCDATA 等方法。
838：最佳化：XHtmlAction SetForeach 方法最佳化，支援繫結其它資料來源。（2024-02-23）
839：最佳化：XHtmlAction LoadData 方法最佳化，效果變更為批次對KeyValue賦值。（2024-02-23）
840：最佳化：XHtmlAction 載入：去除 http://www.w3.org/1999/xhtml 名稱空間。2024-02-24）【V5.9.2.2】
-------------------------------------------------------------------------------------
版本簡要：持續最佳化，提升效能。
840：最佳化：ConvertTool、ReflectTool 相關方法。（2024-02-26）【V5.9.2.3】
841：最佳化：MDataRow Load(json)。（2024-02-26）
842：最佳化：MDataTable ToList(t) 內部方法。（2024-02-26）
845：最佳化：JsonHelper（2024-02-27）
-------------------------------------------------------------------------------------
846：變更：將 AppConfig 中的一些和配置無關的只讀屬性轉移到AppConst中。（2024-02-29）【V5.9.2.4】
847：移除：LocalEnvironment 內部類。（2024-02-29）
848：最佳化：ConvertTool.ChangeReaderToList<T> 內部類。（2024-02-29）
849：新增：開放：CYQ.Data.Emit.EmitPreheat 類，允許處理 Emit 委託預熱。（2024-02-29）
-------------------------------------------------------------------------------------
版本簡要：針對 Taurus.MVC 進行全方位細節進行效能最佳化。【V5.9.2.6】
850：新增：HttpRequest 擴充套件方法：GetHeader、GetForm、GetQuery、GetCookie 等。（2024-03-04）
851：最佳化：XHtmlAction OutXml 等多項細節最佳化。（2024-03-05）
-------------------------------------------------------------------------------------
852：新增 HttpPostedFileCreator.Create 用於建立 HttpPostedFile 例項。（因 Taurus RpcProxy 新增）（2024-03-07）【V5.9.2.7】
853：新增：開放幾個和實體轉換相關的 Emit 介面。（2024-03-08）
854：修正：JsonHelper.ToJson 未處理 IgnoreJson 屬性標記的問題、其它最佳化。（2024-03-08）

最佳化簡介：

在整個最佳化過程，主要分為：

1、邏輯最佳化：

透過邏輯最佳化，減少程式碼執行。

2、減少中間商：

在過往版本，MDataTable 和 MDataRow 做為中間人，承載著所有型別轉換。

透過編寫直接轉換，不再透過中間人進行轉換，減少轉換的環節。

3、Emit 代替反射：

在型別轉換中，無可避免的大量的使用了反射。

為了替代大量的反射，因此編寫了大量的Emit，導致工作量有點大，但為了效能，這無可避免。

4、減少鎖：

在內部中，有大量用到MDicationary來快取資料，這是一個自定義實現的執行緒安全的帶鎖的字典，曾經最佳化過一次，將通用鎖拆分成了讀寫鎖。

在減少鎖的過程中，對於無需要 Remove 操作或 Foreach 遍歷的全域性資料快取字典，將 MDicationary 換成 Dicationary，避開鎖機制，對併發場景下引發的 Add 異常進行 try。

5、並行執行：

對於資料量大的場景，分拆成多執行緒並行執行。

下面就來重新看一下新的測試結果：

測試環境：

本次測試為.Net Windown 版本，下次再測試.Net Core Linux 版本。

Win11 系統：6核16G記憶體

測試程式碼，基礎實體類：

public class SimpleEntity
{
    public int ID { get; set; }
    public Guid MsgID { get; set; }
    public string Name { get; set; }
    public bool IsEnable { get; set; }
    public DateTime CreateTime { get; set; }
}

本次測試結果僅供參考

效能測試對比：

1、實體類轉Json（執行4次）：

2、實體類列表（100條）轉Json（執行4次）：

3、Json 轉 Dictionary<,> （執行4次）

4、Json 轉 實體類（執行4次）

5、Json 轉 實體類列表100條資料 （執行4次）

測試結果總結：

1、在首次執行時，CYQ.Data 全面超過了 Newtonsoft.Json，差距明顯，說明 Newtonsoft.Json 首次執行，效能較低，在預熱這一塊沒有最佳化好。

2、在 Json 轉 Dictionary 方面，CYQ.Data 有全面的優勢，超過 Newtonsoft.Json。

2、在其它轉換的在後續執行中，Newtonsoft.Json 和 CYQ.Data 差距不大，基本持平。

總結：

曾經有人和我說過，CYQ.Data 在 Json 這一塊的轉換效能不強，後來換了 Newtonsoft.Json 去操作 Json 。

那時候可能時機不成熟，要最佳化，需要重寫的程式碼太多了，所以就沒怎麼處理。

直到今年，有個老田同學他自己寫框架了，問了個他框架呼叫非同步方法無法 try 到異常的問題：

秋天您好，請教您一個問題，您在做框架的時候是如何實現async的異常捕捉和處理的，我這裡支援async的方法後反射到controller裡的方法無法正常捕捉到異常，丟擲自定義異常會讓整個執行緒掛掉。

後來這問題解決了之後，我翻了下歷史聊天記錄，發現它曾經建議我在Taurus裡把方法的反射換成委託。

從這裡開始，開啟了 Taurus.MVC 框架的全面最佳化。

然後就涉及做為底層元件的 CYQ.Data，將它進行了全面的效能最佳化大整改。

於是便有了如今效能優越的版本。

相關文章