[開源]CSharpFlink（NET 5.0開發）分散式實時計算框架，PC機10萬資料點秒級計算測試說明

ineuos.net發表於2020-11-19
CSharp分散式框架

github地址：https://github.com/wxzz/CSharpFlink
gitee地址：https://gitee.com/wxzz/CSharpFlink

參考：[開源地址] 放棄Flink，.NET5.0開發CSharpFlink，簡要設計、部署及二次開發說明。

 1         計算機硬體配置

     CPU：4核 I5-7400 2.7GHz,記憶體：16G，隨機資料點時間視窗和計算運算元，主節點CPU和記憶體使用情況：15%-35%、1500MB-2048MB, 工作節點CPU和記憶體使用情況：0.1%-2.5%、18MB-30MB。執行效果，如下圖：

2         計算節點及任務配置

     本機部署1個主節點，10個計算節點。主節點生成10萬個資料點的計算任務，每個資料點1秒鐘產生一個新資料，計算時間視窗的最大值、最小值、平均值或和值。

     聚合計算型別：

計算統計:CSharpFlink.Core.Window.Operator.Avg:25003
計算統計:CSharpFlink.Core.Window.Operator.Max:24892
計算統計:CSharpFlink.Core.Window.Operator.Sum:25133
計算統計:CSharpFlink.Core.Window.Operator.Min:24972

     資料點時間視窗統計：

視窗統計:60秒視窗:25015
視窗統計:5秒視窗:24976
視窗統計:3600秒視窗:25130
視窗統計:300秒視窗:24879

    如下圖：

3         配製檔案引數

     如下圖：

 

（1）MaxDegreeOfParallelism：任務並行度，主節點生成任務、工作節點處理任務依賴這個引數。

（2）MasterListenPort：主節點偵聽埠，用於工作節點主動連線。

（3）MasterIp：主節點IP，用於工作節點主動連線。

（4）NodeType：節點執行模式，包括：Master、Slave和Both。

（5）RemoteInvokeInterval：遠端呼叫工作節點間隔時間，單位：毫秒。

（6）RepeatRemoteInvokeInterval：呼叫工作節點失敗後，重新呼叫工作節點間隔時間，單位：毫秒。

（7）SlaveExcuteCalculateInterval：工作節點執行計算任務間隔時間，單位：毫秒。

（8）MaxFrameLength：主節點和工作節點之間傳輸資料最大資料偵，單位：位元組。

（9）WorkerPower：工作節點能力系數，大於1，會連續傳送多個任務。

4         部署結構示意

        “mastercache”是主節點計算任務的快取，完成即時讓計算節點消費掉，部署結構示意，如下圖：

 5         測試演示

          測試演示，如下圖：

 物聯網&大資料技術 QQ群：54256083

 物聯網&大資料合作 QQ群：727664080

 網站：http://www.ineuos.net

 聯絡QQ：504547114

 合作微信：wxzz0151

 官方部落格：https://www.cnblogs.com/lsjwq

 iNeuOS工業網際網路作業系統 公眾號

相關文章