.Net for Spark 實現WordCount應用及除錯入坑詳解
1. 概述
iNeuOS雲端作業系統現在具備物聯網、檢視業務建模、機器學習的功能，但是缺少一個計算平臺產品。最近在調研使用什麼語言進行開發，並且研究實現的技術路線。iNeuOS全系使用C#/JS/CSS/PYTHON開發，所以優先選擇C#實現計算平臺的開發，當然也不排除使用scala和python等語言。最近微軟釋出.Net for Spark元件，與 .NET Standard 2.0 相容，可以在 Linux、macOS 和 Windows 系統上使用，就像 .NET 的其餘部分一樣。在網上進行了調研，下圖展示了 .NET Core 與 Python、Scala 在 TPC-H 查詢集上的效能對比。如下圖：
在github上看了原始碼，程式碼質量比較高。最近兩天進行了應用及測試，整體流程已經走通，感覺比較清爽。
2.系統環境
作業系統：Ubuntu 16.04
開發語言：.Net Core 2.2
計算框架：.Net for Spark
開發工具：VSCODE
測試工具：netcat
3.環境部署
3.1安裝 .Net Core 2.2
參見安裝過程：https://dotnet.microsoft.com/download/linux-package-manager/ubuntu16-04/sdk-current
3.2安裝 .Net for Spark及程式碼實現
參見安裝過程：https://github.com/dotnet/spark/blob/master/docs/getting-started/ubuntu-instructions.md
Program.cs實現的程式碼參見：https://github.com/dotnet/spark/blob/master/examples/Microsoft.Spark.CSharp.Examples/Sql/Streaming/StructuredNetworkWordCount.cs
3.3安裝 netcat
命令列：apt-get install netcat
4.開發除錯
4.1啟動netcat
主要用於實時傳送字串，實現字串統計。
命令列：nc -lk 9999
4.2啟動除錯模式
在程式集目錄：HelloSpark/bin/Debug/netcoreapp2.2下。
命令列：spark-submit --class org.apache.spark.deploy.DotnetRunner --master local microsoft-spark-2.4.x-0.3.0.jar debug
不執行這個命令，在vscode除錯的時候，會出現異常：[Exception] [JvmBridge] Connection refused 127.0.0.1:5567。
4.3啟動vscode除錯
在main函式的第一行增加一行測試程式碼：
args=new string[]{"localhost","9999"};
主要用於連線netcat服務，接收netcat傳送過來的字串，並進行字串統計。如下圖：
4.4除錯過程
開啟“4.1啟動netcat”和“4.2啟動除錯模式”視窗，netcat用於傳送資料，除錯模式視窗可以接收到資料並進行統計。如下圖：
5.應用釋出
把main函式內的測試程式碼刪除掉，在工程目錄下執行命令：dotnet build，生成新的程式集。
在程式集目錄：HelloSpark/bin/Debug/netcoreapp2.2下執行命令：
命令列：spark-submit --class org.apache.spark.deploy.DotnetRunner --master local microsoft-spark-2.4.x-0.3.0.jar dotnet HelloSpark.dll localhost 9999
同樣在netcat視窗傳送資料，結果如下圖：
6.專案合作
承接工業物聯網、大資料、工業網際網路專案。官方網站（iNeuOS）：http://www.ineuos.net。
專案程式碼下載：部落格園下載