數字化轉型提速中！傳統農牧食品行業也尋求搭上數字化轉型的快車，透過物聯網、大資料、人工智慧等現代資訊科技，實現生產、加工、流通等環節的智慧化和自動化，提高生產效率、最佳化資源配置、提升產品質量，並滿足消費者對食品安全和可追溯性的需求。
在數字化浪潮的推動下，鐵騎力士集團作為一家歷史悠久的農牧食品企業，正透過引入先進的排程平臺——Apache DolphinScheduler，實現其數字化轉型的宏偉藍圖。
本期嘉賓介紹
李賢利，鐵騎力士集團的IT架構師，擁有電子與通訊工程專業背景，自2014年畢業以來，積累了豐富的行業經驗。在廣電和軍工行業深耕7年後，他將專業視野擴充至農牧養殖食品領域，至今已在鐵騎力士集團服務3年。李賢利在分散式系統建設方面尤為擅長，並積極投身於大資料應用、計算機視覺以及大模型落地探索等前沿技術研究。
鐵騎力士集團概覽
鐵騎力士集團自1992年成立以來，已發展成為一個擁有150家分子公司的產業叢集，涵蓋飼料、牧業、食品和生物工程四大領域。集團以全程可控溯源的產業鏈，確保食品安全，推動現代農業的健康發展。
DolphinScheduler的引入
在鐵騎力士集團的數字化轉型過程中，近萬人的集團業務，30多套業務系統需要依靠數字化中心的技術人員作為IT資訊支撐，我所在的技術開發部門感到壓力巨大。Apache DolphinScheduler的引入是一個關鍵的里程碑，它不僅支援了集團在飼料事業部、生豬事業部等多個部門，還促進了數字化中心與大資料部的協同工作。
數字化轉型中的排程平臺
2020年，鐵騎力士集團啟動了數字化轉型變革專案，投入1億+資金，設立了研發、營銷、供應鏈、財務、人力資源等五大領域，圍繞著這五大領域共建設了30多套IT系統。透過建設30多套IT系統，集團實現了業務流程的自動化和智慧化。這些系統包括但不限於PLM、QMS、TDB、TBI、ECI等業務，涉及到的排程包括Quartz、Elastic-Job、Xxl-job、Oozie，使用的開發語言包括Delphi、C++、C#、Java和Python等。
這讓我思考，是否可以做一個統一的大資料排程平臺，統一排程與語言？恰好這時大資料部門的領導推薦了Apache DolphinScheduler。
底座規劃中的排程平臺
響應四川省數字化轉型的號召，集團的數字化轉型已進行一年多，為傳統企業數字化轉型“打樣板”，做支撐。為此，集團進行了數字化平臺底座規劃。
在底座規劃中，集團計劃將Apache DolphinScheduler作為統一的排程平臺。
應用案例
2023年，集團正式使用Apache DolphinScheduler，我的使用感受是介面清爽，一目瞭然，資料來源與集團採購系統較為匹配，元件也比較豐富。
IOT裝置資料採集與應用
在IOT裝置資料採集方面，鐵騎力士集團期望利用Apache DolphinScheduler實現了對豬（雞）舍和屠宰車間環境的實時監控與資料採集，包括溫度、溼度、光照度、製冷度、氨氣與硫化氫濃度等關鍵指標，上傳到資料資產管理平臺，經過對資料的排程，最終在禽畜養殖管理平臺展現出來。
透過排程事件，我們希望實現定時餵養、自動投料與喂水等自動化操作，並利用豬臉識別技術監控生豬動態，屠宰車間製冷控制，提高養殖效率。
在我們的構想中，我們希望建成一個禽畜養殖排程管理平臺，由總排程平臺採集集團所有養殖基地的資料，並形成溫度、溼度、光照度、製冷度等的視覺化排程管理。
主資料歸一化管理
在主資料管理方面，鐵騎力士集團透過Apache DolphinScheduler的SQL元件，實現了經銷商、供應商、產品物料和人員組織等資料的歸一化管理。這一舉措不僅提高了資料的一致性和可用性，也為資料驅動的決策提供了堅實的基礎。
大資料部門主要使用了Apache DolphinScheduler的DataX和Sqoop元件。
由於系統比較多，資料同步過來之後需要及時進行資料校驗，比如唯一單據的校驗。
電商情報資料應用
電商情報資料的應用是鐵騎力士集團數字化轉型的另一亮點。透過Python和Java元件，集團能夠高效處理來自不同商超平臺的資料，實現資料的快速分析和應用。
級聯元件的創新應用
在業務流程自動化方面，鐵騎力士集團希望透過Apache DolphinScheduler的級聯元件，實現業務場景的創新應用。例如，透過排程平臺整合EAA系統與集團的各系統資料，實現從發票/完稅證明到報銷/收付款的全流程自動化。
有了上面的構想，我們提出了三個方案：
方案1：SQL+PYTHON+HTTP元件，這個方案的優點是可以實現解耦，但SQL元件的列表資料無法傳輸到下一個元件；
；
方案2：JAVA/PYTHON元件，這個方式實現起來簡單，但每個介面都需要寫程式碼；
方案3： HTTP元件，這個方案需要統一排程平臺，可以寫一個http介面去驅動源系統向目標系統發出請求，但僅僅是換了排程平臺。
在實踐過程中，我們發現在使用Apache DolphinSchedulers時遇到了一些技術挑戰。
遇到的挑戰與解決方案
例如SQL元件的列表資料無法傳輸到下一個元件的問題。官方文件顯示Apache DolphinScheduler支援SQL和Python引數傳遞，但在實際應用中，我們發現LIST資料型別是不可傳遞的。為了解決這個問題，團隊只能使用http的方式開發介面，把源資料同步到資料管理平臺。
對開源社群的展望
雖然由於時間緊急，我曾擱淺了改造原始碼已實現對LIST資料型別的支援，但考慮到Apache DolphinScheduler未來在集團數字化轉型戰略中的重要作用，我還是提倡積極參與到Apache DolphinScheduler開源社群中，並且有一些建議給到社群。
據我觀察，在農牧行業中，元件之間進行資料傳輸的應用場景廣泛，像鐵騎力士這樣的大型傳統農牧企業，其實技術人員數量不多，大部分系統為外部採購二開，開發能力相對較弱，希望可以有像白鯨開源這樣的企業能夠提供專業的服務。
另外，從開發層面，希望開源社群能夠補齊資料傳輸管道的場景，有一個過濾器可以過濾掉所需的資料，儲存到具體的業務系統中。
當然，我鼓勵更多的開發者加入Apache DolphinScheduler社群，共同推動排程平臺的發展和創新。
結語
隨著數字化轉型的不斷深入，鐵騎力士集團將繼續探索和實踐新技術，以實現更高效、更智慧的企業運營。Apache DolphinScheduler作為集團數字化轉型的重要工具，將繼續在這一過程中發揮關鍵作用。
本文由 白鯨開源 提供釋出支援！