使用 TapData，化繁為簡，擺脫手動搭建、維護資料管道的諸多煩擾，輕量代替 OGG、DSG 等同步工具，「CDC + 流處理 + 資料整合」組合拳，加速倉內資料流轉，幫助企業將真正具有業務價值的資料作用到實處，將“實時數倉”方法論落進現實。
TapData 持續迭代產品能力，最佳化使用者體驗的同時，也在不斷探索各行各業資料需求的底層邏輯，力求為行業使用者提供更加簡潔、更具針對性的解題思路。本期內容便是我們在船舶製造行業做出的實踐。
TapData 在滿足我們的資料需求、便捷上線、高效維護等方面都表現出色，再加之相當完善的資料來源支援，對於我們的資料開發團隊而言無疑是一個得力的助手，為我們打造了更好的資料處理和應用體驗，讓我們看到了切實的降本增效。期待在未來繼續深入合作。
智慧製造的挑戰與靈活生產的複雜之間，傳統制造業正在積極探索數字化新模式。
製造企業不僅著眼於引入物聯網、人工智慧等先進技術，以實現生產流程的智慧化和高效化，同時面對市場需求的不斷變化，以及環保法規的約束升級，也更加強調靈活生產的重要性。在這樣的大趨勢下，資料的價值被不斷放大。為了保障生產過程的實時監控和資料採集，企業加緊連線各生產環節，以求更準確地掌握生產狀況、最佳化供應鏈，為個性化生產打好基礎。此外，全面完備的資料分析能夠幫助企業深度洞察市場動向和客戶需求，繼而輔助智慧決策……這些數字化手段無論在適應競爭日益激烈的全球市場方面，還是在最佳化內部人員管理，降低能耗，提升產能等需求上，均發揮著關鍵作用。
這一變革一方面將傳統制造業帶入更為智慧、靈活、創新的未來，為行業的可持續發展注入新動力；另一方面也將企業引向尋找數字化轉型“平衡點”的新路——在技術創新與綜合成本投入之間找到最佳的結合，以確保在數字化轉型中既實現高效運營，又最大限度地提升綜合經濟效益。
而作為老牌國有製造企業，在落實數字化轉型上一直走在前列的某知名造船企業也遇到了一些新的挑戰。
一、起錨：數字化轉型浪潮下，迫切的資料萃取需求
作為業內極具規模化、現代化、專業化和影響力的造船企業之一，該造船企業近年來積極引入 AR、5G、人工智慧、物聯網、大資料分析等技術，加速落地智慧倉儲、智慧大腦、三維數字模型平臺、遠端檢驗工作室等先進應用，切實做到了將數字化創新貫徹落實到生產應用以及企業運營管理的每一個環節。
而作為一切數字化應用的基礎養料，資料資源的重要價值也在這一過程中愈發凸顯。企業內部自上而下關於資料的萃取以及資料價值的挖掘需求逐漸增強，迫切希望以資料驅動企業的數字化轉型與業務創新。
當不斷新生的應用創新需求，遇上船舶建造的獨特“基因”，新的資料挑戰也接踵而至：
1. 物料管理難
- 龐大的零部件數量： 這是船舶建造常被行業外忽視的一個特徵，實際上，船舶所需的零件數量往往巨大，動輒上千萬。故而中間產品體量也極大，涉及大量分段，由此拼接而成的總段重量可達千噸。因此，需要能夠有效處理這些龐雜的零部件資訊，確保數字化追蹤和管理系統的高效性，以保障零部件供應鏈的穩定可靠。
- 物料協同與協調： 資料化轉型應解決分佈廣泛的物料和中間產品之間的協同與排程挑戰，以提高物流協同性和中間產品裝配的數字化複雜性管理。
2. 工藝最佳化與複雜性管理
- 舾裝工藝複雜性： 作為船舶建造的關鍵一環，舾裝工藝涉及到安裝和組裝船舶的各種裝置、儀器、設施以及內部結構。這個過程相當複雜，因為船舶的結構和用途各異，舾裝需要考慮的因素眾多。針對現狀工藝的複雜性，也需要透過實時監控和反饋、虛擬模擬模擬等手段，實現工藝最佳化，提高裝配效率和準確性。
- 多維度管控工程計劃： 鑑於船舶建造週期長、涉及眾多複雜的工程計劃等特點，還需要對專案的各個方面進行全面、深入的管理和監控，以提高調整和管理的精確性。例如收集建造過程中的實時資料，幫助管理團隊及時瞭解專案執行情況，及時調整計劃，防範潛在問題；
3. 特殊環境和氣候條件：
- 戶外作業挑戰： 船舶建造往往需要在特殊環境中進行，可能包括高海上、高空中或惡劣天氣條件下的戶外作業，隨時可能面臨極端天氣，需要實時監控環境資料，包括風速、海況、溫度等，為工人提供準確的安全資訊。判斷潛在危險，提前預警，並採取必要的安全措施，確保戶外作業的安全性。
4. 人力資源與技能挑戰：
- 人員排程和管理的複雜性：船舶建造本質上仍然是勞動密集型工種，需要實時監控員工的工作狀態和生產進度，以便進行合理的排程和資源分配。透過實時分析各個計劃節點所需的人力、物資、裝置等資源，幫助管理層更好地瞭解生產線上的狀況，提高排程的準確性和及時性，從而在整個專案週期內實現資源的最優配置，實現降本增效。
- 大型團隊的人事管理：對於總人員數超 2 萬的大型團隊而言，無論是要實施更精準科學的績效評估、激勵機制，還是希望實施更精細化的員工福利管理，都依賴資料的驅動。
- 工具培訓與技能提升：數字化培訓和提升員工數字化意識與技能變得至關重要，考慮到傳統制造行業的 IT 專業人才並非主體，這就對新引入的數字化工具的易用性提出了更高的要求。
因此，面對內部管理決策層的資料分析結果的實時“視覺化”需求，以及實現效益最佳化、提升國際競爭力的最終目的，我們的客戶迫切需要找到一個能實時、準確、穩定地從各個資訊源獲取資料，靈活供給各個不同資料消費方使用，讓資料真正發揮其應有價值的解決方案。
二、尋航：連通實時資料管道，搭建實時資料平臺
該造船企業資料特點：
① 資料實時分析需求大：為了實現實時監測、科學決策，以“智慧大腦”等應用為代表，對包含倉儲物流、裝置資訊、工人資訊等在內的資訊都要求能夠做到實時獲取、實時分析。
② 執行系統多樣：包括裝置管理系統、物聯平臺系統、內部車聯網系統、製造系統、派工系統、供應鏈系統、員工考勤系統、智慧 BI 系統在內，多個系統協同運轉，資料來源和目標複雜，且資訊分散
③ 資料型別多樣：覆蓋 Oracle、MySQL、TiDB、MongoDB、TDengine 等多個資料庫，異構資料庫間的資料同步任務重
綜合考慮到自身資料資源的特點，隨著應用系統的持續新增，以及資料量的不斷累積，想要真正盤活這些資料資源，就不得不考慮如何建立多源的實時資料採集系統，並設計一個統一的資料儲存和管理平臺。
起初，在工具方面，我們的客戶選擇了一些開源中介軟體，來承載這些資料同步的需求，其中就包括擁有圖形使用者介面的 Kettle。然而隨著業務的調整和不斷擴充套件，資料同步任務的量級也逐漸加大，此時這套自建方案在成本控制和運維投入上的壓力也就漸漸暴露出來：
- 缺少任務管理系統：Kettle本身並沒有強大的任務排程和監控機制，在實際生產環境中，對於大規模的資料同步任務，尤其是需要按時執行、定時排程或實時監控的情況，由於沒有獨立的任務管理系統，Kettle 需要依賴作業系統的排程器或其他外部工具來來支援任務的觸發、排程、監控和管理，也很難及時發現問題並告警。
- 批處理導向：作為一款傳統的 ETL 工具，其設計初衷更傾向於離線資料處理，主要採用批處理的方式，因此無法滿足越來越普遍的資料實時性需求。
- 分散式部署： Kettle 不支援分散式部署，難以支援日益增加的資料傳輸複製任務
至此，客戶對新資料解決方案的需求已經相當清晰了，即：
- 擁有豐富的資料來源支援，能夠快速整合分散資訊
- 支援異構資料庫資料實時同步，實現資料實時入倉
- 自身配備視覺化的任務管理介面
- 學習成本和技術門檻低，介面簡單，輕量易操作
以低延遲資料複製為核心優勢構建的現代資料平臺 TapData 恰好與這樣的需求背景完美契合，資料入倉也正是其典型用例之一。新工具的引入成功為我們的客戶帶來了全新的實時資料體驗。
三、乘風破浪：TapData + 實時數倉 + BI 系統，讓資料有用、易用、可視
經過審慎調研，該造船企業團隊決定充分利用 TapData 的實時資料同步能力，高效從各個源業務系統採集現場資料、員工資訊等，打造自己的實時資料融合平臺，為下游的使用者端、製造系統、派工系統、供應鏈以及 BI 系統等資料需求方實時供數，滿足報表分析、智慧大屏、考勤就餐、健康打卡、專案管理、裝置智慧管理等業務場景的應用需求。
藉助 Tapdata，企業可以輕鬆連線所有資料來源，並視覺化完成複製及轉換，無需專業的程式設計能力，即可完成複雜的資料整合和開發。DBA、架構師、資料工程師甚至業務人員，都可以利用 TapData 快速準備所需的一切資料。
A. 船舶製造實時資料平臺的整體規劃
以實時數倉為核心儲存，結合實時資料捕獲、流處理和整合工具 Tapdata，形成一個完整的實時資料平臺，用以滿足企業在數字化轉型中對資料資源和資料價值挖掘的需求。
- 資料採集層：
- Tapdata： 作為整合工具，可以連線多種資料來源，包括 TiDB、MongoDB、Oracle、TDengine 等。TapData 提供了資料連線、資料同步、資料轉換、清洗和分發的功能，支援構建資料流程。
- 資料儲存層 FDM：
- Tapdata： 作為實時資料捕獲和流處理工具，連線源庫資料同步到TiDB，實時捕獲變更，並支援流式資料處理。TapData 提供了易用的介面和強大的功能，適用於構建實時資料處理流程。
- TiDB 叢集： 從資料來源進行 1:1 複製，轉換成結構化資料，存放到實時平臺的統一資料快取層 TiDB 叢集，建立基礎資料模型，涉及多個基礎資料表，如：裝置表、維修記錄、人員資訊、裝置點檢記錄等儲存生產資料、裝置狀態等資訊。
- 資料處理層 MDM：
- Tapdata： 作為實資料處理工具，對 FDM 層進行資料同步、欄位處理、欄位賦值到 MDM 層。
- TiDB 叢集：作為平臺加工層，從 FDM 層的一個主表和多個從表合併而成的寬表，用實時任務製作生成，主要完成資料的清洗、增強、補全和規範化處理等工作，對業務資料進行資料加工處理並保證實時更新。MDM 將用於管理企業的關鍵資料，併為該資料提供統一的參考源。在這一層，我們將對資料進行去重、標準化、規範化，以防錯誤資料進入系統。由此生成的主資料集，將作為供給企業後續各項資料需求的單一、可信資料池。
- 視覺化與報表：
- 帆軟 BI： 連線到 TiDB，用於構建視覺化報表和儀表盤。
整體而言，使用 TapData 的方案能夠更加輕鬆地構建實時資料處理流程，透過其視覺化的操作介面，簡化了流處理和資料整合的配置過程。這有助於提高團隊的效率，同時保證資料的實時性和準確性。
成果反饋
得益於實時資料平臺方案的突出優勢，我們的造船企業客戶在數字化轉型資料層面的創新實踐中實現了真正的降本增效。除去資金、人力成本等的最佳化，資料時效性的提升也是該方案的關鍵亮點之一。
在船舶建造行業，資料的實時性對於確保生產過程的安全性和高效性至關重要。以叉車超速的實時警報為例，實時監測叉車的執行速度可以迅速識別並響應潛在的安全風險。
船舶建造現場通常涉及大量移動裝置，其中，叉車用於搬運和運輸重要材料。在這個環境中，叉車的超速可能導致嚴重的事故和損害。透過實時監控叉車的運動速度，系統能夠即時檢測到任何超速行為，並立即觸發警報。藉助 TapData 的實時能力，此類重要響應資訊得以及時通知到相關人員，使其能夠迅速採取措施，如停止叉車、調整速度或警告操作員，從而降低潛在事故的風險。
此外，實時資料還對於生產過程的最佳化和效率提升起到關鍵作用。定期向決策管理層交付資訊報告的模式逐漸不能滿足內部敏捷管理運營的需求，實時掌握當前動向的新需求繼而被提出。透過及時獲取關鍵資料，管理團隊可以實時監測船舶建造的各個環節，及時進行管理干預，從而做出迅速的決策，最佳化生產流程，提高整體效率。這對於滿足緊張的工程計劃、減少生產停滯時間以及確保專案按時交付具有重要意義。
再以其內部近期部署的新型管理業務為例，該業務主要涉及 ERP 系統，而考勤模組也是 ERP 系統的核心資料之一。組織內部，員工的考勤資料透過刷臉、門禁等手段採集，這些事件被訂閱並留存到 Oracle 資料庫中。隨著業務的繁忙，原本直接基於 Oracle 的分析聚合查詢缺陷開始暴露，工時統計等資訊輸出緩慢，可能需要1～2分鐘才能重新整理移動端的資料介面。
對此，仍然可以藉由 TapData 這一套方案來解決——透過 TapData 實時將資料匯入到 TiDB，並使用預先構建的資料模型，實現了在資料處理和分析過程中的顯著效能提升。具體而言，Tapdata透過實時資料捕獲技術，將不斷產生的實時資料即時傳輸到 TiDB 中，保障了資料的及時性。與此同時，利用 TiDB 的強大處理能力，事先對資料進行了最佳化和整理，使得資料在儲存和檢索時更為高效。這種結合實時資料流和最佳化模型的方式，有效地減少了資料處理的時延，使得企業能夠以更快速度獲取實時洞察，支援業務決策的迅速響應。這一改進不僅使得移動端應用的人事和生產部門能夠在秒級內獲取到實時的工時統計資料，極大提升了業務響應速度和使用者體驗，更為企業資料驅動的決策提供了更為可靠的基礎。
相較於開發自建，這樣的現代化資料平臺方案，實現了資料時效性從分鐘級到秒級的 60 倍躍升，同時基於其輕量可擴充套件的特性，為企業節省了大量資金和人力成本的投入。基於 TapData 全量及增量同步的能力，對分散資訊進行有效整合，讓關聯資訊真正實現“融合”可用，幫助新的業務需求實現加速落地。最終助力企業將數字化創新貫徹落實到生產應用和企業運營管理的每一環，有望更好地應對這些挑戰，從而在競爭激烈的市場中贏得寶貴的時間和資料資源優勢，持續引領全球船舶海工裝備發展潮流。
1+1＞2 的實時數倉創新實踐：結合 DBT 工具實現指標計算能力
“不拘泥於一種工具，不給方案設限”是該企業團隊在構建實時數倉過程中做出的創新實踐。藉助 TapData 實時資料平臺優秀實時支撐能力，企業成功應對了內部大量的實時業務需求。
然而，在面對一些批次指標的計算時，例如每天、每週、每月的物料消耗和專案工時等指標的批次計算，如果仍然採用流式計算方式，反倒顯得更加複雜繁瑣。為了解決這一問題，該企業團隊引入了DBT，這是一個開源的資料加工和處理工具，支援模組化的資料建模和 SQL 驅動，很好地滿足了對應的批次任務需求。
透過引入 DBT，能夠更高效地處理大量指標的計算，將批次計算任務轉化為更為靈活、可維護的資料模型，實現了對批次計算指標的快速處理。由此一來，TapData 與 DBT 得以各司所長，使得實時數倉方案更具靈活性和可擴充套件性，展現出更高的價效比與資料處理效率。
上述內容也只是實時資料平臺所展現出的能力一角，實時、可複用資料資源的更多潛力，等待您和 TapData 一同解鎖。
採用 TapData 實時資料平臺解決方案有哪些優勢？
- 廣泛的資料來源和目標支援：內建 100+ 資料聯結器，穩定的實時採集和傳輸能力
- 學習成本低，輕量易上手：開箱即用與低程式碼視覺化操作，支援資料模型預覽，無需專業的程式設計能力，即可完成複雜的資料整合和開發。
- 更實時，更高效：兼具秒級響應的資料實時計算能力，以及穩定易用的資料實時服務能力
- 支援資料、任務分類：可根據不同專案自定義標籤，方便快速篩選查詢，有助於對跨部門協同管理及後續維護
- 支援平臺級資料校驗：有效保障資料一致性
- 視覺化任務執行監控和告警：20+ 可觀測性指標，實時監測任務最新狀態