終於有人把工業資料採集講明白了
導讀:工業物聯網感知層作為物理世界與數字世界的橋樑,是資料的第一入口。現實情況下,由於感知層資料來源非常多樣,來自各種多源異構裝置和系統,因此如何從這些裝置和系統中獲取資料,是工業物聯網面臨的第一道門檻。在工業領域,感知即通常所說的工業資料採集。
01 工業資料採集的範圍
工業資料採集利用泛在感知技術對多源異構裝置和系統、環境、人員等一切要素資訊進行採集,並通過一定的介面與協議對採集的資料進行解析。資訊可能來自加裝的物理感測器,也可能來自裝備與系統本身。
《智慧製造工程實施指南(2016—2020)》將智慧感測與控制裝備作為關鍵技術裝備研製重點;針對智慧製造提出了“體系架構、互聯互通和互操作、現場匯流排和工業乙太網融合、工業感測器網路、工業無線、工業閘道器通訊協議和介面等網路標準”,並指出:“針對智慧製造感知、控制、決策和執行過程中面臨的資料採集、資料整合、資料計算分析等方面存在的問題,開展資訊物理系統的頂層設計。”
這裡面蘊含兩方面資訊:一是工業資料採集是智慧製造和工業物聯網的基礎和先決條件,後續的資料分析處理依賴於前端的感知;二是各種網路標準統一後才能實現裝置系統間的互聯互通,而多種工業協議並存是目前工業資料採集的現狀。
廣義上,工業資料採集分為工業現場資料採集和工廠外智慧產品/移動裝備的資料採集(工業資料採集並不侷限於工廠,工廠之外的智慧樓宇、城市管理、物流運輸、智慧倉儲、橋樑隧道和公共交通等都是工業資料採集的應用場景),以及對ERP、MES、APS等傳統資訊系統的資料採集。
如果按傳輸介質劃分,工業資料採集可分為有線網路資料採集和無線網路資料採集。
02 工業資料採集的特點
工業資料採集具有一些鮮明的特徵,在面對具體需求時,不同場景會對技術選型產生影響,例如裝置的組網方式、資料傳輸方式、資料本地化處理、資料匯聚和管理等。
1. 多種工業協議並存
工業領域使用的通訊協議有很多,如PROFIBUS、Modbus、CAN、HART、EtherCAT、EthernetIP、Modbus/TCP、PROFINET、OPC UA,以及大量的廠商私有協議。這種狀況出現,很大程度上是因為工業軟硬體系統存在較強的封閉性和複雜性。
設想在工業現場,不同廠商生產的裝置,採用不同的工業協議,要實現所有裝置的互聯,需要對各種協議做解析並進行資料轉換,這是工業物聯網存量改造專案開展時最先遇到的問題——想要解決“萬國牌”裝置的資料採集,耗時又費力。
如果是新建設的工廠,應從最開始的規劃階段考慮車間、廠級和跨地域的企業級工業物聯網應用要求,在沒有歷史包袱的情況下,通過制定標準,綜合評估現場的電磁環境抗干擾要求、資料頻寬要求、傳輸距離、實時性、組網時支援的裝置節點數量限制、星形或Daisy-Chain網路拓撲、後期擴充套件性等因素,選擇合適的技術路線,並設計好OT與IT互通的介面,這將大大降低資料採集的難度和工作量。
2. 時間序列資料
工業資料採集大多數時候帶有時間戳,即資料在什麼時刻採集。大量工業資料建模、工業知識元件和演算法元件,均以時間序列資料作為輸入資料,例如時域分析或頻域分析方法,都要求原始資料包含時間維度資訊。
工業物聯網應用越來越豐富,延伸到了更多的場景下,例如室內定位開始在智慧倉儲、無人化工廠中探索應用,無論是基於時間還是基於接收功率強度的定位方式,其定位引擎都要求訊號帶有時間標籤,才能完成定位計算,保證時空資訊的準確性和可追溯性。
在搭建工業物聯網平臺時,應結合時間序列資料的特點,在資料傳輸、儲存、分析方面做針對性的考慮。例如時序資料庫(Time Series DataBase,TSDB)專門從時間維度進行設計和優化,資料按時間順序組織管理。
圖3-1所示為典型的時間序列資料,儲存於關係型資料庫中,當資料規模急劇增大時,關係型資料庫的處理能力變得吃緊,需要效能更優的資料庫。工業資料和網際網路資料存在很大差別,前者通常是結構化的,而後者以非結構化資料為主。
▲圖3-1 時間序列資料示例
3. 實時性
工業資料採集的一個很大特點是實時性,包括資料採集的實時性以及資料處理的實時性。例如基於感測器的資料採集,其中一個重要指標為取樣率,即每秒採集多少個點。取樣率低的如溫溼度採集,取樣間隔在分鐘級;取樣率高一些的如振動訊號,每秒鐘採集幾萬個點甚至更多,方便後續訊號分析處理以獲得高階諧波分量。
有些大的科學裝置,例如粒子加速器的束流監測系統,取樣率達數兆每秒。取樣率越高意味著單位時間資料量越大,如此大的資料量,如果不加處理直接通過網路傳輸到資料中心或雲端,對於網路的頻寬要求非常之高,而且如此大的頻寬下,很難保證網路傳輸的可靠性,可能會產生非常大的傳輸時延。
而部分工業物聯網應用,如裝置故障診斷、多機器人協作、狀態監測等,由於要求在資料採集(感知)、分析、決策執行之間,完成快速閉環,因此對資料的實時處理有著較高的要求。如果將資料上傳到雲端,雲端分析後再繞一圈回來,指導下一步動作,一來一回產生的時延,很多時候將變得不可接受。
上述業務場景將在靠近資料來源頭的現場對資料進行即時處理,實時分析,提取特徵量,然後基於分析的結果進行本地決策,指導下一步動作,同時將分析結果上傳到雲端,資料量經過本地處理後大大減小了。圖3-2所示是實時振動訊號狀態監測和資料分析。
▲圖3-2 實時振動訊號狀態監測和資料分析
03 工業資料採集的體系結構
工業資料採集體系包括裝置接入、協議轉換、邊緣計算。裝置接入是工業資料採集建立物理世界和數字世界連線的起點。裝置接入利用有線或無線通訊方式,實現工業現場和工廠外智慧產品/移動裝備的泛在連線,將資料上報到雲端。工業資料採集發展了這麼多年,存在裝置接入的複雜性和多樣性。
資料接入後,將對資料進行解析、轉換,並通過標準應用層協議如MQTT、HTTP上傳到物聯網平臺。部分工業物聯網應用場景,在協議轉換後,可能在本地做即時資料分析和預處理,再上傳到雲端,提升即時性並降低網路頻寬壓力。
邊緣計算近幾年發展迅速,大家越來越意識到資料就近處理的優勢,無論是實效性還是出於資料安全性考慮,或是網路的可靠性,邊緣計算在工業物聯網體系中扮演著重要角色,邊雲協同也逐漸成了共識。
根據硬體載體不同,將裝置接入產品分為以下3類,分類並非絕對,不同類別之間的差異,在於其側重點不同。
1. 通用控制器
第一類是通用控制器,來自工業裝備大腦主控,例如可程式設計邏輯控制器(Programmable Logic Controller,PLC)、微控制單位(MicroController Unit,MCU)等,工業自動化領域存在很多控制和資料採集系統,如分散式控制系統(Distributed Control System,DCS)和資料採集與監視控制系統(Supervisory Control and Data Acquisition,SCADA),它們在承擔本職功能的同時,可以作為接入裝置使用。
通用控制器通常整合了數字輸入輸出I/O單元、網路通訊單元,以及針對特定應用的選配功能,如模擬量輸入單元、模擬量輸出單元、計數器單元、運動控制單元等,通過串列埠或乙太網物理介面連線,然後基於現場匯流排、工業乙太網或標準乙太網完成資料採集協議的解析,如圖3-3所示。
▲圖3-3 通用控制器
通用控制器應用於數控機床、鐳射切割機等各種自動化裝備、機器人(如機械臂和移動機器人)、SCADA系統的通訊管理機,有些自動化裝備擁有專用控制器,採用不同的硬體架構如PowerPC、ARM Cortex等。基於通用控制器的裝置接入,完成自動化裝備自身資料、工藝過程資料採集。
2. 專用資料採集模組
第二類是專用資料採集模組,採集現場物件的物理訊號,感測器將物理訊號變換為電訊號後,專用資料採集模組通過類比電路的A/D模數轉換器或數位電路將電訊號轉換為可讀的數字量。
例如風力發電機利用力感測器實現風機混凝土應力狀態的實時線上監測,為風機混凝土基礎承載力的評估提供依據,同時利用加速度感測器採集振動訊號,在風力發電系統的執行過程中,實時線上監測振動狀況併傳送檢測資訊,根據檢測資訊有效控制風機運轉狀態,避免由於共振而造成的結構失效,並對超出幅度閾值的振動進行安全預警。
將力感測器和加速度感測器安裝固定於風機上,感測器輸出端連線到專用資料採集模組的輸入端,專用資料採集模組通過網路將資料上傳到本地或遠端伺服器,進行下一步資料分析和視覺化。
專用資料採集模組的形式可能是資料採集板卡、嵌入式資料採集系統等。對於自動化裝備或機器人,如果某些關注的資料缺失,無法從其通用控制器直接獲取,此時可通過加裝感測器,配合專用資料採集模組的方式,完成更多維度的資料採集,這種做法很常見。
3. 智慧產品和終端
第三類是智慧產品和終端,強調遠端無線接入和移動屬性。例如通過運營商4G/5G蜂窩網路、Wi-Fi等室內短距離通訊,或者低功耗廣域網無線連線上報資料。通過無線方式可以採集智慧產品和終端的各種指標資料,例如電量、訊號強度、功耗、定位、嵌入式感測器資料等。
大部分智慧產品和終端在產品定義時直接整合了無線通訊能力,手機和可穿戴裝置屬於典型的例子。當前智慧產品越來越豐富,萬物互聯時代,預設具備遠端接入能力,對智慧產品使用過程中的各種執行指標進行監測,分析採集的資料,可以指導研發團隊更好地改進產品。
例如具有移動屬性的自動化裝備,如AGV機器人在室內基於Wi-Fi自組網叢集,實現AGV之間的通訊,草皮收割機在戶外作業時的遠端監測和控制。有些產品終端本身不具備遠端接入能力,可間接通過數傳模組(Data Transfer Unit,DTU)或工業閘道器,實現同樣的效果。
工業資料採集關於資料的界定是非常廣義的,它可能來自通用控制器執行時的關鍵指標,或者感測器採集的某個物理量,或者單純一個身份標識資訊,比如RFID標籤EPC資料區定義的標籤ID、廣播報文中攜帶的唯一MAC地址等,通訊雙方彼此交換的可能僅僅是簡單的身份資訊,完成一次確認,無須多餘資訊,雖然通訊雙方有能力攜帶額外資訊。
來自 “ 大資料DT ”, 原文作者:胡典鋼;原文連結:https://mp.weixin.qq.com/s/rX3Mp_7HSe5Gzmbz3aE0cg,如有侵權,請聯絡管理員刪除。
相關文章
- 終於有人把能把資料採集給講明白了
- 瞧!終於有人把智慧製造與工業4.0講明白了
- 終於有人把網路爬蟲講明白了爬蟲
- 終於有人把隱私計算講明白了
- 終於有人把雲端計算、大資料和 AI 講明白了大資料AI
- 終於有人把Web 3.0和元宇宙講明白了Web元宇宙
- 終於有人把雲端計算、大資料和人工智慧講明白了大資料人工智慧
- 終於有人把BungeeCord群組服搭建教程方法講明白了
- 大資料基礎架構Hadoop,終於有人講明白了大資料架構Hadoop
- MPP大資料系統架構,終於有人講明白了大資料架構
- 終於有人把安全知識圖譜技術講明白了(上篇)
- 資料視覺化的設計技巧,終於有人講明白了!視覺化
- 終於有人把MYSQL索引講清楚了MySql索引
- 終於有人把工資拖後腿的原因找到了,此文把平均數、中位數和眾數全講明白了
- ClickHouse與Hive的區別,終於有人講明白了Hive
- 終於有人把ERP和OA的區別講清楚了!
- 終於有人能把c#樂娛LEY介面的作用講明白了C#
- 5000字長文分享!資料倉儲的建設與框架終於有人給講明白了框架
- 終於有人把不同標籤的加工內容與落庫講明白了丨DTVision分析洞察篇
- 分析即服務(AaaS)到底是什麼?終於有人講明白了
- 這一次終於有人把MySQL主從複製講全面了!!!MySql
- 終於有人把15個JavaScript的重要陣列方法給講出來了JavaScript陣列
- 五險一金終於有人給講清楚了
- 終於有人把Java記憶體模型說清楚了Java記憶體模型
- C#:終於有人把 ValueTask、IValueTaskSource、ManualResetValueTaskSourceCore 說清楚了!C#
- sql學習:終於把sql case語句使用講明白了,一看就懂SQL
- BI和報表等於資料分析?終於有人講清楚了它們的區別
- 花了一個星期,我終於把RPC框架整明白了!RPC框架
- 【教程】終於有人把Java記憶體模型說清楚了!Java記憶體模型
- 從工業物聯網閘道器講起:工業資料採集有何特點
- 終於有人將資料中臺講清楚了,原來根本不算啥
- 關於LLM-as-a-judge正規化,終於有綜述講明白了
- 索引失效底層原理分析,這麼多年終於有人講清楚了索引
- 終於有人把機器學習中的文字摘要解釋清楚了!機器學習
- 工業資料採集方案有何功能特點
- MQTT 賦能工業 PLC 資料採集與應用MQQT
- 基於工業物聯網的數控機床資料採集系統
- 終於有人講透了使用者分析方法論