製造企業面臨的一道難題——資料採集

　　資料採集一直是困擾著所有制造工廠的傳統痛點，自動化裝置品牌型別繁多，廠家和資料介面各異，國外廠家本地支援有限，不同採購年代。即便產量停機資料自動採集了，也不等於整個製造過程資料都獲得了，只要還有其他人工參與環節，這些資料就不完整。

　　 一、工業資料採集型別

　　網際網路的資料主要來自於網際網路使用者和伺服器等網路裝置，主要是大量的文字資料、社交資料以及多媒體資料等，而工業資料主要來源於機器裝置資料、工業資訊化資料和產業鏈相關資料。

　　從資料採集的型別上看，不僅要涵蓋基礎的資料，還將逐步包括半結構化的使用者行為資料，網狀的社交關係資料，文字或音訊型別的使用者意見和反饋資料，裝置和感測器採集的週期性資料，網路爬蟲獲取的網際網路資料，以及未來越來越多有潛在意義的各類資料。主要包括以下幾種：

　　海量的Key-Value資料

　　在感測器技術飛速發展的今天，包括光電、熱敏、氣敏、力敏、磁敏、聲敏、溼敏等不同類別的工業感測器在現場得到了大量應用，而且很多時候機器裝置的資料大概要到ms的精度才能分析海量的工業資料，因此，這部分資料的特點是每條資料內容很少，但是頻率極高。　　

　　文件資料

　　包括工程圖紙、模擬資料、設計的CAD圖紙等，還有大量的傳統工程文件。

　　資訊化資料

　　由工業資訊系統產生的資料，一般是透過資料庫形式儲存的，這部分資料是最好採集的。

　　介面資料

　　由已經建成的工業自動化或資訊系統提供的介面型別的資料，包括txt格式、JSON格式、XML格式等。

　　影片資料

　　工業現場會有大量的影片監控裝置，這些裝置會產生大量的影片資料。

　　影像資料

　　包括工業現場各類影像裝置拍攝的圖片（例如，巡檢人員用手持裝置拍攝的裝置、環境資訊圖片）。

　　音訊資料

　　包括語音及聲音資訊（例如，操作人員的通話、裝置運轉的音量等）。

　　其他資料

　　例如遙感遙測資訊、三維高程資訊等等。

　　 二、資料採集的方法

　　傳統的資料採集方法包括人工錄入、調查問卷、電話隨訪等方式，大資料時代到來後，一個突出的變化是資料採集的方法有了質的飛躍，下面所介紹的資料採集方式的突破直接改變著大資料應用的場景。

　　1、感測器

　　感測器是一種檢測裝置，能感受到被測量的資訊，並能將檢測感受到的資訊，按一定規律變換成為電訊號或其他所需形式的資訊輸出，以滿足資訊的傳輸、處理、儲存、顯示、記錄和控制等要求。在生產車間中一般存在許多的感測節點，24小時監控著整個生產過程，當發現異常時可迅速反饋至上位機，可以算得上是資料採集的感官接受系統，屬於資料採集的底層環節。

　　感測器在採集資料的過程中主要特性是其輸入與輸出的關係。

　　其靜態特性反映了感測器在被測量各個值處於穩定狀態時的輸入和輸出關係，這意味著當輸入為常量，或變化極慢時，這一關係就稱為靜態特性。我們總是希望感測器的輸入與輸出成唯一的對照關係，最好是線性關係。　　

　　一般情況下，輸入與輸出不會符合所要求的線性關係，同時由於存在著遲滯、蠕變等因素的影響，使輸入輸出關係的唯一性也不能實現。因此我們不能忽視工廠中的外界影響，其影響程度取決於感測器本身，可透過感測器本身的改善加以抑制，有時也可以加對外界條件加以限制。

　　2、RFID技術

　　RFID（Radio Frequency Identification，射頻識別）技術是一種非接觸式的自動識別技術，透過射頻訊號自動識別目標物件並獲取相關的資料資訊。利用射頻方式進行非接觸雙向通訊，達到識別目的並交換資料。RFID技術可識別高速運動物體並可同時識別多個標籤，操作快捷方便。

　　在工作時，RFID讀寫器透過天線傳送出一定頻率的脈衝訊號，當RFID標籤進入磁場時，憑藉感應電流所獲得的能量傳送出儲存在晶片中的產品資訊（Passive Tag，無源標籤或被動標籤），或者主動傳送某一頻率的訊號（Active Tag，有源標籤或主動標籤）。

　　閱讀器對接收的訊號進行解調和解碼然後送到後臺主系統進行相關處理；主系統根據邏輯運算判斷該卡的合法性，針對不同的設定做出相應的處理和控制，發出指令訊號控制執行機構動作。

　　RFID技術解決了物品資訊與網際網路實現自動連線的問題，結合後續的大資料探勘工作，能發揮其強大的威力。

　　 三、資料採集技術難點

　　在當今的製造業領域，資料採集是一個難點。很多企業的生產資料採集主要依靠傳統的手工作業方式，採集過程中容易出現人為的記錄錯誤且效率低下。

　　有些企業雖然引進了相關技術手段，並且應用了資料採集系統，但是由於系統本身的原因以及企業沒有選擇最適合自己的資料採集系統，因此也無法實現資訊採集的實時性、精確性和延伸性管理，各單元出現了資訊斷層的現象。　　

　　技術難點主要包括以下幾方面：

　　1、資料量巨大

　　任何系統，在不同的資料量面前，需要的技術難度都是完全不同的。

　　如果單純是將資料採到，可能還比較好完成，但採集之後還需要處理，因為必須考慮資料的規範與清洗，因為大量的工業資料是“髒”資料，直接儲存無法用於分析，在儲存之前，必須進行處理，對海量的資料進行處理，從技術上又提高了難度。

　　2、工業資料的協議不標準

　　網際網路資料採集一般都是我們常見的HTTP等協議，但在工業領域，會出現ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各型別的工業協議，而且各個自動化裝置生產及整合商還會自己開發各種私有的工業協議，導致在工業協議的互聯互通上，出現了極大地難度。

　　很多開發人員在工業現場實施綜合自動化等專案時，遇到的最大問題及時面對眾多的工業協議，無法有效的進行解析和採集。

　　3、影片傳輸所需頻寬巨大

　　傳統工業資訊化由於都是在現場進行資料採集，影片資料傳輸主要在區域網中進行，因此，頻寬不是主要的問題。

　　但隨著雲端計算技術的普及及公有云的興起，大資料需要大量的計算資源和儲存資源，因此工業資料逐步遷移到公有云已經是大勢所趨了。但是，一個工業企業可能會有幾十路影片，成規模的企業會有上百路影片，這麼大量的影片檔案如何透過網際網路順暢到傳輸到雲端，是開發人員需要面臨的巨大挑戰。

　　4、對原有系統的採集難度大

　　在工業企業實施大資料專案時，資料採集往往不是針對感測器或者PLC，而是採集已經完成部署的自動化系統上位機資料。

　　這些自動化系統在部署時廠商水平參差不齊，大部分系統是沒有資料介面的，文件也大量缺失，大量的現場系統沒有點表等基礎設定資料，使得對於這部分資料採集的難度極大。

　　5、安全性考慮不足

　　原先的工業系統都是執行在區域網中，安全問題不是突出考慮的重點。

　　一旦需要透過雲端排程工業之中最為核心的生產能力，又沒有對安全的充分考慮，造成損失，是難以彌補的。