談一談資料儲存與物聯網
物聯網(IoT)包括可以連線到網際網路的各種物理物件或裝置,從工廠機械裝置、家用電器、汽車到智慧手機和智慧手錶等移動裝置。今天的物聯網更具體地是指將感測器、處理能力、軟體結合在一起,並與其他裝置交換資料的互連裝置。物聯網正在改變各種行業和應用程式,這些裝置生成的資料可以在資料分析過程之後顯著改善業務成果。
傳統上,連線能力主要依靠Wi-Fi無線網路,但現在5G等型別的網路平臺已經逐漸能夠在更高的速度和可靠性的情況下,處理更大的資料集。這將顯著推動物聯網應用,從而導致終端裝置產生大量資料。管理物聯網裝置生成的資料是提供商業智慧和更好的使用者體驗的關鍵。因此,我們需要深入瞭解下物聯網世界中的資料流。
物聯網世界中的資料流
一般來說,物聯網系統架構分為3層。首先是資料來源層。物聯網從智慧裝置、環境感測器、智慧手機、智慧車輛和各種感測器收集資料。然後可以使用通用標準協議(例如 MQTT、CoAP 和 HTTP)透過網路將資料傳送到邊緣閘道器,然後再傳送到雲端。其次是資料儲存層。該層儲存從邊緣或雲端的感測器和裝置收集的資料,用於長期或短期應用。邊緣閘道器提供功能,例如感測器資料聚合、資料預處理以及與雲的安全連線。在雲中,有為物聯網應用程式構建的各種資料庫管理系統。這些系統可以儲存和管理這些海量資料以供進一步應用。最後,是資料分析和應用程式層。大多陣列織可以使用雲來執行處理裝置生成資料所需的應用程式。該層使用人工智慧、機器學習和基礎的計算技術分析資料,以生成有用的資訊。這些資料可以幫助我們提供具有可操作的見解,同時也可以驅動商業智慧、最佳化運營、吸引更多客戶、自動控制流程,並幫助企業根據從資料分析層提取的結果做出最佳決策。
從資料的採集、傳輸、儲存、計算、分析到應用,資料儲存只是物聯網生態系統的一部分;然而,它仍然是一項非常具有挑戰性的技術。物聯網的儲存解決方案必須確保資料的完整性、可靠性和安全性。更重要的是,儲存解決方案必須適應終端裝置、邊緣閘道器和資料中心的各種環境。
物聯網的關鍵儲存技術
在一些案例中,將資料從端點裝置移動到邊緣閘道器和雲是一個流行的選擇。物聯網裝置通常具有一些儲存和預處理資料的能力。對於生產現場或交通設施中的物聯網裝置,其不僅輸出資料各不相同,而且來源複雜。需要快速的訪問速度,儲存資料的準確性要求極高,物聯網裝置的安裝環境相對惡劣。在消費電子市場站穩腳跟的NAND快閃記憶體就是物聯網裝置的儲存解決方案之一。然而,很多挑戰仍然存在。
第一,環境是物聯網邊緣端裝置儲存的第一個挑戰。在汽車世界中,車聯網(V2X)是物聯網概念的完美典範。未來的汽車需要交換其所有感測器收集的資訊,並與其他車輛、行人和路邊單元(RSU) 交換資訊。車內的儲存裝置需要在極端溫度的情況下正常工作。因此,需要 AECQ-100 的認證。工廠自動化等其他應用需要抗衝擊認證(MIL-STD 810G)以確保在極端環境中的儲存效能。
第二,高效的資料壓縮比也是挑戰之一。因為雲邊端的協同很重要,而談到協同我們就需要走網路傳輸,從而消耗頻寬,資料壓縮比高就意味著節省頻寬消耗。
第三,可靠性是在各種物聯網應用中應用儲存解決方案時需要考慮的關鍵因素。通常,物聯網裝置是為特定任務設計的嵌入式系統,而不是為可擴充套件性和易於升級而設計的伺服器或PC。也就是說,你的儲存在物聯網裝置中的生命週期應該比消費市場中的產品更長。實現高可靠性的訣竅有多種,例如使用符合工業級標準的NAND快閃記憶體、啟用偽SLC模式、選擇高質量的元件和固定BOM以及保形塗料。測試和驗證也是交付高可靠性產品的必要步驟,這些步驟的細節和質量因供應商而異。
第四,資料完整性很重要。尤其是時序資料對於IoT應用程式來說必須準確。比如,從車輛獲取遙測資料,如果資料的順序不完全一致且不準確,則分析時可能會產生不同的結果。採用掉電保護、端到端資料保護、ECC等技術來保證儲存裝置的資料完整性。設計這些功能的經驗對結果至關重要。
最後,安全是採用物聯網技術的重要問題。大部分物聯網裝置的可用計算能力有限。這些限制使他們無法使用基本的安全功能,例如實施防火牆或強密碼系統來加密他們的資料和與其他裝置的通訊。儲存解決方案提供商可以實現防寫、安全擦除、AES加密和TCG Opal2.0等功能,以確保物聯網裝置生成的私有資料保持安全。
來自 “ CnosDB ”, 原文作者:圈外鬼才Jesse;原文連結:https://mp.weixin.qq.com/s/RM2-x5ts4MT-kiEOsCmyew,如有侵權,請聯絡管理員刪除。
相關文章
- 華為雲OBS助力物聯網資料轉發與儲存
- 談談資料湖和資料倉儲
- 談談系統密碼儲存策略密碼
- MySQLInnoDB儲存引擎(一):精談innodb的儲存結構MySql儲存引擎
- MySql的資料儲存之B+樹(淺談)MySql
- 從Google Spanner漫談分散式儲存與資料庫技術XAGo分散式資料庫
- 談一談資料管理的格局
- 談談工業企業如何將資料編織與傳統資料倉儲結合
- 談談MySQL InnoDB儲存引擎事務的ACID特性MySql儲存引擎
- 不懂嵌入式何談物聯網?這套物聯網影片教程限時送
- 淺談資料倉儲和大資料大資料
- 談談資料制度與資料標準的關係
- 談談資料一致性
- 談一談資料探勘的軍規
- 認識物聯網系列—物聯網與雲端計算、大資料大資料
- 杉巖:淺談物件儲存和塊儲存區別物件
- 小談mysql儲存引擎優化MySql儲存引擎優化
- 手把手教你使用 Timestream 實現物聯網時序資料儲存和分析!
- 談一談英雄聯盟手遊渲染技術與畫面
- 談一談資料域層次結構
- 談一談常見的資料治理怪象
- 淺談分散式儲存系統的資料分佈演算法分散式演算法
- 淺談mysql資料庫技術,輕鬆玩轉儲存過程MySql資料庫儲存過程
- 淺談資料倉儲質量管理流程
- 談談“資料庫中介軟體”生態與發展資料庫
- 談談資料質量管理
- 談談網路協議 - 資料鏈路層( Data Link)協議
- 物聯網的資料方案
- 資深測試專家陳永康談物聯網下的測試挑戰
- 阿里雲端資料庫聯手 Hightopo ,開啟工業物聯超融合儲存模式阿里資料庫模式
- 談一談阻礙資料建模的5大藉口
- 也淺談下分散式儲存要點分散式
- 淺談儲存器的進化歷程
- 物聯網、5G世界與大資料管理大資料
- 儲存資源盤活系統,“盤活”物聯網架構難題(下)架構
- 儲存資源盤活系統,“盤活”物聯網架構難題(上)架構
- 談談資料治理角色和職責:資料管理的關鍵參與者
- 關係型資料庫 RDBMS 的舊與新 — 談談 NewSQL資料庫SQL