物聯網、5G世界與大資料管理

DataStax發表於2020-12-29
物聯網帶動中國產業轉型、推動社會經濟發展的時代已經到來。什麼是物聯網?物聯網又給資料管理帶來了哪些挑戰?面對挑戰,我們有怎樣的解決方案?本文中我們將一一為您揭曉。
 

 
01 物聯網時代的到來
 
過去十年國家政策對中國物聯網的發展給與了重大支援。作為“網際網路+”的重要組成部分,物聯網被提升到了國家戰略產業的高度,成為中國發展最快、最具活力的創新領域之一。
 
為了加快對物聯網和5G的投入,工信部最近又印發了《關於深入推進移動物聯網全面發展的通知》1,旨在加大力度建設5G網路和其他與物聯網有關的基礎設施,圍繞產業數字化、治理智慧化、生活智慧化三大方向推動移動物聯網的創新發展。
 
2020年新冠抗疫過程中物聯網技術的採用和推廣達到了前所未有的規模。人們利用物聯網提供的位置服務,跟蹤和識別高風險病例,限制病例移動,從而遏制了病毒的傳播。
 
此外,物聯網解決方案也被應用在幫助實施各種遠端服務(包括醫療護理)、支援供應鏈的正常運轉及關鍵資源的調配。
 
根據埃森哲的分析預測2,通過採取進一步措施,提高本國採用物聯網技術的能力以及增加物聯網投資,到2030年,物聯網能給中國帶來1.8萬億美元的GDP累計增長額。
 
物聯網帶動中國產業轉型、推動社會經濟發展的時代已經到來。
 

 
02 什麼是物聯網
 
物聯網是什麼?為什麼它有如此威力?
 
簡單來說,物聯網是通過射頻識別(RFID)和感測器等裝置把實物與網際網路相連,以進行智慧化識別、監控和管理的一種網路技術。
 
近年來物聯網的概念被不斷擴充和更新。廣義範疇的物聯網包括了當下幾乎所有技術與計算機、網際網路技術的結合,例如:嵌入式系統、無線感測器網路、網際網路、雲平臺、實時分析、機器學習和人工智慧3。
 
物聯網的組成包括感測硬體裝置,網路通訊系統和軟體服務平臺。它是橫跨硬體、網路和軟體的綜合性二十一世紀新技術。就像汽車製造是一個國家工業水平的綜合體現,物聯網是一個國家現代科技水平的綜合體現。
 
物聯網實現了萬物之間、人與環境之間的互聯互通和互相交流。更進一步,物聯網將多樣的實物世界轉化為統一的數字虛擬世界,因而對已有的思維概念、社會行為、商業模式和經濟發展都產生了顛覆性的衝擊和影響。
 
物聯網的應用十分廣泛。根據埃森哲的分析研究2,製造業、公共服務和資源產業是中國物聯網發展受益最大的三個產業。醫療保健、教育、交通等領域也有很大潛力。依靠工業物聯網推動實現中國製造業的智慧化轉型是目前國家戰略的重點和未來發展的希望。
 

 
03 物聯網帶來的資料管理挑戰
 
試想一下,四面八方的物聯網產生海量監控資料,通過5G行動網路以眨眼的速度每時每刻不斷傳送到雲端地面的資料中心。這樣的資料量是個什麼樣的概念?
 
根據IDC最近的調查報告4,由於物聯網和雲遷移,未來兩年企業資料將以42.2%的年速度增長,到2022年總量將達到也就是202萬千兆位元組(2.02PB)。面對物聯網帶來的資料爆炸,你準備好了嗎?
 
物聯網資料不僅數量龐大,而且地域分散、形式複雜。由於物聯網在全球領域多元化的環境中運作,如何把資訊從終端、網路、雲平臺和邊緣等多種系統和環境中有效地彙集和整合,這也是不小的困難。
 
除了資料採集,傳輸和儲存問題,物聯網還對即時響應和實時分析提出了更高的要求。再加上資料安全上的各種隱患和擔憂,可以說,物聯網時代對大資料管理的挑戰是全方位的!
 
有效管理所有這些資料始於適當的基礎架構。網際網路之前的架構甚至雲時代之前的架構現在恐怕都無法適應新時代的要求了。
 
以混合雲和分散式資料庫為核心的基礎架構和整合策略是物聯網時代理想的資料管理解決方案。建立和支援具有可伸縮性和資料高可用性的分散式計算系統對確保應用程式的平穩執行、容納更大數量的資料傳入都至關重要。
 
Apache Cassandra分散式資料管理系統適合多雲、混雲策略,也適合跨地域、跨中心的部署。它的很多架構優勢似乎是為迎接物聯網時代的資料挑戰量身打造的。
 
Apache Cassandra去中心的架構設計允許在節點之間進行即時資料傳輸和資料複製,滿足了企業對即時響應和資料一致性的要求。同時,去中心的架構原理也使Cassandra系統能夠輕鬆實現線性擴充套件和始終線上。
 
低成本和易操作的線性擴充套件特質可以幫助企業靈活應對資料增長和數量波動。而低遲延、高容錯、始終線上的特質正好符合了物聯網對資料服務的高期待和高要求。
 

 
04 DataStax支援物聯網企業的成功案例
 
DataStax Enterprise(DSE)是商業支援的企業版Apache Cassandra分散式資料管理系統。使用DSE作為企業的大資料管理平臺不僅可以享有Cassandra開源系統的優良特質,還可以擁有DataStax精湛團隊的鼎力支援。
 
在快速獲取資料方面,Apache Cassandra是資料庫市場無可爭議的領導者。通過與Apache Kafka的內建整合,DSE可以從世界任何地方以零當機時間高速寫入時間序列和基於感測器的資料流,並使其自動與其他位置的副本同步。
 
DataStax在支援物聯網方面已經頗具經驗和口碑。下面分享兩個例項,介紹DSE是如何幫助物聯網公司在競爭中取得優勢地位的。
 
案例一: DataStax Enterprise確保Kapsch CarrierCom實現完全的資料控制
 
客戶背景
Kapsch CarrierCom(KC)公司是Kapsch集團旗下一家端到端電信網路全球開發商,是全球行動通訊和鐵路系統(GSM-R)標準的領先專家。KC公司總部位於奧地利首都維也納,為超過25個國家和地區的客戶提供服務。其國際客戶包括領先的鐵路運營商、公用事業、公共機構、運輸運營商和機場。
 
客戶挑戰
“我們需要一個不會出現瓶頸或受可擴充套件性限制的解決方案。它必須‘永遠線上’,為關鍵任務提供絕對的故障安全效能。它還需要包括分析工具,並提供高度可靠的支援系統”,該公司業務解決方案經理Josep Colom Ikuno說。
 
解決方案
KC公司評估了各種關係型資料庫和NoSQL資料庫的選項。他們很快排除了關係型資料庫的解決方案,因為無法提供滿足設計要求的效能。在所有可用的NoSQL解決方案中,只有DSE提供了所需的成熟度和穩定性以及簡單的實施。從成本的角度看,DSE也是最佳選擇。
 
客戶結果
KC公司快速有效地實施了DSE系統。DSE的簡易性和易管理性(更新,升級等)使其在開發團隊和提供解決方案的團隊中非常受歡迎。
 
DSE去中心的架構確保了始終可用和線性擴充套件性,從容接納了來自物聯網裝置的入站事件資料以及程式中生成的新資料。
 
舉例來說,作為KC公司客戶的一家公用事業公司,其資料儲存既包含均質化、處理後的資料,又包含未經處理的原始資料。DSE的資料儲存結構允許實施客戶自定義的應用程式,其基於Apache Spark的內建分析功能滿足了客戶這方面的需求。
 
這家公用事業公司的物聯網平臺的主要用途是提供報告和實時儀表板。他們的應用包括帶有感測器資料的地理位置資料,隨時間變化的地理資料測量,具有統計基礎的時間序列分析,以及不同感測器輸入的事件動態或組合。
 
 
案例二:Equinix通過DataStax為數百萬種業務應用程式提供高效能和優化客戶體驗
 
客戶背景
Equinix是領先的互連平臺和託管服務提供商。2013年時大約90%的美國網際網路流量是通過Equinix的平臺進行的。Equinix為數百萬個業務應用程式提供高效能和低延遲的服務,為客戶提供網路監控解決方案和資料中心基礎架構,實現監控、故障排除和客戶計費的目的。
 
客戶挑戰
Equinix在全球擁有100多個資料中心,並提供共享網際網路網路交換的服務。為了向客戶確保最佳的資料中心效能和網路流量健康,Equinix彙總了來自基礎架構的流資料,用以監控,故障排除和客戶計費。
 
Equinix承受的時序資料的數量和速度是驚人的,所以他們急需相應的規模、實時效能和持續可用性。Equinix對高階資料庫有獨特的需求,該資料庫必須能夠處理繁重的寫入工作負載,同時兼顧交叉引用和資料聚合的功能。
 
解決方案
經過對總體擁有成本(TCO)進行廣泛的評估,Equinix選擇了基於Apache Cassandra的DSE。DSE具備經濟有效的規模擴充套件性、連續可用的架構設計和卓越的讀寫效能,而且可以與Hadoop進行無縫整合。
 
客戶結果
“Cassandra DSE的最大好處就是操作簡便,這與Cassandra始終線上的節點體系結構息息相關。” Equinix的新興技術和平臺高階經理Praveen Kumar說,“ Cassandra的對等體系結構可確保從基礎設施工具中收集和儲存的流資料不會出現單點故障,並使我們能夠以最小的延遲從任何節點進行讀寫。”
 
藉助DataStax,Equinix釋放了流資料的價值,這是任何關係型系統都無法做到的。因此,Equinix最大化地交付了客戶價值和客戶回報。
 
此外,作為裝置齊全的資料中心提供商,Equinix必須計劃功率容量,優化資源消耗和減少故障。基於Cassandra構建的應用程式可以提供有關功耗的明細分析,幫助管理員更好地計劃基礎架構和資源的分配。
 
如今,每天有9000萬條網路流量資料記錄、收集並儲存在Equinix的Cassandra DSE中。利用這些資訊,Equinix向客戶提供了網路執行狀況和流量分析報告,更好地吸引了客戶。
 
面對物聯網時代和5G網路帶來的資料大爆炸,準備好與之適應的資料管理架構將成為企業成功的關鍵要素。
 

 
References:
  1. 《工業和資訊化部辦公廳關於深入推進移動物聯網全面發展的通知》,2020年4月30日
  2. Accenture埃森哲,“物聯網:推動中國產業轉型”, 2015年9月
  3. https://www.oracle.com/cn/internet-of-things/what-is-iot.html
  4. IDC, “Rethink Data - Put More of Your Business Data to Work—From Edge to Cloud”, July 2020

相關文章