物聯網時代中關於邊緣計算那些事兒
邊緣計算仍處於起步階段,當前的雲端計算服務(如Amazon Web Service,Microsoft Azure和Google App Engine)可以支援資料密集型的應用程式,但在網路邊緣進行實時的資料處理仍是一個有待開拓的領域。
OFweek物聯網訊:邊緣計算是在靠近物或資料來源頭的網路邊緣側,融合網路、計算、儲存、應用核心能力的開放平臺。邊緣計算與雲端計算互相協同,共同助力各行各業的數字化轉型。它就近提供智慧互聯服務,滿足行業在數字化變革過程中對業務實時、業務智慧、資料聚合與互操作、安全與隱私保護等方面的關鍵需求。
根據國際電信聯盟電信標準分局ITU-T的研究報告,到2020年,每個人每秒將產生1.7MB的資料,IoT可穿戴裝置的出貨量將達到2.37億。IDC也釋出了相關預測,到2018年,50%的物聯網網路將面臨網路頻寬的限制,40%的資料需要在網路邊緣側分析、處理與儲存,到2025年,這一數字將超過50%。
圖1:邊緣計算與雲端計算的關係
美國部署了3000餘萬個監控攝像頭,每週生成超過40億小時的海量視訊資料。物聯網領域擁有海量的終端裝置,如果這些裝置產生的資料聚在一起,會是個天文數字。海量資料的分析與儲存對網路頻寬提出了巨大的挑戰,而邊緣計算的誕生,就是為了解決這一問題。
1)分散式和低延遲計算
雲端計算往往並不是最佳策略,計算需要在更加靠近資料來源的地方執行。這個優點可以擴充套件到任何基於Web的應用程式上:包括 Foursqure和Google Now在內的APP能更快的做出響應,所以在移動使用者中變得越來越受歡迎。這說明在更靠近使用者的邊緣節點上,邊緣計算可以用於改進服務。
許多資料流由邊緣裝置生成,但是通過“遠處”的雲端計算處理和分析,不可能做出實時決策。例如使用可穿戴式攝像頭的視覺服務,響應時間需要在25ms至50ms之間,使用雲端計算會造成嚴重的延遲;再比如工業系統檢測、控制、執行的實時性高,部分場景實時性要求在10ms以內,如果資料分析和控制邏輯全部在雲端實現,則難以滿足業務要求;還有那些會生成龐大資料流的多媒體應用,如視訊或是基於雲平臺的網路遊戲,依賴雲端計算也會為玩家造成類似於等待時間過長的問題,無法滿足使用者的需求。
作為雲端計算的有益補充,可以利用邊緣節點(例如,路由器或離邊緣裝置最近的基站),用以減少網路等待時間。
2)超越終端裝置的資源限制
與資料中心的伺服器相比,使用者終端(例如智慧手機)的硬體條件相對受限。這些終端裝置以文字、音訊、視訊、手勢或運動的形式獲得資料輸入,但由於中介軟體和硬體的限制,終端裝置無法執行復雜的分析,而且執行過程也極為耗電。因此,通常需要將資料傳送到雲端,進行處理和運算,然後再把有意義的資訊通過中繼返回終端。
然而,並非來自終端裝置的所有資料都需要由雲端計算執行,資料可以利用適合資料管理任務的空閒計算資源,在邊緣節點處過濾或者分析。
3)可持續的能源消耗
大量研究顯示,雲端計算會消耗龐大的能源,未來十年資料中心所消耗的能源量可能是如今消耗量的3倍。隨著越來越多的應用轉移到雲,能量需求會日益增長,甚至無法滿足。因此,採用能量效率最大化的計算策略顯得尤為迫切。
一些嵌入式小型裝置的基礎資訊採集處理完全可以在端完成,即手機感測器把資料傳送到閘道器後,就通過邊緣計算進行資料過濾和處理,沒必要每條原始資料都傳送到雲,這省去了大量的能源成本。
4)應對資料爆炸和網路流量壓力
邊緣裝置的數量正在超速增長——到2018年,世界上三分之一的人口將擁有智慧手機或者可穿戴裝置,到2020年,這些裝置將生成43萬億GB的資料。處理這些資料需要進一步擴充套件資料中心,這再次引起了人們對網路流量壓力的廣泛關注。
通過在邊緣裝置上執行資料分析,可有效應對資料爆炸,減輕網路的流量壓力。邊緣計算能夠縮短裝置的響應時間,減少從裝置到雲資料中心的資料流量,以便在網路中更有效的分配資源。
5)智慧計算
不僅是消費級的物聯網終端,邊緣計算還將在工業應用中發揮重要作用。計算可以分層執行,利用網路遠端的資源完成。例如,典型的生產流水線可以過濾裝置上生成的資料,在傳輸資料的邊緣節點上執行部分分析工作,之後再通過雲端執行更加複雜的計算任務。邊緣節點可以通過分擔雲端計算的部分任務,增強資料中心的計算能力。
業務流程優化、運維自動化與業務創新驅動業務走向智慧,邊緣側智慧能夠帶來顯著的效率提升與成本優勢。事實上,對於從事工業自動化工作的人而言,邊緣計算並不陌生。比如,在目前普遍採用的基於PLC、DCS、工控機和工業網路的控制系統中,位於底層、嵌於裝置中的計算資源,或多或少都是邊緣計算的資源。
目前規模以上冶金企業,其資訊化已經做得頗具成效,但缺少的恰恰是末端智慧。冶金方面的資料經常會出現完整性和一致性的問題,俗稱“髒”資料。解決不好這方面的問題,會給能源管理和智慧管理環節造成很大的困擾。邊緣計算在其中發揮著重要作用,成為工業物聯網技術的有效補充。
邊緣計算所面臨的挑戰
邊緣計算仍處於起步階段,當前的雲端計算服務(如Amazon Web Service,Microsoft Azure和Google App Engine)可以支援資料密集型的應用程式,但在網路邊緣進行實時的資料處理仍是一個有待開拓的領域。
如何在分散式計算環境中發現資源和服務是一個有待擴充的領域。為了充分利用網路的邊緣裝置,需要建立某種發現機制,找到可以分散式部署的適當節點。因為可用裝置的數量龐大,這些機制不能依靠人工手動。此外,還需要使用多種異構裝置滿足最新的計算需求,比如大規模的機器學習任務。
這些機制必須在不增加等待時間或損害使用者體驗的前提下,實現不同層次和等級的計算工作流中無縫整合,原有的基於雲端計算的機制在邊緣計算領域不再適用。
挑戰3:分割槽和拆分任務
對於邊緣計算來說,最大的難點在於如何動態、大規模地部署運算和儲存能力以及雲端和裝置端如何高效協同、無縫對接。
不斷髮展的分散式計算已經催生了許多技術用來促進在多個地理位置分割槽執行任務。任務分割槽通常在程式語言或管理工具中明確表示。
然而,利用邊緣節點來實現分割槽計算不僅僅帶來了有效分割計算任務的挑戰,對於如何能在不需要明確定義邊緣節點的能力或位置,以自動化的方式進行計算的問題上,也遇到了瓶頸。因此,需要一種新型的排程方式,以便將分割的任務部署到各個邊緣節點上。
挑戰4:高水準的服務質量(QoS)和服務體驗(QoE)
另一個挑戰是需要確保邊緣節點實現高吞吐量,並且在承接額外計算工作量時執行可靠。例如,當基站過載時,可能影響連線到基站的其他邊緣裝置。
因此需要對邊緣節點的峰值時間全面瞭解,以便可以用靈活的方式來分割和排程任務。複雜的演算法如何在雲端和邊緣裝置之間合理分解和整合,需要一個對雲管端三者都有控制力的技術來實現。
挑戰5:開放和安全的使用邊緣節點
安全橫跨雲端計算和邊緣計算,需要實施端到端的防護。由於更貼近萬物互聯的裝置,網路邊緣側訪問控制與威脅防護的廣度和難度因此大幅提升。邊緣側安全主要包含裝置安全、網路安全、資料安全與應用安全。此外,關鍵資料的完整性、保密性是安全領域需要重點關注的內容。
如果把終端裝置(例如交換機、路由器和基站)當作可共享接入的邊緣節點,則需要解決許多問題:首先,需要定義邊緣裝置使用者和擁有者相關聯的風險。其次,當裝置用於邊緣計算節點時,裝置的原有的功能不能被損害。第三,邊緣節點上的多重使用者都需要將安全性作為首要關注指標。第四,需要向邊緣節點的使用者保證最低服務水平。最後,需要考慮工作負載、計算能力、資料位置和遷移、維護成本和能源消耗,以便建立合適的定價模型。
邊緣計算的潛在機會
邊緣計算仍處於起步階段,有可能為更高效的分散式計算鋪平道路。儘管在實現邊緣計算時出現了不少挑戰,但邊緣計算將會催生更多的發展機遇,在此我們明確了5個潛在機會:
機會1:標準、基準和市場
統一資料連線和資料聚合是業務智慧的基礎,面對當前工業現場存在的多樣化與異構的技術和標準,離不開跨廠商、跨領域的資料整合與互操作。網路邊緣側的本地計算服務無疑會在異構環境中迎來IT廠商、IT方案商以及開發者整合融合服務的挑戰,標準化亟待形成。
許多組織正在定義各種邊緣計算標準,例如美國國家標準和技術協會(NIST)、IEEE標準協會、國際標準化組織(ISO)、雲端計算標準客戶委員會(CSCC)和國際電信聯盟(ITU)等。只有當邊緣節點的效能可以根據廣泛認可的度量指標可靠的進行基準測試時,才能形成標準。
隨著支援通用計算的邊緣節點不斷增加,開發框架和工具包的需求也會隨之增長。邊緣分析與現有流程不同,由於邊緣分析將在使用者驅動的應用程式中實現,現有框架可能不適合表達邊緣分析的工作流。
程式設計模型需要利用邊緣節點支援任務和資料的並行,並且同時在多個層級的硬體上執行計算。程式語言需要考慮工作流中硬體的異構性和各種資源的計算能力。這比雲端計算的現有模型更加複雜。
機會3:輕量級庫和演算法
與大型伺服器不同,由於硬體限制,邊緣節點不支援大型軟體。例如,Intel T3K併發雙模SoC的小型基站具有4核ARM的CPU和有限記憶體,不足以執行復雜的資料處理工作。再比如Apache Spark需要至少8核的CPU和8 GB的記憶體以獲得良好的效能。邊緣分析需要輕量級演算法,可以進行合理的機器學習或資料處理任務。
例如,Apache Quarks是一種輕量級庫,可以在小型邊緣裝置(如智慧手機)上使用,以實現實時資料分析。但是Quarks支援的基本資料處理,例如過濾和視窗聚合,不足以滿足高階分析任務。消耗更少記憶體和使用更小磁碟的機器學習資源庫有利於實現邊緣節點的資料分析。TensorFlow是另一個支援深度學習演算法並支援異構分散式系統的示例框架,但其邊緣分析的潛力仍有待探索。
機會4:微型作業系統和虛擬化
基於微型作業系統或微型核心的研究可以解決在異構邊緣節點上部署應用的挑戰。
有研究表明,跨越多個虛擬裝置複用裝置硬體的移動容器可以提供與本地硬體接近的效能。容器技術(如Docker)正在成熟,並且能夠在異構平臺上快速部署應用程式。
機會5:產學研合作
邊緣計算為產業界和學術界提供了獨特的發展機會。邊緣計算領域的研究可以由行業合作伙伴(例如移動運營商和開發人員、軟體工具開發商和雲服務提供商等)以及感興趣的學術合作伙伴共同驅動,以實現雙方的共同利益。
本文出處:暢享網
本文來自雲棲社群合作伙伴暢享網,瞭解相關資訊可以關注vsharing.com網站。
相關文章
- 邊緣計算與物聯網
- 物聯網智慧邊緣計算平臺——智慧計算就在身邊
- 物聯網成為邊緣計算的入口
- 一文讀懂物聯網和邊緣計算
- 邊緣計算平臺如何助力物聯網發展
- 邊緣計算2.0時代,“雲邊緣”與“邊緣雲”你分清了嗎?
- 邊緣計算:釋放物聯網的商業價值
- Rancher加入邊緣計算產業聯盟(ECC),軟體定義邊緣時代崛起產業
- 邊緣計算系列科普(五)邊緣計算中的關鍵技術
- 關於 sudo 的那些事兒
- 雲端計算時代邊緣計算正蓬勃發展
- GSMA:5G時代的邊緣計算
- Strategy Analytics:邊緣計算在物聯網部署中逐漸崛起
- 當物聯網遇上雲原生:K8s向邊緣計算滲透中K8S
- 對話戴爾科技集團吳躍:聊一聊邊緣計算與AI的那些事兒AI
- 邊緣計算中的防雷網路卡
- Flutter 中“倒數計時”的那些事兒Flutter
- 關於JavaScript原型物件那些事兒JavaScript原型物件
- 邊緣計算|Hadoop——邊緣計算和Hadoop是什麼關係?Hadoop
- 基於邊緣計算閘道器組建的農村汙水處理物聯網系統
- KubeEdge邊緣計算在順豐工業物聯網中的實踐
- 關於自定義元件的那些事兒元件
- 【雲端計算】數字化時代,邊緣計算參考架構架構
- 工業物聯網核心裝置(邊緣計算閘道器)有什麼功能
- 物聯網增長驅動的邊緣計算4個垂直落地應用
- 網路安全那些事兒
- 【邊緣計算】邊緣計算時代已經到來,巨頭們新的敵人是資料邊界;邊緣計算、AI晶片、垂直應用,2018人工智慧怎麼投AI晶片人工智慧
- 關於時序資料庫,你必須要知道的那些事兒!資料庫
- Aruba的智慧邊緣時代
- 邊緣計算與工業網際網路
- 【邊緣計算】劉陽:邊緣計算髮展中的若干熱點問題及思考
- 關於微信域名攔截檢測那些事兒
- 關於人工智慧深度學習的那些事兒人工智慧深度學習
- 如何優化物聯網邊緣裝置的能源使用優化
- 邊緣計算與雲端計算
- 從網際網路時代進入物聯網時代
- 開啟算力新時代 ——邊緣計算+AI 賦能行業數字化轉型AI行業
- 【邊緣計算】晶片企業都在扎堆佈局這一新領域:邊緣智慧;物聯網“網”的本質:5G、LPWAN、SDN、NFV、TSN...晶片