【深度學習】深度解讀：深度學習在IoT大資料和流分析中的應用

來源：網路大資料（ID:raincent_com）

摘要：這篇論文對於使用深度學習來改進IoT領域的資料分析和學習方法進行了詳細的綜述。

在物聯網時代，大量的感知器每天都在收集併產生著涉及各個領域的資料。

由於商業和生活質量提升方面的訴求，應用物聯網(IoT)技術對大資料流進行分析是十分有價值的研究方向。

這篇論文對於使用深度學習來改進IoT領域的資料分析和學習方法進行了詳細的綜述。從機器學習視角，作者將處理IoT資料的方法分為IoT大資料分析和IoT流資料分析。論文對目前不同的深度學習方法進行了總結，並詳細討論了使用深度學習方法對IoT資料進行分析的優勢，以及未來面臨的挑戰。

為了更好的在IoT領域內應用深度學習方法，作者分析了IoT資料的關鍵特徵和主要問題。

作者對於目前最先進的深度學習方法及其在物聯網領域對於大資料和流資料的應用進行了詳細的總結。

作者對於目前應用了深度學習方法的大量IoT應用進行了介紹，並且對不同型別的深度神經網路在各種IoT領域的應用進行了概括和對比。

強調了深度學習與物聯網應用成功結合所面臨的挑戰和未來的研究方向。

論文結構

目前流資料分析都是基於資料平行計算或增量處理的框架，儘管這些技術減少了從流資料分析框架返回響應的時間延遲，對於IoT應用的嚴格時間要求，它們並不是最佳方案。

IoT需要在資料來源附近的平臺(甚至是IoT裝置自身)上進行快速流資料分析，以達到實時或近實時性的要求，傳統的流資料分析方法則面臨著計算、儲存以及資料來源能量方面的侷限和挑戰。

IoT大資料具有“6V”特點：

容量(Volume)： 資料量是將資料集視為大資料、或傳統的大規模/超大資料的一個決定性因素，使用物聯網裝置產生的資料量比以前要多得多，明顯符合這一特點。

速度(Velocity)： 物聯網大資料產生和處理速率要足夠高，以支援實時大資料的可用性。鑑於這種高資料率，也證明了需要先進的工具和技術分析才能有效地運作。

多樣性(Variety)： 一般來說，大資料有不同的形式和型別。這可能包括結構化的、半結構化的和非結構化的資料。各種各樣的資料型別可以通過物聯網產生，如文字、音訊、視訊、感測器資料等等。

真實性(Veracity)： 真實性是指質量，一致性，和資料的可信性，有真實性的資料才能進行準確的分析。這一點對於物聯網來說尤其重要，特別是那些群體感知資料。

易變性(Variability)： 這個屬性是指資料流的速率不同。由於物聯網應用的性質，不同的資料生成元件可能會有不一致的資料流。此外，在特定時間，一個資料來源的資料載入速率可能不同。例如，利用物聯網感測器的停車服務應用在高峰期的資料載入會達到峰值。

價值(Value)： 價值是指大資料轉化成為有用的資訊和內容，為組織帶來競爭優勢。資料的價值的高度不僅僅取決於對資料的處理過程或服務，還取決於對待資料的方式。

資料流處理的主要障礙是缺少能部署在系統邊緣，甚至是IoT裝置上的框架或演算法。當採用深度學習方法時，也要折衷考慮執行在系統邊緣的網路的深度和效能。

與其他傳統機器學習方法相比，深度學習結構在近幾年受到越來越廣泛的關注。

Google Trend顯示近幾年對深度學習的關注呈上升趨勢

深度學習整體訓練機制

深度學習模型總結

1)卷積神經網路(Convolutional Neural Networks，CNN)

CNN的核心結構是卷積層，有一系列可學習的引數，稱作濾波器。訓練過程中，濾波器在全圖按照卷積順序進行移動，計算輸入和濾波器的乘積，得到該濾波器的特徵圖。CNN的另一個結構是池化層，將輸入劃分成不重疊的區域，然後用每個區域的最大值作為輸出。CNN的最後一個結構是ReLU啟用函式層，既可以縮短訓練時間，也能避免影響網路的泛化能力。

CNN和DNN的主要區別在於CNN具有區域性相連、權值共享的特性，因此在視覺任務中具有獨特的優越性，並且降低了網路的複雜性。

2)迴圈神經網路(Recurrent Neural Networks，RNN)

迴圈神經網路結構圖

RNN主要適用於輸入為序列(例如語音和文字)或時間序列的資料(感測器資料)。RNN的輸入既包括當前樣例，也包括之前觀察的樣例。也就是說，時間為t-1時RNN的輸出會影響時間為t的輸出。RNN的每個神經元都有一個反饋環，將當前的輸出作為下一步的輸入。該結構可以解釋為RNN的每個神經元都有一個內部儲存，保留了用之前輸入進行計算得到的資訊。

3)長短時記憶(Long Short Term Memory，LSTM)

LSTM記憶單元結構

LSTM是RNN的一種擴充套件。LSTM中，每個神經元除了有反饋環這一儲存資訊的機制，還有用於控制神經元資訊通過的“遺忘門”、“輸入層門”及“輸出層門”，防止不相關的資訊造成的擾動。

4)自動編碼器(Autoencoders，AE)

自編碼器網路結構

AE的輸入層和輸出層由一個或多個隱層相連線，其輸入和輸出神經元數量相同。該網路的目標是通過用最簡單的方式將輸入變換到輸出，以重建輸入資訊。

5)變分自動編碼器(Variational Autoencoders，VAE)

變分自動編碼器結構

VAE對資料結構的假設並不強，是較為流行的生成模型框架。它很適用於IoT解決方案，因為IoT資料呈現的多樣性，以及標記資料的缺失。模型由兩個子網路組成：一個生成樣例，一個進行假設推理。

6)生成對抗網路(Generative Adversarial Networks，GAN)

生成對抗網路概念圖

GAN由兩個神經網路組成，一個生成網路，一個判別網路，共同工作來產生合成的、高質量資料。生成器根據資料在訓練資料集中的分佈生成新資料，判別器學習判別真實資料和生成器生成的假資料。GAN的目標函式是基於極大極小博弈的，一個網路要最大化目標函式，而另一個要最小化目標函式。

7)受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)

受限玻爾茲曼機結構

RBM是一種隨機神經網路，由兩層組成，一層是包含輸入的可見層，一層是含有隱變數的隱藏層。RBM中的限制是指同一層的任意兩個神經元互不相連。除此之外，偏置單元與所有的可見層和隱藏層單元都相連。

8)深度信念網路(Deep Belief Network，DBN)

深度信念網路結構圖

虛線表示特徵提取通道，實現表示生成通道。DBN是一種生成神經網路，由一個可見層可幾個隱層組成。可以提取訓練資料的多層表示，並且對輸入資料進行重構。DBN的訓練過程是逐層訓練，將每一層視作一個RBM，在前一層的基礎上進行訓練。這樣的機制使DBN成為深度學習中有效且快速的網路之一。

9)階梯網路(Ladder Network)

兩層階梯網路

階梯網路在無監督和半監督學習任務中達到了先進的水平。階梯網路由兩個編碼器和一個解碼器組成。編碼器作為網路的有監督部分，解碼器進行無監督學習。訓練目標是最小化有監督部分和無監督網路的損失和。

使用深度學習模型對資料流進行快速實時的處理仍在起步階段。

早期工作：

【1】是對超限學習機（Extreme learning machine，ELM）的擴充套件——OS-ELM，將一個實時序列學習演算法應用到單隱層的前饋神經網路。

【2】Ren等人提出的Faster-RCNN在圖片中的目標檢測中達到了接近實時的速度。他們的目標檢測框架的執行時間為5-17fps。然而對於影像處理任務，真正的實時效果需要系統的處理和分析時間達到30fps或更高。

【3】Redmon等人提出了YOLO，將目標檢測的速度提高到45fps，以及更小版本的YOLO，速度更是達到了155fps，已經適用於智慧相機。

1）深度增強學習（Deep Reinforcement Learning）

深度增強學習是將增強學習和深度神經網路相結合的產物。其目標是建立能自主學習的個體（agent），通過建立成功的互動過程以獲得長期的最大正反饋（reward）。

當環境（environment）可由大量狀態表示時，傳統的增強學習方法稍顯不足，而深度神經網路則彌補了這一點。在IoT領域，【4】使用深度增強學習實現了半監督條件下智慧校園環境中的定位。

2）遷移學習與深度模型（Transfer Learning with Deep Models）

遷移學習主要應用在域適應和多工學習的領域。遷移學習對於許多難以收集訓練資料的IoT應用來說都是一個可用的解決方案。

例如訓練一個通過智慧手機的低功耗藍芽和Wifi fingerpringting的定位系統，同一時間，在同一地點的RSSI值（Received Signal Strength Indication接收的訊號強度指示）對於不同的平臺來說可能不同。

如果我們對一個平臺訓練了一個模型，該模型可以遷移到其他平臺，而不需要對新平臺再收集訓練資料。

3）深度學習與線上學習演算法

由於IoT的應用產生的資料流會上傳到雲平臺來分析，線上機器學習演算法的角色變得越來越重要，因為訓練模型需要隨資料的增加而更新。

近幾年，隨著深度學習在各個領域的應用熱潮，各種深度學習框架也應運而生。

Tensorflow： Tensorflow是機器學習系統的開源庫，可以使用多種深度神經網路。

Tensorflow使用圖表示來建立神經網路模型。開發人員也在使用TensorBoard，能視覺化神經網路模型，並且觀測學習過程，包括引數更新。

Torch： Torch是一個機器學習開源框架，包含大量深度學習演算法，可用於深度神經網路模型的簡單開發。它基於Lua語言開發，是訓練深度學習演算法的輕量級快速框架。支援在CPU和GPU上開發機器學習模型，並且提供了訓練深度神經網路的平行計算庫。

Caffe： Caffe是一個深度學習演算法和參考模型集的開源框架。基於C++，支援CUDA進行GPU運算，並且提供Python和Matlab介面。Caffe通過配置檔案定義模型，而不需要在原始碼中定義引數，將模型表示和實現分開。

深度學習框架對比

IoT應用和基礎服務。

1）影像識別：

IoT的一大部分應用場景中，輸入深度學習的資料是圖片或視訊。每天，每個人都在用手機的高清攝像頭拍攝者圖片和視訊，除此之外，家居、校園或工廠也在使用智慧攝像頭。所以，影像識別、分類、目標檢測是這類裝置的基礎應用。

2）語音識別

隨著智慧手機和可穿戴裝置的普及，語音識別也成了人們和自己的裝置互動的一種自然而方便的方式。Price等人【5】搭建了一個專用的低功耗深度學習晶片，用於自動語音識別。這種特製晶片的能量消耗要比目前手機上執行的語音識別工具的能量消耗低100倍。

3）室內定位

室內定位在IoT領域有許多應用，例如智慧家居、智慧校園、或智慧醫院。例如DeepFi系統，線上下訓練階段，通過深度學習用之前儲存的WiFi通道狀態資訊資料來訓練網路權重，線上上定位階段通過fingerpringting來測定使用者位置。

4）生理和心理狀態檢測

IoT與深度學習的結合也應用在了檢測各種生理或心理狀態中，例如姿態、活動和情緒。許多IoT應用都在交付的服務中整合了人體姿態估計或活動識別模組，例如智慧家居、智慧汽車、XBox、健康、運動等等。

5）安全和隱私

安全和隱私是所有IoT領域應用所關注的一個重要問題。事實上，系統功能的有效性取決於是否能保護機器學習工具和處理過程不受攻擊。虛假資料注入（False Data Injection，FDI）是資料驅動系統的一種常見攻擊型別。

He等人【6】提出用條件DBN從歷史資料中提取FDI特徵，然後利用這些特徵進行實時攻擊檢測。作為物聯網資料和應用程式的一大貢獻者，智慧手機也面臨著黑客攻擊的威脅。

Yuan等人【7】提出用深度學習框架來鑑別安卓應用中的惡意軟體，準確率達到了96.5%。深度機器學習方法的安全性和隱私保護是能否在IoT領域應用的最重要因素。

Shokri等人【8】提出了一種解決分散式學習的深度學習模型隱私保護問題的方法。

1）智慧家居：

智慧家居的概念涉及廣泛的基於IoT的應用，它有助於提高家庭的能源使用和效率，以及居住者的便利性、生產力和生活質量。如今，家電可以與網際網路連線，提供智慧服務。例如微軟和 Liebherr的一個合作專案，對從冰箱內收集的資訊應用了Cortana 深度學習。這些分析和預測可以幫助家庭更好地控制他們的家庭用品和開支，並結合其他外部資料，可用於監測和預測健康趨勢。

2）智慧城市：

智慧城市服務跨越多個物聯網領域，如交通、能源、農業等。智慧城市的一個重要問題是預測群體移動模式，Song等人【9】開發了基於深度神經網路模型的系統，在城市級別實現了這一目標。Liang等人【10】基於RNN模型搭建了實時群體密度預測系統，利用移動手機使用者的通訊資料對交通站的群體密度進行預測。廢物管理和垃圾分類也是智慧城市的一個相關任務，可以通過基於視覺分類任務的CNN模型來實現自動化。Amato等人【11】基於智慧相機和深度CNN開發了檢測停車場的使用中和空閒車位的系統。

3）能源：

消費者與智慧電網之間的雙向通訊是IoT大資料的來源。能源供應商希望學習當地的能源消費模式、預測需求，並根據實時分析做出適當的決定。在智慧電網方面，從太陽能、風能或其他型別的自然可持續能源中預測電力是一個活躍的研究領域，深度學習在這一領域的許多應用中越來越多地被使用。

4）智慧交通系統：

來自智慧交通系統（ITS）的資料是大資料的另一個資料來源。Ma等人【12】採用RBM和RNN結構設計了一個交通網路分析系統，模型輸入是參與該系統的計程車GPS資料。該系統通過一小時內的累積資料預測交通擁堵的準確率高達88%。ITS也帶動了交通標誌檢測和識別的發展，這一技術在自動駕駛、輔助駕駛系統中都有很重要的應用。除此之外，許多初創公司應用深度學習來完善自動駕駛汽車系統的檢測行人、交通標誌、路障等任務。

5）醫療和健康：

IoT結合深度學習也在為個人和組織提供醫療和健康方案中得到應用。例如，開發基於移動應用程式的精確測量飲食攝入量的解決方案，可以幫助提升個人健康和幸福感。Liu等人【13】採用CNN開發了識別食物圖片和相關資訊的系統。用深度學習對醫學圖片進行分類和分析是醫療領域的研究熱點。Pereira等人【14】通過CNN識別手寫圖片來鑑定早期帕金森症。除此之外，深度學習與IoT的結合在聲音異常檢測、乳腺血管疾病檢測中也得到了應用

6）農業：

生產健康作物和發展有效的種植方式是健康社會和可持續環境的要求。使用深度神經網路進行植物病害識別是一個可行的解決方案。深度學習也被用於遙感，進行土地和作物的檢測與分類。研究顯示，使用CNN進行作物識別準確率達到了85%，相比於MLP或隨機森林有很大提高。自動耕作中的預測和檢測任務也應用了深度學習。

7）教育：

IoT和深度學習的結合有助於提高教育系統的效率。移動裝置可以收集學生的資料，深度分析方法可以用來預測和解釋學生的進步和成就。擴增實境技術結合可穿戴裝置和移動裝置也是深度學習在這一領域的潛在應用，激發學生的興趣，讓教育學習方法更有效。此外，深度學習可以用於個性化推薦模組，向教育者推薦更多相關內容。利用深度學習對大型開放式網路課程資料（MOOC）進行分析，可以幫助學生更好的學習。除此之外，利用CNN監測教室佔用率是深度學習在教育方面的另一個應用。

8）工業：

對於工業部門來說，IoT和網路物理系統（CPS）是推動製造技術邁向智慧製造（工業4.0）的核心要素。工業中的廣泛應用均可以受益於深度學習模型的引入。通過將裝配線中生產車輛的影像及其註釋都輸入深度學習系統，可以利用AlexNet、GoogLeNet等網路實現視覺檢測。

9）政府：

許多涉及市政的各種任務需要精確的分析和預測。【15】利用美國地質調查局網路的歷史資料訓練LSTM網路，可進行地震預測。【16】利用極端氣候的圖片訓練CNN，進行極端氣候事件探測。此外，城市的基礎設施，如道路、供水管道等的損害檢測，是IoT和深度學習可以為政府提供便利的另一個領域。

10）運動和娛樂：

運動分析近年來發展迅速，為團隊或運動員帶來了競爭優勢。【17】提出了深度學習方法打造智慧籃球場。【18】採用RNN識別NBA比賽中的球員違規。【19】結合了可穿戴裝置感測資料和CNN進行排球運動員活動識別。【20】採用層級結構的LSTM模型研究排球隊的整體活動。

11）零售：

隨著移動裝置的普及，網上購物的人數大大增加了。最近出現了通過視覺搜尋技術向產品影像檢索的轉變。CNN一直用於服裝和時尚市場的視覺搜尋，幫助你在網店中找到在電影中看到的或在街上看到的商品。IoT結合深度學習可以搭建視覺購物輔助系統，包括智慧眼鏡、手套和購物車，目的是幫助視障人士購物。此外，智慧購物車的開發可以實現實時自結賬的功能。

深度學習在語音和視訊方面的成功為IoT的基礎服務打下了良好的基礎，如何將它們的模型和方法部署在資源受限的裝置上成了IoT領域的一個重要研究方向。到目前為止，深度學習方法難以應用於IoT和資源受限裝置，因為它們需要大量的資源來執行，如處理器、電池能量和儲存器。

幸運的是，近期研究顯示，深度神經網路的許多引數是冗餘的，有時也不需要大量的隱層。有效的去除這些引數或層可以減少網路的複雜度，同時對輸出不會有太大的影響。

1）網路壓縮

在資源受限裝置上應用深度神經網路的方法之一是網路壓縮，將密集的網路轉化為一個稀疏的網路。主要侷限性在於，它不足以支援所有型別的網路。它只適用於具有這種稀疏性的特定網路模型。另外，修剪多餘的和不重要的引數或神經元，是在資源受限的裝置上執行深度神經網路的另一個重要途徑。

深度神經網路剪枝整體概念圖

2）近似計算：

近似計算是實現在IoT裝置上部署機器學習工具的另一種方法，並有助於主機裝置的節能。在許多IoT應用中，機器學習的輸出不一定是精確的，而是在可接受的範圍內提供所需的質量。實際上，將深度學習模型與近似計算相結合，可以為資源受限裝置提供更有效的深度學習模型。

3）加速器：

設計特定的硬體和電路來優化IoT裝置中深度學習模型的能量效率和記憶體佔用是另一個活躍的研究方向。目前已有工作為DNN和CNN設計加速器，並且應用Post-CMOS技術進行電子自旋加速。

4）微處理器：

除了之前所提方法，開發具有強深度學習能力的小尺寸處理器也是研究熱點。微處理器的設計尺寸在一立方毫米的範圍內，可以用電池驅動，進行深度神經網路分析只消耗大約300毫瓦。通過這種技術，許多對時間要求較高的IoT應用程式可以在裝置上執行決策，而不是將資料傳送到高效能運算機，等待它們的響應。

最近，人們提出了霧計算，使計算和分析更接近終端使用者和裝置，而不是僅僅停留在雲端計算上。實驗表明，通過對霧計算節點進行資料分析，可以避免向遙遠的雲節點傳輸大量原始資料，從而提高整體效能。還可以在一定程度上進行實時分析，因為霧計算在本地，靠近資料來源。

一些用於在霧或雲上使用深度學習和服務的IoT領域的產品

儘管在霧計算架構上引入了深度學習分析，雲端計算仍然是許多無法在霧計算中處理的IoT應用的唯一可行的解決方案。因此，設計的可擴充套件的和高效能的雲中心的DNN模型和演算法，對大量的IoT資料進行分析，仍然是一個重要的研究領域。

除了在雲平臺上託管可擴充套件的深度學習模型基礎設施的進步，還需要研究使深度學習模型通過API訪問的機制和方法，以便容易地整合到IoT應用程式中。

在雲平臺中作為服務的深度學習模型

在霧計算節點上進行深度學習分析時，也會面臨一些挑戰：

深度學習服務發現：裝置需要通過深度學習分析的某種擴充套件服務發現協議，來識別適當的分析提供者的來源。

深度學習模型和任務分佈：在霧節點之間劃分深度學習模型和任務的執行，以及在可用節點之間優化資料流分配，對於時間敏感的應用程式是至關重要的。

設計因素：研究如何霧計算環境的設計因素，以及在這種環境中部署深度學習模型如何影響分析服務的質量是很有必要的。

移動端：在設計終端輔助的深度學習分析系統時，需要考慮移動端計算環境的動態性，因為移動裝置可能會加入或離開系統。

1）缺少大型IoT資料集：

缺乏可用的實際IoT應用大資料集將深度學習模型引入IoT的一個主要障礙，因為深度學習需要更多的資料來實現更高的精度。此外，更多的資料也可以防止模型過度擬合。

2）預處理：

許多深度學習方法需要對資料進行預處理以產生更好的結果，對於IoT應用，預處理會更復雜，因為系統處理的是來自不同資料來源的資料，可能有多種格式和分佈，而且還可能有資料丟失。

3）安全和隱私：

確保資料安全和隱私是許多IoT應用的一個主要問題，因為IoT大資料將通過網際網路進行分析，因此世界各地都有可能看得到。此外，深度學習訓練模型也容易受到惡意攻擊，如虛假資料注入或對抗性樣本輸入，其中IoT系統的許多功能或非功能性要求可能無法得到保證。

4）IoT大資料”6V“特性：

Volume（資料量）對於深度學習模型的時間消耗和結構複雜性提出了很大的挑戰。並且資料量巨大也帶來了包括噪聲和未標註資料的挑戰。

Variety（多樣性）帶來了管理不同資料來源之間衝突的挑戰。在資料來源沒有衝突的情況下，深度學習能夠有效處理異質資料。

Velocity（速率）帶來了高速處理和分析資料的要求，增強深度學習的線上學習和序列學習的技術仍需進一步研究。

Veracity（可信度），當輸入資料不是來自可信的資料來源時，IoT的大資料分析則是無用的。

Variability（可變性），IoT大資料的流速可變性對線上分析提出了挑戰。

Value（價值），企業經理採用大資料的一個主要挑戰是，他們不清楚如何使用大資料分析來獲得價值，並改善他們的業務。

5）IoT裝置上的深度學習：

在IoT裝置上開發深度學習是一個新的挑戰，要考慮在資源受限的裝置上處理深度神經網路的需求。

6）深度學習侷限：

儘管深度學習模型在許多應用中顯示出令人印象深刻的結果，它仍然有侷限性。研究發現，深度網路會將無法識別的圖片分類到熟悉的種類中。並且深度神經網路的迴歸能力有待增強。

1）IoT移動資料：

IoT資料的一大部分來自移動裝置。研究利用移動大資料與深度學習方法相結合的有效方式，可以為IoT提供更好的服務，特別是在智慧城市場景中。

2）結合環境資訊：

單靠IoT的 感測資料不能理解環境的情況。因此，IoT資料需要與其他資料來源融合，即環境資訊，以補充對環境的理解。

3）IoT分析的線上資源供應：

基於霧和雲端計算的深度學習快速資料分析部署需要線上配置霧或雲資源來承載資料流。由於IoT資料的流特性，無法提前知道資料序列的容量。因此，我們需要一種新的基於當前資料流的演算法，並且不依賴於資料流的先驗知識。

4）半監督分析框架：

為半監督學習而設計的先進的機器學習演算法非常適合於智慧城市系統，可以使用少量的訓練資料集訓練模型，然後使用大量未標記資料來提高模型的準確性。

5）可靠的IoT分析：

深度學習方法可以通過分析大量的資訊物理系統（CPS）和IoT系統的日誌，以識別和預測可能受到攻擊的系統的薄弱點。這將有助於系統防止或從故障中恢復，從而提高CPS和IoT系統的可靠性水平。

6）自組織通訊網路：

由於IoT裝置的數量龐大，配置和維護他們的基本物理M2M通訊和網路變得越來越難。雖然大量的網路節點及其相互關係對傳統的機器學習方法是一個挑戰，但它為深度學習體系結構提供了一個機會，通過提供自配置、自優化、自修復和自負載平衡等一系列的自我服務足以證明它們在這一領域的能力。

7）新興IoT應用：

無人機：無人機被用於許多實時影像分析任務，如監視、搜尋和救援行動，以及基礎設施檢查。這些裝置的採用面臨包括路由、節約能源、避免私人區域和避障等挑戰。深度學習對於該領域的預測和決策任務有很大的影響，可以推動無人機達到最佳效能。

虛擬/擴增實境：虛擬/擴增實境是受益於IoT和深度學習的另一個應用領域。擴增實境可以用於提供諸如目標跟蹤、行為識別、影像分類和物件識別這樣的服務。擴增實境可以極大地影響如教育，博物館，智慧車等幾大領域。

深度學習和IoT近年來受到研究人員和商業領域的廣泛關注，這兩項技術對我們的生活、城市和世界都產生了積極的影響。IoT和深度學習構成了一個資料生產者-消費者鏈，其中IoT生成由深度學習模型分析的原始資料，深度學習模型產生高層次的分析，反饋給IoT系統，以微調和改進服務。

檢視論文原文：Deep Learning for IoT Big Data and Streaming Analytics: A Survey

參考文獻

【1】N.-Y. Liang, G.-B. Huang, P. Saratchandran, and N. Sundararajan, “A fast and accurate online sequential learning algorithm for feedforward networks,” IEEE Transactions on neural networks, vol. 17, no. 6, pp. 1411–1423, 2006.

【2】S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards realtime object detection with region proposal networks,” IEEE transactions on pattern analysis and machine intelligence, vol. 39, no. 6, pp. 1137–1149, 2017.

【3】J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 779–788.

【4】M. Mohammadi, A. Al-Fuqaha, M. Guizani, and J.-S. Oh, “Semisupervised deep reinforcement learning in support of IoT and smart city services,” IEEE Internet of Things Journal, vol. PP, no. 99, pp. 1–12, 2017.

【5】M. Price, J. Glass, and A. Chandrakasan, “A scalable speech recognizer with deep-neural-network acoustic models and voice-activated power gating,” in Proceedings of the IEEE ISSCC2017, 2017.

【6】Y. He, G. J. Mendis, and J. Wei, “Real-time detection of false data injection attacks in smart grid: A deep learning-based intelligent mechanism,” IEEE Transactions on Smart Grid, 2017.

【7】 Z. Yuan, Y. Lu, Z. Wang, and Y. Xue, “Droid-sec: deep learning in android malware detection,” in ACM SIGCOMM Computer Communication Review, vol. 44, no. 4. ACM, 2014, pp. 371–372.

【8】R. Shokri and V. Shmatikov, “Privacy-preserving deep learning,” in Proceedings of the 22nd ACM SIGSAC conference on computer and communications security. ACM, 2015, pp. 1310–1321.

【9】X. Song, H. Kanasugi, and R. Shibasaki, “Deeptransport: Prediction and simulation of human mobility and transportation mode at a citywide level.” IJCAI, 2016.

【10】V. C. Liang, R. T. Ma, W. S. Ng, L. Wang, M. Winslett, H. Wu, S. Ying, and Z. Zhang, “Mercury: Metro density prediction with recurrent neural network on streaming cdr data,” in Data Engineering (ICDE), 2016 IEEE 32nd International Conference on. IEEE, 2016, pp. 1374–1377.

【11】G. Amato, F. Carrara, F. Falchi, C. Gennaro, C. Meghini, and C. Vairo, “Deep learning for decentralized parking lot occupancy detection,” Expert Systems with Applications, 2017.

【12】X. Ma, H. Yu, Y. Wang, and Y. Wang, “Large-scale transportation network congestion evolution prediction using deep learning theory,” PloS one, vol. 10, no. 3, p. e0119044, 2015.

【13】C. Liu, Y. Cao, Y. Luo, G. Chen, V. Vokkarane, and Y. Ma, “Deepfood: Deep learning-based food image recognition for computer-aided dietary assessment,” in International Conference on Smart Homes and Health Telematics. Springer, 2016, pp. 37–48.

【14】C. R. Pereira, D. R. Pereira, J. P. Papa, G. H. Rosa, and X.-S. Yang, “Convolutional neural networks applied for parkinson’s disease identification,” in Machine Learning for Health Informatics. Springer, 2016, pp. 377–390.

【15】Q. Wang, Y. Guo, L. Yu, and P. Li, “Earthquake prediction based on spatio-temporal data mining: An lstm network approach,” IEEE Transactions on Emerging Topics in Computing, 2017.

【16】Y. Liu, E. Racah, J. Correa, A. Khosrowshahi, D. Lavers, K. Kunkel, M. Wehner, and W. Collins, “Application of deep convolutional neural networks for detecting extreme weather in climate datasets,” Int’l Conf. on Advances in Big Data Analytics, 2016.

【17】W. Liu, J. Liu, X. Gu, K. Liu, X. Dai, and H. Ma, “Deep learning based intelligent basketball arena with energy image,” in International Conference on Multimedia Modeling. Springer, 2017, pp. 601–613.

【18】K.-C. Wang and R. Zemel, “classifying nba offensive plays using neural networks,” in Proc. MIT SLOAN Sports Analytics Conf, 2016.

【19】T. Kautz, B. H. Groh, J. Hannink, U. Jensen, H. Strubberg, and B. M. Eskofier, “Activity recognition in beach volleyball using a deep convolutional neural network,” Data Mining and Knowledge Discovery, pp. 1–28, 2017.

【20】M. S. Ibrahim, S. Muralidharan, Z. Deng, A. Vahdat, and G. Mori, “A hierarchical deep temporal model for group activity recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1971–1980.

本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

版權宣告：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：erp_vip@hotmail.com