物聯網時代應該採用什麼樣大資料策略

大資料平臺 大資料中心 網路大資料（）
　　網際網路時代，PC、Pad、智慧手機等裝置無處不在，數以億計的使用者透過微博、微信、SNS、部落格等途徑產生大量的自媒體資料，電商、新聞類網站、搜尋引擎每時每刻都在記錄著豐富的使用者行為資訊，海量的資料促進了雲端計算，分散式技術的發展，而這些技術反過來不僅推動了Web和移動網際網路的革新，也推動了物聯網的飛速前進。現在，我們正逐漸邁入物聯網時代，實現萬物互聯的願景，如果說之前人是資訊生產的主體，那麼或許不久的將來裝置將成為主角，它們將源源不斷地產生與人相關的衣食住行資訊，這些資訊會透過雲端計算、資料探勘等技術實現價值的昇華從而為使用者提供更優質、貼心的服務。那麼物聯網時代會產生什麼樣的資料，應該採用什麼樣的大資料策略呢?

　　THINKstrategies 的總經理 Jeff Kaplan 在自己的博文《 當物聯網遇見大資料 》中寫道：

　　“你不能使用現在的策略，因為可以被捕獲、管理並利用的資料將更加多樣化，同時用例也會更加豐富。附加到各種裝置和物件上的感測器會產生各種型別的資料。這些資料將會用於各種響應式的、主動的或者 創造性的目的 。IT部門的任務就是與業務部門一起工作，完全理解物聯網方面的用例，然後尋找滿足業務需求的技術。特別是，IT部門必須識別出最優的分析平臺和工具，讓業務使用者能夠獲取到需要的資料，分析資料的含義並快速地做出響應。”

　　Gartner公司的副總裁、著名分析師 Joe Skorupa 認為：

　　“分佈在世界各地的物聯網裝置將產生大量的輸入資料，將所有的資料傳送到一個位置進行處理無論從技術上還是從經濟上都是無法實現的。最近的趨勢 ——將應用程式集中起來以便於降低成本並增強安全性——並不適合物聯網。組織必須將資料集中到多個分散式的小型資料中心中，在此對資料進行初步的處理併傳送到一箇中心站點進行額外的處理。資料中心管理員需要在這些區域部署更加具有前瞻性的容量以滿足業務發展的需要。”

　　Patrick McFadin則在自己的博文《 物聯網：資料都去了哪裡? 》中闡述了一個具體的資料策略解決方案。他認為整個過程可以分為三個階段：產生資料並透過Internet傳遞、中央系統收集並組織資料、持續的資料分析與使用。

　　第一階段需要決定資料建立的標準以及如何透過網路進行傳遞。Patrick McFadin認為可以透過HTTP、MQTT和CoAP三種常用的標準協議傳遞資料。HTTP通用程度高，但是它的頭中包含大量冗餘資訊，不太適合頻寬比較低的場景。MQTT基於釋出/訂閱模型，新的裝置或者服務能夠非常容易地連到中央系統上消費訊息。另外，它在訊息大小上比HTTP更輕量，但是缺點是不包含加密標準。CoAP適合於低功耗、低頻寬的場景，與MQTT的訂閱模式相比它更側重於一對一的連線。

　　第二階段則需要根據裝置、網路以及功耗的限制決定是實時地收集資料還是在某個時間批次收集，同時還需要決定如何儲存資料。如果是實時收集，那麼必須要考慮資料庫的寫入速度，這對於傳統的資料庫而言可能是一個挑戰，但是像 Cassandra 這樣的NoSQL資料庫卻能夠輕鬆應對。

　　一旦完成了資料的收集與儲存，接下來就是分析了，這才是整個過程最核心的部分。此時需要考慮需要何時使用分析結果，是否需要立即或近乎實時的分析，還是僅僅需要對歷史資料進行處理。越來越多的人在使用Apache Spark分析大資料，使用Spark Streaming滿足近乎實時的要求，如果將這些技術與Cassandra這樣的NoSQL資料庫結合在一起使用，那麼開發者就能夠處理並分析大規模、快速移動的資料集。

　　那麼是不是所有的物聯網廠商都需要自己去構建相關的資料解決方案呢?也不盡然，在雲端計算的時代大可以利用雲服務提供商的資源，以降低相關的成本，對小公司或初創公司更是如此。

　　Mike Kavis最近在自己的博文《 物聯網將徹底改變你的大資料策略 》中闡述了自己的方案，他認為：

　　“在物聯網時代，面對PB級的資料，企業將難以以一己之力完成基礎設施的建設。物聯網所產生的大量資料不僅會驅動現在的資料中心發生根本性的變化，同時也會驅動相關企業採用新的大資料策略。由於缺乏相關技能以及持續增長的資料對基礎設施採購的需求，企業將逐步放棄DIY模式，轉而使用PaaS和託管的解決方案，藉助於資料庫即服務(例如Amazon的Redshift、Hortonworks和Cloudera的企業級Hadoop)、託管的大資料服務(例如Treasure Data)以及矩陣式的資料中心服務(例如GoGrid)實現自己的物聯網資料分析方案。

　　總之，物聯網的價值在於資料。企業對資料的分析工作啟動地越快，挖掘出的業務價值就越多。而云服務提供商的目的就是透過加大相關的投入，消除資料收集、管理的風險以及複雜性，讓客戶能夠專注於分析。”