Intuit公司負責資料工程的副總裁Bill Loconzolo已兩腳踏入了資料湖。而Smarter Remarketer的首席資料科學家Dean Abbott也徑直走進了雲中。當我們說到大資料和分析的前沿時，它既包括資料湖(以原生格式儲存海量資料)，當然也包括雲端計算。儘管這些技術選項距離成熟還很遠，但我們肯定不能選擇一味的等待和觀望。

“現實情況雖然是，各種大資料工具在不斷湧現，但Hadoop平臺的前途尚未達到讓企業能夠依賴的程度，”Loconzolo說。然而大資料和分析技術演變得如此之快，企業必須做出抉擇，要麼涉足其中，要麼就得冒落後的風險。“在過去，新興技術可能需要幾年時間才能成熟。而現在，解決方案的迭代和升級只需要幾個月，甚至幾周時間。”那麼，在你的觀察名單或者實驗室裡，最重要的新興技術和趨勢是什麼呢?當我們用這樣的問題去問很多IT高管、諮詢師和行業分析師時，得到了如下的答案。

　1、雲中的大資料分析

Hadoop框架和一組工具可用於處理非常大的資料集，它最初是為了物理機叢集而設計的。但現在情況有了變化。Forrest分析師Brian Hopkins說：“如今已有很多技術可用於處理雲中的資料。”例項包括亞馬遜Redshift所託管的BI資料倉儲、谷歌BigQuery資料分析服務、IBM Bluemix雲平臺，以及亞馬遜Kinesis資料處理服務等。“大資料的未來狀態將是企業端和雲端的某種混合態。”

從事零售業分析與營銷服務的SaaS廠商Smarter Remarketer最近已從其內部的Hadoop和MongoDB資料庫基礎架構轉移到了亞馬遜Redshift雲資料倉儲上。該公司主要收集線上和線下的零售銷售資料、消費者統計資料及實時行為資料，然後對其作分析，幫助零售商建立有針對性的訊息傳送，以便吸引顧客的響應(某些情況下可能是實時的響應)。

Abbortt稱，Redshift對於Smarter Remarketer的資料需求來說，更具成本效益，特別是其針對結構化資料的範圍廣泛的報表功能。作為一種託管服務，Redshift既可擴充套件，使用起來也相對簡單。“它在虛擬機器上的擴充套件成本要比購買由我們自己管理的物理機便宜不少。”

Intuit也開始謹慎地在向雲分析轉移，因為它需要一個安全、穩定和可審計的環境。這家財務軟體公司一方面計劃在自己私有的Intuit分析雲中保留一切資源，另一方面“又在與亞馬遜和Cloudera合作，計劃構建一個公私混合的、高度可用而且安全的分析雲，”Loconzolo說。對於像Intuit這樣銷售在雲中執行的產品廠商來說，向雲的遷移是不可避免的。“一旦在企業端分析資料的成本高到無法承受時，就只能把所有的資料遷到雲中去。”

　2、Hadoop：新的企業資料作業系統

Hopkins認為，各種分散式分析框架，如MapReduce，正在演變為分散式資源管理器，它們會逐漸地將Hadoop轉變為一種通用的資料作業系統。有了Hadoop這樣的分散式檔案儲存系統，“你就能執行很多不同的資料操控和分析任務。”

這種變化對企業來說意義何在呢?和SQL一樣，MapReduce、記憶體計算、流處理、圖形分析和其他型別的工作負載都能夠以適當的效能在Hadoop上執行，越來越多的企業會把Hadoop當作企業資料集中庫來使用。“這樣的能力，即針對Hadoop上的資料執行多種不同型別查詢和操控的能力，將使其成為一種低成本的通用平臺，企業想要分析的任何資料都可以放在其上進行分析。”Hopkins說。

Intuit已經開始在構建自己的Hadoop基礎。“我們的戰略是利用MapReduce和Hadoop，構造Hadoop分散式檔案系統，長期目標是讓人和產品之間所有型別的互動得以產生，”Loconzolo說。

3、大資料湖

傳統的資料庫理論會告訴你，在進入任何資料之前，首先得設計好資料集。而資料湖，也稱企業資料湖或企業資料集中庫，可能會徹底改變傳統模式，普華永道美國諮詢業務負責人兼首席技術專家Chris Curran說。“也就是說，我們會將各種資料資源傾倒進一個大的Hadoop倉庫中去，而不會事先設計什么資料模型。”相反地，我們會提供各種工具，再配上對資料湖中現存資料的頂層定義，供人們去分析資料。“這樣，人們就可隨著對資料湖的逐步深入而構建起自己的資料檢視。這正是構建一個大規模資料庫的增量化的、有機的模型。”Curran說。不過，這種方法也存在不足，那就是對資料分析人員的技術要求較高。

Loconzolo說，作為Intuit分析雲的一個組成部分，Intuit也有一個資料湖，包括使用者的點選流資料、企業資料和第三方資料，但重點是圍繞資料湖對工具進行所謂的“民主化”，讓商業人士都能有效地使用它。Loconzolo說，在Hadoop裡構建一個資料湖，他的一個擔心是Hadoop平臺並未真正實現企業就緒。“我們希望它具備數十年來傳統企業資料庫所具備的所有功能——監控訪問控制、資料加密、保護資料，並可跟蹤資料從源到目標的傳遞路徑。”

　4、更有預測性的分析

有了大資料，分析師們不僅有了更多的資料可用，而且具備了處理大量多屬性記錄的能力，Hopkins說。傳統的機器學習使用的是對全體資料集某個樣本所作的統計分析。“而現在，我們已經可以處理海量的記錄，以及對每條記錄的海量屬性進行處理，”從而提高了預測能力，他說。

大資料與計算能力相互結合，還能讓分析師們去研究新的行為資料，例如消費者所訪問的網站或位置資訊等。Hopkins稱之為“稀疏資料”，因為要想找出真正有興趣的東西，就必須在大量看似無關緊要的資料裡去淘金。“針對這種型別的資料，試圖採用傳統的機器學習演算法，這在計算上就是行不通的。現在，我們可以把更便宜的計算能力賦予Hadoop平臺。你只需要去解決問題，而完全不必再去考慮速度和記憶體是否會有問題了。”Abbott說。“如今，遇到問題時，我們可以利用強大的計算資源，找出哪些變數可以進行最佳分析。這確實是一個遊戲規則改變者。”

“如何用Hadoop核心來實現實時分析以及預測建模，這才是我們真正感興趣的所在，”Loconzolo說。但在這方面來說，速度一直是個問題。相較於一些已成熟的技術，採用Hadoop來獲得問題答案的時間要長出20倍左右。所以Intuit開始測試大規模資料處理引擎Apache Spark，及其相關的SQL查詢工具Spark SQL。“Spark具備快速的互動式查詢、圖表服務和流處理能力。它一面將資料保留在Hadoop中，又能提供足夠的效能來縮小速度上的差距。”Loconzolo說。

　5、SQL on Hadoop：更快、更好

假如你擅長程式設計，而且精通數學，就可以很容易地將資料放入Hadoop，並對其進行分析。這既是美好前景，但也是問題所在，Gartner分析師Mark Beyer說。“我得需要有個人幫我將資料納入某種格式和我所熟悉的某種語言中，才能進行分析。”這也是SQL on Hadoop能夠流行開來的緣故，因為對於早就瞭解SQL技巧的商業使用者來說，使用可支援類SQL查詢語言的工具對資料進行操控並不困難。SQL on Hadoop“為Hadoop在企業中的應用開啟了大門”，Hopkins說，因為企業無須再花高薪聘請能用Java、JavaScript和Python編寫資料指令碼的資料科學家和業務分析師了。

這些工具都不是什麼新東西。Apache Hive就可為Hadoop提供一種結構化的、類似SQL的查詢語言。還有一些商用工具，如來自Cloudera、Pivotal軟體、IBM和其他一些廠商的產品，不但可提供更好的效能，而且還能讓查詢進行的更快速。這些工具讓Hadoop能更好地適用於“迭代分析”，也就是在詢問了一個問題並得到答案後，可以在此基礎上查詢新的問題。這樣的工作傳統上是需要構建資料倉儲才能進行的，Hopkins說，SQL on Hadoop無意取代資料倉儲，至少短期內不會，“但它可為某些型別的分析提供成本更低廉的軟體和分析器具。”

　6、更多、更好的NoSQL

可取代傳統基於SQL關聯式資料庫的技術叫做NoSQL資料庫，它正迅速普及，用於一些特定的分析應用中，而其發展動力也在持續增強。Curran估計，目前市面上已出現了15到20個開源的NoSQL資料庫，每個NoSQL資料庫都各有特色。例如ArangoDB就是具有圖形功能的NoSQL產品，相比於傳統的關聯式資料庫，它可提供一種更快速、更直接的方式來分析客戶或銷售人員的關係網路。

開源的SQL資料庫“早就有了，但它們並未流行開來，因為需要專業的分析人員，”Curran說。普華永道的一個客戶在商店的貨架上放置了很多感測器，用於監控貨架上的產品多長時間會被消費者拿到手裡，消費者在某個貨架前會停留多長時間，等等。“這些感測器會產生大量的呈指數級增加的資料。一個NoSQL鍵值組合資料庫則可專門用於處理這樣的情形，而且效能高，還是輕量級的。”

　7、深度學習

所謂深度學習是基於神經網路的一組機器學習技術，雖然尚未成熟，但已表現出解決各類商業問題的潛能，Hopkins說。“深度學習……能讓電腦在大量非結構化和二進位制資料中識別出感興趣的東西，無須專門的模型或程式指令便可推演出各種邏輯關係來。”

例如，一個深度學習演算法可以檢查從維基百科上所學來的資料，自己判斷出加利福尼亞和德克薩斯是美國的行政州。“而不必對它進行模式化才能瞭解國家和州的概念，舊的機器學習和新興的深度學習方法之間存在著巨大的區別，”Hopkins說。

“大資料將採用先進的分析技術如深度學習等，處理大量型別不同的非結構化資料，以便幫助我們開始更好地瞭解資料的意義，”Hopkins說。深度學習可以識別各種不同的資料型別，例如視訊中的各種形狀、色彩和物體，就連其中有一隻貓都能識別出來，這正是谷歌在2012年開發的神經網路可以做到的事情。“這種認知參與、先進分析的理念將成為未來的一大重要趨勢。”

8、記憶體分析

使用記憶體資料庫來提速分析處理流程，已越來越流行，而且收益很大。Beyer認為，事實上，很多企業已經在採用混合事務/分析處理(HTAP)，該技術允許事務和分析處理駐留在同一個記憶體資料庫中。

儘管採用HTAP可加快分析速度，但所有的分析必須駐留在同一個資料庫內。Beyer認為，今天大多數的分析研發都是為了解決這個問題，力圖將來自很多不同系統的事務分析彙總到一個資料庫中。

最好能提前一步

圍繞大資料和分析有如此之多的新興趨勢，那麼IT組織就需要創造條件，允許分析師和資料科學家去做各種試驗。Curran說：“企業需要的則是一種可用於評估、研發原型產品，並最終可將這些技術中的一些技術整合到業務中去的方法。”

“IT管理者和實施者不能以尚未成熟為藉口，拒絕進行試驗，”Beyer說。剛開始，可以由少數人，主要是有專長的分析師和資料科學家進行試驗，然後再由一些高水平的使用者和IT部門共同決定何時可以把新的資源交付給組織的其他部門使用。IT部門不必限制分析師們投入全副精力去做試驗，相反地，他們應與分析師們合作，“只需給這些新的高效能工具安裝一個可變速的閥門就行了。”