Intuit資料工程副主管Loconzolo雙腳都已經邁進資料湖裡了。Smarter Remarketer首席資料科學家DeanAbbott也為雲技術的發展指出了捷徑。他們二人一致認為, 大資料與分析學前沿是個活動目標，這一領域包含了儲存原始資料的資料湖和雲端計算。儘管這些技術並未成熟，但等待也並非上策。
Loconzolo表示：“現實的情況是，這些工具都剛剛興起，他們構築的平臺還不足以讓企業依賴。但是，大資料和分析學等學科發展十分迅速，因此企業必須努力跟上，否則就有被甩掉的危險。”他還說：“過去，新興技術往往需要十年左右的時間才能夠成熟，但是現在大大不同了，人們幾個月甚至幾周時間就能想出解決方案。”那麼，有哪些新興技術是我們應該關注，或者說科研人員正在重點研究的呢？《電腦世界》採訪了一些IT精英、諮詢師和行業分析專家，來看看他們列出的幾大趨勢吧。
1.雲端大資料分析
Hadoop是一組有一定框架結構的工具，用來處理大型資料組。它原本用於機器群，但現在情況有所變化。Forrester Research一位分析師BrianHopkins表示，現在有越來越多的技術可以運用到雲端資料處理上來了。比如亞馬遜的BI資料庫、Google的 BigQuery資料分析服務,、IBM’sBluemix 雲平臺和亞馬遜的Kinesis資料處理服務。這位分析師還說，未來的大資料將是內部資料部署與雲端資料的結合體。
Smarter Remarketer是SaaS零售分析、市場細分和營銷服務的供應商，它最近將自己室內的Hadoop和MongoDB資料庫基礎設施轉移到了一個基於雲技術的資料庫—Amazon Redshift. 這家位於印第安納波利斯的公司收集線上和實體銷售資料、顧客資訊和實時行為資料，之後進行分析，從而幫助零售商做出針對消費者的決策，有些決策甚至是實時的。
Abbott表示，Redshift可以節省這家公司的成本，這是因為它對於結構資料擁有強大的彙總報告功能，而且它頗具規模，使用起來相對容易。用這些虛擬裝置總是要比那些實體裝置便宜一些。
相比之下，位於加州山景城的Intuit在走向雲分析的過程中就要謹慎多了，因為它需要一個安全、穩定、可控的環境。目前為止，這家金融軟體公司的資料都還在自家的資料庫—Intuit Analytics Cloud裡面。Loconzolo表示：“目前我們正跟亞馬遜還有Cloudera合作，建立一個我們幾家公司公用的能跨越虛擬、現實兩個世界的、具有高度穩定性的雲端，但是現在這個問題還沒有得到解決。”然而，可以說，對於像Intuit這種銷售雲端產品的公司來說，向雲端技術進軍是必然的。Loconzolo還說道，未來我們會發展到一個階段，那時把資料放在私有云端將是浪費的。
2. Hadoop：一個新的企業資料執行系統
Hopkins表示，向MapReduce這樣的分散式分析框架，正在逐漸演化成分散式資源管理器，這些資源管理器正逐步將Hadoop變為多用途資料執行系統。“有了這些系統，你就可以進行多種多樣的操作和分析。”
這對企業來說意味著什麼呢？SQL、MapReduce、in-memory、流水式處理、圖表分析還有其它工作都能在Hadoop上進行，越來越多的企業會把Hadoop當做企業資料中心。Hopkins還說：“在Hadoop上能進行各種各樣的資料處理工作，這樣的話，Hadoop會慢慢變成一個多用途的資料處理系統。”
Intuit已經開始在Hadoop建立自己的資料基地了。Loconzolo說：“我們的策略是利用Hadoop分散式檔案系統，因為它和MapReduce與Hadoop等聯絡十分密切，這樣的話，人與產品之間的各種互動就可以實現了。
3.大資料湖泊
美國普華永道首席技術專家Chris Curran說，傳統資料庫理論認為，人們應該先設計資料集，然後再將資料輸入進去。而“資料湖泊“，也被稱作“企業資料湖泊”或者“企業資料中心”，顛覆了這個理念。“現在，我們先收集資料，然後把它們都存入Hadoop倉庫裡，我們不必事先設計資料模型了。”這個資料湖泊不僅為人們提供了分析資料的工具，而且很明確地告訴你，這裡有什麼樣的資料。Curran還表示，運用Hadoop的過程中人們就可以增加對資料的認識。這是一個遞增的、有機的大規模資料庫。當然，這樣一來，對使用者的技術要求相應地會比較高。
Loconzolo表示，Intuit擁有自己的資料湖泊，這個資料湖裡既有使用者點選量的資料，也有企業和第三方的資料，所有這些都是Intuit分析雲端的一部分，但關鍵是要讓圍繞這個資料湖的工具能夠為人們有效利用起來。Loconzolo還說，對於在Hadoop建立資料湖，一個需要考慮的問題是，這個平臺並沒有完完全全的為企業的需求設定周全。“我們還需要傳統企業資料庫已經有了幾十年的一些功能，比如監控訪問控制、加密、安全性以及能夠從源頭到去向地追蹤資料等等。
4.更多預測分析
Hopkins表示，有了大資料，分析師們不僅有了更多的資料可以利用，也擁有了更強大的處理打量不同屬性資料的能力。
他說：“傳統的機器學習利用的資料分析是建立在一個大資料集中的一個樣本基礎上的，而現在，我們擁有了處理了大量數字記錄的能力，甚至於每條資料有多種不同屬性，我們都應對自如。”
大資料與計算功能的結合也讓分析師們能夠挖掘人們一天中的行為資料，好比他們訪問的網站或者是去過的地方。Hopkins把這些資料稱作“稀少資料（sparsedata）”，因為要想得到這些你感興趣的資料，必須過濾掉一大堆無關的資料。“要想用傳統機器演算法對抗這種資料，從計算角度來講幾乎不可能。因為計算能力是一個十分重要的問題，特別是現在傳統演算法的速度和記憶儲存能力退化很快。而現在你可以很容易知道哪些資料是最容易分析的，不得不說，賽場易主了。”
Loconzolo表示：“我們最感興趣的地方是，怎樣在同一個Hadoop核心中既能作實時分析，又能做預測模型。這裡最大的問題在於速度。Hadoop花費的時間要比現有技術長20倍，所以Intuit也在嘗試另一個大規模資料處理器Apache Spark及其配套的 Spark SQL查詢工具。Loconzolo說：“Spark具有快速查詢、製表服務和分組功能。它能在把資料保留在Hadoop內部的前提下，還將資料處理得十分出色。”
5.Hadoop的結構化查詢語言（SQR, StructuredQuery Language）：更快，更好
Gartner一位分析師表示，如果你是個不錯的編碼員或者數學家，你可以把資料丟進Hadoop，想做什麼分析就做什麼分析，這是好處，但同時這也是個問題。“儘管任何程式語言都行得通，但我需要有人把這些資料用我熟悉的形式或者語言輸入進去，這也是為什麼我們需要Hadoop的結構化查詢語言。支援與SQR類似的查詢語言的工具，讓那些懂得SQR的企業使用者們能把類似的技術運用在資料上。Hopkins認為，Hadoop的SQR開啟了企業通往Hadoop的大門，因為有了SQR，企業不需要在那些能使用Java, JavaScript 和Python高階資料和商業分析師上投資了，而這些投資在以前可是少不了的一筆開銷。
這些工具也並非最近才出現的了。Apache Hive曾經為使用者提供了一種適用於Hadoop、類似於SQR的查詢語言，但是競爭對手Cloudera、PivotalSoftware、IBM還有其他銷售商提供的產品不僅效能更好，速度也更快。這項技術也適合“迭代分析（iterative analytics）”，也就是說，分析師先問一個問題，得到回答之後再問下一個問題。而這種工作放在過去可是需要建立一個資料庫的。Hopkins說：“Hadoop的SQR並不是為了取代資料庫，最起碼短期不會，但對於某些分析來說，它讓我們知道，除了那些高成本的軟體和應用之外，還有別的選擇。”
6.不僅僅是SQR(NoSQL，NotOnly SQR)—更快，更好
Curran表示,現在我們除了基於SQR的傳統的資料庫之外，還有NoSQL，這個資料庫能用於特定目的的分析，當下十分熱門，而且估計會越來越受歡迎。他粗略估計目前大概有15-20個類似的開放資源NoSQL，每一個都獨具特色。比如ArangoDB，這是一款具備圖示分析功能的產品，能更快、更直接地分析顧客與銷售人員之間的關係網。
Curran還說，開放資源的NoSQL資料庫已經存在一段時間了，但是他們依然勢頭不減，因為人們需要它們所做的分析。一位在某個新興市場的普華永道客戶把感測器按在了店面櫃檯上，這樣就能監控到那裡到底有什麼產品，顧客會擺弄這些產品多長時間以及人們會在櫃檯前站多久。“感測器會產生大量類似指數增長的資料，NoSQL將是未來的一個發展方向，因為它可以針對特定目的進行資料分析，效能好，而且很輕巧。”
7.深度學習
Hopkins認為，作為一種基於神經網路的機械學習技術，雖然還在發展過程中，但在解決問題方面卻已經表現出巨大的潛力。“深度學習……能夠讓計算機在大量非結構化和二進位制的資料中識別出有用資訊，而且它能夠在不需要特殊模型和程式指令的前提下就剔除那些不必要的關係。”
舉個例子說明：一個深度學習的演算法通過維基百科瞭解到加利福尼亞和德克薩斯是美國的兩個州。“我們不在需要通過模式化讓程式去理解州和國家的概念，這就是原來的機械學習和新興深度學習的區別之一。”
Hopkins還說道：“大資料運用先進的分析技術，例如深度分析，來處理各種各樣的非結構文字，這些處理問題的思路和方式，我們也是現在才開始理解。”比如，深度學習可以用來識別各種各樣不同的資料，比如形狀、顏色和錄影中的物體，甚至是圖片中的貓—谷歌建立的神經網路就做到了這一點。“這項技術所昭示的認知理念、先進的分析，將是未來的一個趨勢。”
8.記憶體中分析
Beyer表示，利用記憶體中資料庫來提升分析處理速度，這種方式已經越來越廣泛，而且只要運用得當，益處也很多。事實上，很多企業現在已經在利用HTAP（hybridtransaction/analytical processing）了，這種處理方式能在同一個記憶體資料庫中進行轉換和分析處理。但Beyer同時也表示，對於HTAP的宣傳有些過頭了，很多公司也過度利用這項技術。對於那些使用者需要每天多次以同樣的方式看同樣資料的系統來說，這樣的資料沒有太大變化，這時用記憶體中分析就是一種浪費了。
雖然有了HTAP的幫助，人們分析速度更快了，但是，所有的轉換都必須儲存在同一個資料庫裡。Beyer認為，這樣的特點就產生了一個問題，分析師們目前的工作主要是把不同地方的資料彙總輸入到同一個資料庫當中去。“如果你想做任何分析都運用HTAP，所有的資料就得存在同一個地方。要把多樣化的資料進行整合。”
然而，引入記憶體資料庫的同時也意味著，還有另一個產品等著我們去管理、維護、整合與權衡。
對於Intuit而言，他們已經在使用Spark了，所以對引進記憶體資料庫的願望並沒有那麼強烈。Loconzolo說：“如果我們用Spark就能處理70%的問題，而用記憶體資料庫可以解決100%，那麼我們還會選擇前者。所以我們現在也在權衡，要不要馬上停用內部的記憶體資料系統。”
大步向前邁
在大資料和分析領域有這麼多的新興趨勢，IT組織應該創造條件，讓分析師和資料專家們大顯身手。Curran認為：“我們需要評估、整合一些技術，從而把它們運用到商業領域中去。”
Beyer則認為：“IT管理者和執行者們不能把技術不成熟作為停止試驗的藉口。”最初只有一部分專業分析師和資料專家需要試驗，然後這些比較高階的使用者和IT行業應該共同決定是否要把這些新的資源介紹給行業其他人。IT界也沒必要控制那些鼓足幹勁的分析師們，相反，Beyer認為應該與他們加強合作。
本文由CDA資料分析研究院翻譯，譯者：王晨光