199IT大資料導航（http://Hao.199it.com），整合上千款工具
通過部署和使用大資料分析工具，分析流程可以幫助公司提高運營效率，產生新的利潤，獲得競爭優勢。企業可選擇的資料分析應用程式有很多。比如描述性分析善於描述已發生的事情，揭示因果關係。描述性分析主要輸出查詢、報表和歷史資料視覺化。
另外，更復雜的預測模型和規範模型可以幫助企業獲得商機，做出影響市場戰略，提升客戶體驗，避免裝置故障的決定。在預測分析中，歷史資料集有了預測分析，歷史資料集可用於分析未來的狀況和行為，規範分析承接預測分析，建議決策者採取某種行為。在很多情況下，先進的分析程式由於處理和資料儲存的需求過高，限制了它的發展，但這些缺點也不是不可克服的。大資料平臺和大資料分析工具的流行，讓預測分析和規範分析也能通過擴充套件，處理來自廣泛資料來源的大量資料集。
大資料分析意味著什麼？
本質上，大資料分析工具是能夠支援執行在大資料計算平臺上的預測分析應用程式和規範分析應用程式的軟體產品。一般我們所說的都是基於商業伺服器叢集，可擴充套件的分散式儲存和技術的並行處理系統，比如Hadoop和NoSQL資料庫。這些工具可以幫助使用者快速分析大規模資料，有時能做到實時分析。
另外，大資料分析工具提供了使用資料探勘技術分析資料、發現型別、使用分析模型的框架，來認識和應對特定的資料型別，提高業務流程。例如，大量的運輸資料，交通資料流，天氣資料和供應商曆史資料都可以用不同的資料模型來進行分析，用於優化特定地域內的運輸線路，降低送貨延誤或損壞貨物的風險。
大資料分析工具可以消化廣泛的資料種類，包括結構化資料，比如關係型資料庫中儲存的交易資料，半結構化資料，比如Web伺服器或移動應用程式檔案，和非結構化資料，比如文字檔案、文件、電子郵件、文字資訊和社交媒體資訊等。
大資料和高階分析工具
下面來介紹一下大資料分析的廠商，很多廠商提供支援分析流程的大資料平臺和工具，比如資料整合、資料準備和其他型別的資料管理軟體。我們關注能夠滿足下列要求的工具：
1）能應用高階的分析演算法和模型提供分析
2）以大資料平臺為引擎，比如Hadoop或其他高效能分析系統
3）能夠適用於多種資料來源的結構化和非結構化資料
4）隨著用於分析模型的資料的增加，能夠實現擴充套件
5）分析模型可以，或者已經整合到資料視覺化工具
6）能夠和其他技術整合
另外，工具必須包含必備的一些功能，包括整合演算法和支援資料探勘技術，包括（但不限於）：
1）叢集和細分：把一個大的實體分割擁有共同特徵的小團體。比如分析收集來的客戶，確定更細分的目標市場。
2）分類：把資料組織進預定類別。比如根據細分模型決定客戶改如何進行分類。
3）恢復：用於恢復從屬變數和一個及一個以上獨立變數之間的關係，幫助決定從屬變數如何根據獨立變數的變化而變化。比如使用地理資料、淨收入、夏日平均溫度和佔地面積預測財產的未來走向。
4）聯合和專案集挖掘：在大資料集中尋找變數之間的相關關係。比如它可以幫助呼叫中心代表提供基於呼叫者客戶細分、關係和投訴型別的更精準的資訊。
5）相似性和聯絡：用於非直接的叢集演算法。相似性積分演算法可用於決定備用叢集中實體的相似性。
6）神經網路：用於機器學習的非直接分析。
這只是預測分析和規範分析的子集。另外，不同的供應商很可能提供不同的演算法支援不同的方式。
高階分析市場
高階分析工具市場隨著時間發展不斷進步，不同成熟度的工具型別都可選擇。有些來自歷史悠久的傳統廠商，比如IBM、Oracle和SAS。也有廠商通過收購有一定歷史的工具，增強實力，比如微軟、戴爾、Teradata 和SAP。
一些小公司也提供大資料分析產品，包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner，有時公司會開發自己的演算法。其他採用了開源演算法R語言，提供預測模型和規範模型能力，或使用開源Weka專案軟體。
第三類產品就是開源技術。之前提到的R語言就是一個例子，還有Hadoop下的Mahout軟體，以及Weka。
在一些情況下，尤其是大廠商，大資料工具往往被打包到大資料套裝中。其他情況下，大資料工具會單獨出售。在後者，客戶需要自己將工具和已有的大資料平臺整合起來。大多數的工具都提供虛擬化介面指導分析流程，比如資料探勘與發現分析，模型的判斷和積分，與運營環境整合。在大多數情況下，供應商都提供幫助客戶搭建和執行軟體的指導和服務。
誰在使用大資料和高階分析工具？
企業裡的一些人著眼於探索設計新型預測性模型，另一些人關注將這些模型嵌入他們的商業流程中，還有一些人想要理解這些工具會給他們的業務帶來什麼整體變化。
資料科學家們，他們想使用更復雜的資料型別實現更復雜的分析，熟知如何設計，如何應用基礎模型來評估內在傾向性或偏差。
業務分析師，他們更像是隨性的使用者，想要用資料來實現主動資料發現，或者實現現有資訊和部分預測分析的視覺化。
企業經理，他們想要了解模型和結論。
IT開發人員，他們為以上所有類使用者提供支援。
所有這些角色通常都會在模型發展生命週期中共同合作。資料科學家將一套大資料集置於無目標分析的條件下，然後觀察那種模式符合商業利益。在與業務分析師一起檢查模型工作方式，並評估出發現的每個模型或模式對於企業存在何種潛在積極效應，企業經理和IT小組這個時候就需要介入，來將模型嵌入或將模型整合進商業流程，或者圍繞該模型設計新流程。
但是從市場角度來說，考慮環繞大資料分析的業務種類是很有趣的……許多大資料技術的早期使用者都是網路公司（例如，Google，Yahoo，Facebook，LinkedIn和Netflix）或者分析服務提供商。這些公司都依賴執行性和分析型應用，這些應用需要引入高速資料流來進行處理、分析然後將結果反饋以持續改善表現。
在更為主流的產業中，對於資料擴充套件的胃口也越來越大，大資料分析也在這些更為普遍的企業人口中找到了位置。在過去，大規模分析平臺的成本因素使得只有超大型公司才能實現。但是，通用型主導的大資料平臺越來越平易近人（如那些通過亞馬遜網頁服務實現的），而能實現大資料具象呈現的平臺也越來越多，像Hadoop本地一樣不需要大量投資，降低的准入門檻。此外，開放資料集和社交媒體渠道提供的救火管資料供給的可獲取程度為與內部資料集相混合的大規模資料分析準備了原材料。
大型企業可能還是會選擇高階大資料分析工具，但是低成本替代品在更加符合成本效益的平臺上運作，使得中小企業得以評估和啟動大資料分析恆旭，並取得預期的商業發展成果。
現在我們已經分析過了不同型別的工具和他們的使用者，下一步就是要確定怎樣用這些工具為公司謀利。看一看對於大資料分析不同案例下的使用，你就能開始理解如何權衡一般大資料分析能力來創造和增加價值。