國外兩大知名銀行Hadoop採用現狀調查，Gartner所言非虛！

  經歷了近三個月對國內廠商及企業使用者的走訪調研，筆者發現國內大部分廠商及企業對Hadoop，尤其是其核心元件的未來十分看好，並且Hadoop已經成為國內大多數網際網路公司和大資料廠商基礎架構中很重要的一部分，似乎並未把Gartner的“Hadoop在到達生產成熟期之前即會被淘汰”的結論放在心上。然而，在近期對國外大資料廠商Teradata及其兩大銀行客戶——富國銀行和加拿大皇家銀行的採訪中，筆者收到了與國內使用者截然不同的反饋。

　　本期走訪嘉賓：Teradata天睿公司策略性產品管理高階副總裁Tim Henry，富國銀行副總裁劉維政，加拿大皇家銀行資料及分析技術高階副總裁Neil Bartlett。

　　企業使用者使用Hadoop的第一大難點：管理難!

　　Hadoop更直接的使用者是企業使用者而不是大資料廠商，雖然資料湖或Hub的概念最初由大資料廠商提出，但真正的大規模應用還是在企業內部。這些企業很可能並不會選擇Hadoop，因為Hadoop的管理相當困難，尤其是技術層面。

　　對企業而言，要想讓資料真正發揮價值，必須透過資料治理和資料分析。然而，要想使用Hadoop進行資料治理，企業員工必須對Hadoop的整體運作流程以及各大元件非常熟悉，否則無法從眾多元件中挑選出符合業務需求的組合，導致無法發揮Hadoop的真正價值。

　　Tim Henry表示，企業並不是對資料湖沒有需求，而是對Hadoop的接受意願較低，這也同樣契合了Gartner的結論。即便Hadoop最大的幾家廠商均來自於國外，但這並沒有讓國外企業部署Hadoop的熱情升高。Tim Henry認為，未來，HDFS堆疊會更多的朝著S3和Spark的方向遷移。

　　當然，這種問題在Hadoop商用版和開源版之間有所區別，開源版本存在問題很正常，這可能是企業內部技術能力不足造成的，但企業使用者更多的情況下是選擇商用解決方案。若是商用解決方案，國內外廠商在服務層面也有明顯不同。國內Hadoop相關廠商提供的服務較國外而言更加全面，大部分國內Hadoop廠商更傾向於將企業所需的產品或功能定製化開發並整合打包，方便企業使用者直接選擇，這可能是造成國內外企業使用者對Hadoop態度不同的原因之一。

　　企業使用者使用Hadoop的第二大難點：成本高!

　　企業使用者選購產品時考察的兩大因素，一是能否為業務帶來價值；二是部署及後期維護成本。如果某項技術可以非常完美的解決企業內部某項需求，那麼這項技術可能是對業務有驅動價值的。但是，當解決方案不止一個時，部署及維護成本就成為重要篩選標準。

　　美國富國銀行和加拿大皇家銀行是國外兩大非常知名的銀行且歷史悠久，前者成立於1852年，是一家提供全能服務的銀行，市值在全球範圍內排在前列。後者成立於1869年，是北美多元化金融服務公司之一，也是加拿大資產最大的銀行之一。對於Hadoop的部署，兩家銀行確實做了很多思考。

　　富國銀行副總裁劉維政表示，很多企業使用者在受到網際網路的衝擊之後，形成了一種“便宜且大而全就是好”的奇怪觀念。但是，銀行在選擇某項解決方案時往往更加謹慎，會進行大量調研。根據富國銀行的調研，如果一家銀行從零開始使用Hadoop構建整個大資料儲存分析平臺，所需要的總成本實際上比一些主流商業方案，比如Teradata還要高，這是為什麼呢?

　　從富國銀行的角度來看，Hadoop有很好的社群開源機制，但這並不能滿足銀行對穩定性的要求。當銀行的交易資料出現問題，使用者並不在乎背後的支撐平臺到底是Hadoop還是Teradata，而只在乎交易資料的準確性。

　　其次，企業使用者之所以選擇某種解決方案往往更在乎的是其服務，現在的大資料廠商不僅服務更加全面，而且更加註重與開源技術的結合，更加註重與企業現有語言、工具和技術的相容性。加拿大皇家銀行資料及分析技術高階副總裁Neil Bartlett補充道，Gartner之所以會得出這樣的結論，也是因為市場對Hadoop越來越理性，對Hadoop的部署成本和交付結果有了更加理性的評估，這才造成Gartner得出“很多企業對Hadoop部署熱情較低”的結論。

　　相比於國內市場對Hadoop未來發展的肯定，國外這兩大銀行使用者對Hadoop的部署似乎並不持樂觀態度。當然，正如上文所提到的，國內外對Hadoop態度不同可能是不同的環境和需求造成的。此外，筆者的前期採訪更多代表著國內網際網路企業和大資料廠商的態度，並不代表著國內銀行的態度，因此這一點是有待商榷的，但富國銀行和加拿大皇家銀行對Hadoop不看好的態度是明確的。