作者：趙鈺瑩
原文標題 本地 vs 雲：大資料廝殺的最終倖存者會是誰？

一家企業什麼時候會決定上雲？過去，這個問題的答案可能是當企業發現需要購買新的硬體進行新一輪資本投入時，往往傾向於考慮另一種替代方案，比如雲，這可能更多還是從成本方面考慮；或者，當企業出現某種彈性計算需求時，雲平臺是非常好的實現 IT 資源“削峰”的方案。

不同於現有技術邊界的“替換”，如今，這個問題的答案可以再加上一條：技術邊界的“擴張”。當企業需要某種能力，比如 AI 或者大資料，但自身技術實力達不到或者企業核心競爭力不在技術本身，此時就可能會考慮上雲，甚至這已經成為不少企業選擇雲平臺的重要原因。通過選擇雲平臺，企業實現了自己技術邊界的擴張，從而為業務邊界擴張提供技術上的保障。

過去幾年，雲平臺大資料服務越來越成熟，單就這一項，主流雲廠商可提供的服務列表就達到數十種，本地大資料服務的聲音似乎越來越弱，這在 Cloudera 與 Hortonworks 合併之後尤為明顯。有分析人士指出，Hadoop 與 Spark/Flink 等流技術的融合已經在雲平臺發生，這讓 Cloudera 和 Hortonworks 的基礎產品出現落後。巧合的是，Spark 商業化公司 DataBricks 選擇了一條不同於 Cloudera 與 Hortonworks 的軟體發行之道，DataBricks 一直堅持走雲上訂閱方式，從而在商業上更加領先。據此，本地大資料服務是否進入消失倒數計時？雲平臺大資料服務最終到底會趨向多雲、混合雲還是單一公有云？叢集規模增大，上雲成本將難以承受是誤區還是事實？

InfoQ 將就上述問題展開系列探討，追蹤採訪數位行業內雲端計算和大資料相關方向技術專家，從他們的觀點中獲取答案。本期採訪嘉賓——阿里雲智慧通用計算平臺負責人關濤。

雲平臺 vs 本地大資料服務

在對比雲平臺和本地大資料服務之前，我們先來探討一個基本問題：不同量級、不同技術能力的企業是否都適合上雲，這也是企業上雲之前必須想明白的問題。我們經常聽到一句話：未來的雲端計算會成為像水電煤一樣的基礎設施，暫且不論這句話是否完全正確，中國目前的上雲程式的確在加快，如果要成為必備基礎設施，勢必需要匹配所有量級、所有技術能力的企業。

對於網際網路初創型企業，其特點是業務模式和規模高度不確定，資料量小，計算場景不確定，資金有限且沒有自己的資料技術力量。關濤表示，對這型別企業而言，雲大資料服務可以幫助降低大資料使用門檻，讓企業將有限的人力和物力都放在業務層面，快速搭建併為不確定的未來發展預留彈效能力。這種型別的客戶的需求關鍵字是：靈活和全面。

對於中大型網際網路企業，其通常擁有自己的叢集和資料，業務相對穩定且有 SLA 要求，甚至具備非常成熟的資料團隊，這部分企業的技術能力或許足夠滿足業務需求，上雲所能帶來的好處就是降低甚至免除運維，保障 SLA 並提升安全能力，同時在效能、彈性等方面提供更低成本的服務。 需求關鍵字：穩定和成本。

對於傳統客戶，這部分企業往往更加謹慎，且原有資料中心較為龐大，整體遷移需要考慮的因素非常多，通常需要一整套解決方案，這部分企業往往也最在意雲端計算的成本、穩定性和安全性等問題。需求關鍵字：解決方案。


成本

雲端計算本身是一個需要重投資的領域，雖然有不少公司加入，但排名靠前的依舊集中於幾家資本和技術力量比較雄厚的公司。相對於本地大資料服務，雲平臺大資料服務的效能、穩定性、成本和安全性一直是討論的焦點。關濤表示，雲廠商在資料中心選址基建（例如需要綜合考慮電力成本和容量因素）、硬體建設、頻寬網路建設（例如需要獨立雙鏈路網路保證）、儲存、CDN 分發、安全加固等方面都投入了巨大精力，資本投入在百億甚至千億級別，中小企業自建服務的資本和技術投入顯然無法達到這一程度。

對於中小企業而言，上雲是個相對輕鬆的話題，首先資料資產量小尚可輕鬆挪動，且可享受雲廠商帶來的技術優勢；其次，業務體量相對較小，整體使用成本較低。但是，不少人認為“當叢集規模達到一定程度，雲平臺的成本會變得非常高”。對此，關濤認為，雖然雲端計算是個按需付費的資源，但小型資料中心的硬體啟動成本並不低，如果企業自行搭建，還需要考慮其中的人力成本，這部分隱性成本經常被忽略。

從軟體層面來看，主流雲廠商在技術層面的投入非常大，這不僅僅是技術研發層面的資金支援，阿里雲平臺所提供的服務大都在內部業務經過長時間試執行，達到穩定以後才開放給使用者，這是普通公司很難達到的，尤其是中小企業的基礎設施上雲很難投入到這個級別，集中力量打造業務層面的差異性優勢才是這型別企業的立足關鍵，而不是糾結於底層的基礎設施。

當然，如果企業具備一定線下叢集，上雲確實需要一定工作量和遷移成本，這包括網路打通、資料、作業、應用遷移等。線下規模越大，工作量就越大，這是目前阻礙企業上雲的重要挑戰。關濤表示，這部分工作其實是階段性的，隨著雲技術的發展，企業可以直接或間接享受技術紅利。此外，雲廠商提供了不少遷移技術，比如多種型別的資料運輸與搬遷工具，基於專線的資料上傳和混合雲技術等。


安全

安全是企業對雲端計算最早也是最大的顧慮，上雲肯定無法完全規避安全風險，但如果和自建機房相比，雲平臺相當於多了一重保險。如果企業自建機房，部署某個版本的 Linux 系統，也不見得將補丁打全，同樣存在安全風險。關濤表示，阿里雲在安全方向（包括核心漏洞修補、DDos 防護、主動漏洞掃描、許可權管理、隱私保護等）上有非常大的投入，安全性比自建要好的多。

雲廠商 vs 雲上自建大資料服務

對於一些網際網路企業而言，並不糾結是否上雲，而是在考慮選擇雲廠商提供的大資料服務還是選擇基於雲平臺自建，這些企業往往具備一定技術能力並擁有原始業務積累。關濤認為，從業界來看，美國大多數網際網路企業已經放棄自建資料中心而大規模應用雲技術，例如 NetFlix 已經將所有業務遷移至公有云；專注專有云和 IaaS 的 Cloudera 和 Hortonworks 已經合併過冬。

從發展趨勢來看，這是一個雲服務逐步成熟與客戶認知逐步發展的過程，就好比每一項新技術都經過了長期市場論證一樣。關濤認為，客戶認知應該會從最開始的懷疑（安全性、穩定性等）到逐步嘗試，到上雲，再到大規模依賴；從資料中心和主機託管，到依賴 IaaS，再到大規模應用無服務計算、PaaS 和 SaaS；從專有云部署到混合雲，再到公有云。

其次，隨著大資料與 AI 技術的發展成熟，雲廠商在該領域的競爭優勢已經逐步從“能做”變成“又快又好”。雲端計算廠商的規模優勢能夠建立更高的競爭門檻，這是很多企業自建所達不到的。

混合雲和多雲皆是過程，單一雲平臺可能是主流

當企業確定選擇雲廠商提供的大資料服務時，又會出現新的問題：如何從這麼多種雲平臺大資料服務中選擇最符合自己業務發展需求的？是選擇混合雲、多雲還是單一公有云平臺？

去年，一向對混合雲不感興趣的 AWS 推出了不少混合雲服務，這讓不少企業開始推測雲端計算的未來將是混合雲或者多雲。對此，關濤更傾向於多雲和混合雲皆是中間過程，最終的大方向應該是單一公有云的觀點。他補充道，無論是混合雲還是多雲都存在跨雲管理的問題，使用者需要適配一套或者多套雲系統，並將系統間資料和業務打通協調，比本地或者單一雲平臺更加複雜。

現階段，依照使用者需求不同，本地部署、混合雲（作為中間形態）與雲平臺部署三種情況都可能出現。但是，長期來看，隨著雲平臺的逐漸成熟和使用者認可，從成本和效率角度出發，單一雲平臺或許會是主流。

關於公有云平臺，企業主要顧慮的問題就是單一供應商繫結。一旦繫結，資料和業務遷移困難，後續發展可能缺乏選擇；一旦雲平臺出現故障，是否有異構容災能力，是否會對業務造成不可逆的影響等。

關濤認為，如今的雲服務分層解耦越來越清晰，各基礎服務介面未來會更加標準，例如容器化和 K8S 等，這些標準化服務會大幅降低使用者被單一雲平臺繫結的顧慮。此外，主流雲廠商已經在提供一定程度的異構容災能力，例如阿里雲的 3AZ 方案，可以保證跨資料中心的可靠性，技術上能夠滿足異構容災需求；如果使用者追求極致容災能力，有可能選擇混合雲或者多家雲廠商，這需要在多雲平臺之上，再做一層資料管理和業務同步邏輯，會給架構帶來很大的技術和成本壓力。當然，這還最終取決於使用者的需求，只是目前這種選擇應該比較少，例如，在金融資料庫領域，企業很少同時選擇兩種資料庫方案。


結語

從長線來看，關濤認為，使用者自建本地大資料服務會逐漸消亡。就國外雲端計算的發展程式來看，很多大企業選擇上雲看重的可能並不是 IaaS 層面的能力，而是大資料和 AI 等偏上層的能力，這些現象足以說明使用者不僅會用 IaaS 的能力，並且可能會被上層能力吸引。

據此，阿里雲大資料服務接下來將集中對如下幾方面進行改進：一是作為大資料引擎，隨著資料爆發式增長和計算的無處不在，效能、成本、擴充套件性和穩定性仍然是技術重點；二是非文字類資料的處理能力，包括識別、處理音、視、圖等新資料格式，例如短視訊推薦場景；三是非關係型資料處理，例如圖計算、Graph Embedding；四是 AI for BigData，比如在海量資料的前提下，基於 AI 的智慧資料管理、智慧建模與資料優化等。

各位網友，你如何看待雲平臺和本地大資料服務之間的關係呢？你所在的企業又是如何選擇的呢？

本文轉載於InfoQ，原文連結 www.infoq.cn/article/i8B…*yuqxJH

瞭解阿里巴巴大資料計算服務訪問 www.aliyun.com/product/odp…