不要猶豫瞭解這些即可玩轉阿里雲ODPS

本文講的是不要猶豫 瞭解這些即可玩轉阿里雲ODPS，【IT168專稿】從7月8日，阿里雲ODPS正式開放商用至今已有一週有餘，網上關於ODPS商用的話題熱度非常之高，除了好事兒的不怕熱鬧的過來瞧瞧之外，對於那些真正憋了多年，決心將大資料事業進行到底的企業使用者，他們“聖戰”的時刻終於到了。

　　關於ODPS平臺的諸多優勢，以及對產業的影響，已經有太多篇幅的報導了，本文不想過多的做重複報導，重點是從使用者角度出發，發掘他們對ODPS的需求，進而幫助使用者更好的應用ODPS。

　　通過對這些使用者調查瞭解到，他們更關心ODPS是否安全、咋用、好不好用、需要作何準備、價格是否公道等等。也看出了這些使用者的可愛之處，同時也看到他們對ODPS的期望(或許是市面上這些所謂的大資料平臺對他們來說不怎麼靠譜)。

▲阿里雲ODPS商用大資料平臺

　　開門見山ODPS是什麼?能幹什麼?

　　要想了解ODPS，不妨先看一下阿里雲的整體架構：最底層是Linux+PC Server，上層軟體是飛天，飛天是阿里雲09年開始開發的一款分散式系統軟體，主要提供分散式儲存和分散式計算的排程、程式設計框架。開發語言是C++, 2013年該系統在生產環境支援排程5000臺機器的叢集。

　　ODPS是在飛天之上提供的一套服務，功能包括SQL，基於java的Mapreduce程式設計框架，圖計算程式設計模型，一系列機器學習演算法的實現等等。所有的功能是以RESTful API的形式對外提供，所以從系統邊界上說，這層API隔離了ODPS平臺和使用者的系統，和hadoop的區別也很明顯。ODPS設計之初就是為了對外開放，做基於網際網路的多租戶的公共資料處理服務，所以安全性在ODPS的設計和實現中具有最高的優先順序。

　　簡單來說，ODPS(Open Data Processing Service)是一項Web服務，大家不用花大錢建資料中心，就能分析海量資料。看到這個介紹，大概就知道ODPS是幹嘛的了。也可以和自建資料中心做個區分。

　　按照阿里雲測試，100PB的資料任務可在六個小時內跑完，這個資料量相當於1億部高清電影，夠厲害了吧。

　　使用ODPS安全性靠譜嗎?

　　有這個疑問的使用者，說明對雲端計算本身還有一些顧慮，也說明企業對雲端計算有嘗試的需求。的確，資料是企業的核心資產，這個已經被廣泛認識到了，以至於企業採用非常多的手段對資料進行保護。企業應該認識到，自己的資料儲存到伺服器中，肯定會面臨機房安全、黑客攻擊、內部流程和人員安全等多項挑戰，做到這些防護就能100%的安全了嗎?這裡要打個問號。

　　安全問題是老生常談，但是不談就打消不了使用者的疑慮，這裡就做個說明。可以說，現在對雲端計算安全的顧慮，就跟當年對公共電網的顧慮一樣。現在誰不用公共電網?銀行剛剛誕生之初，老百姓覺得把錢放到自己身邊最安全，現在不都放到銀行了?道理很簡單，安全性是一個理念，需要大家慢慢適應，但是走向雲端是必然的道路。

　　結合阿里雲ODPS，從具體的安全措施來講，ODPS是國內首家通過了CSA-STAR和ISO27001兩項國際雲安全認證的公司，在各個環節都採納了國際上最先進的資料安全管理標準。在技術上，ODPS採用了多項技術保證使用者儲存在阿里雲的資料不丟失、不洩露、不越權訪問;從管理上，阿里雲內部對於ODPS的運維和運營人員的操作有嚴格的監控和審計，確保內部人員不會接觸到使用者的資料。

　　ODPS通過API提供服務，包括資料上傳、下載、計算，所有API請求都是經過認證的，所有API請求都可以走https加密。從平臺設計和技術實現角度說，ODPS充分考慮了資料安全性，ODPS團隊對於平臺的優先順序定義是資料安全性大於可用性大於規模的。

　　空口無憑，舉例為證。阿里巴巴作為ODPS最大的使用者，已經率先做了安全性實踐。1)阿里的業務資料都將執行在ODPS上，外部使用者與阿里集團享受相同的高安全等級。2)除了企業使用者外，目前也在幫助政府客戶合作上雲。這些大企業和政府客戶，比如一些銀行、飛利浦、美的、中國氣象局等，對資料安全的考慮非常嚴格，他們最後決定上雲，也是對阿里雲的資料安全性經過了全方位的評估。

　　用ODPS應該做哪些準備工作呢?

　　認清ODPS的產品價值以後，你是否已經鼓足勇氣決定借力ODPS大幹一場?別慌，你先做一些準備工作。

　　一方面，使用ODPS也有一定的技術門檻。比如至少要懂得處理資料的基礎技能，比如SQL語言。或者是一個程式設計師，懂得通過編寫Java程式或者編寫指令碼。

　　另外，還要具備資料敏感度以及對業務的理解。目前參加天池大賽的學生，他們通過對資料有更好的理解，進行設計更好的演算法，取得更好的處理結果。

　　ODPS如何收費?針對中小企業方面有沒有優惠政策?

　　成本是企業發展中最重要的因素，作為使用者會問，使用ODPS的解決方案，我的成本會降低多少?阿里雲的回答是，比傳統方式成本至少節約一半。ODPS是按使用後付費的產品，使用者的資料儲存和計算一定有波峰波谷，企業不必為了應對峰值而採購額外的機器，而僅僅需要為了使用的資源而買單。更為關鍵的是服務的方式，極大地降低了技術門檻。企業不用為了Hadoop人才難覓而發愁。大企業財大氣粗，不差錢，只要能確保解決問題一切都OK。但是中小企業沒這麼闊氣，精打細算還是必須滴。

　　針對中小企業ODPS有木有優惠政策?答案是肯定的。阿里巴巴就是通過不斷的扶持中小企業，甚至是小微企業才得以建立了龐大的商業帝國，這些小企業是阿里的根基，當然不會置之不理。

　　阿里雲ODPS產品經理湯子楠說，希望通過ODPS讓更多的中小企業感受和利用大資料的價值，除了產品本身外，後續還會推出一系列的服務，比如幫助使用者設計資料模型，引導使用者更合理更低成本的使用ODPS，比如對使用者進行ODPS和大資料方面的培訓，比如提供基於ODPS的視覺化BI分析工具等等。這些服務在初期會以免費或低價的方式提供給使用者，最大化的降低使用者使用大資料的成本和門檻。有了阿里官方的說法，中小企業主大可放心了吧。

　　目前ODPS有哪些成功案例值得借鑑?

　　生於阿里，阿里雲自然將阿里業務作為服務物件，甚至阿里巴巴的諸多業務都已經成為了ODPS的客戶。

　　ODPS之前一直在阿里內部試用。第一個”小白鼠”是阿里小貸。現在，超過36萬人從阿里小貸借款，最小貸款額1塊錢，並實現3分鐘申請、1秒放款、0人工干預。要做到這一點，阿里小貸每天得處理30PB資料，包括店鋪等級、收藏、評價等800億個資訊項，運算100多個資料模型，甚至得測評小企業主對假設情景的掩飾和撒謊程度。另外，阿里小貸每筆貸款成本3毛錢。

　　華大基因，2003年國內抗SARS研究的主力軍。去年，華大在ODPS上試了下基因測序，耗時不到傳統方式的十分之一。

　　公共領域的資料探勘，如今，每盒藥品上都有一張電子身份證，從生產、流通、儲存、配送、銷售到使用，全過程的資料都跑在ODPS上，一旦發現問題藥品，監管部門可以立即採取措施。

　　眼下，阿里巴巴各項資料業務都在用ODPS，比如淘寶在算你最中意哪個淘女郎，天貓在算你什麼時候想吃車釐子，菜鳥在算卡車走哪條路可能會被雷劈，支付寶在算你何時會從屌絲變成高富帥。

　　ODPS強大的生態圈計劃 企業如何參與並獲利？

　　ODPS是一個強大的資料計算引擎，結果的輸出需要各種計算模型的支撐，計算模型一方面ODPS平臺會提供，但是也需要打造生態圈，藉助生態圈的力量不斷的完善ODPS。

　　ODPS作為開放的商用平臺，也歡迎更多的生態圈夥伴參與進來，這些夥伴包括四個方面：1、服務和應用供應商，提供商業智慧和資料應用。2、資料的生產，可以是企業也可以是個人。3、資料的加工，他們可以是諮詢公司、行業專家。4、資料消費，包括廣告、客戶滿意度改進、模式創新、精準推薦等。

　　ODPS產品經理湯子楠提到一點，參與到生態圈中，大家共同獲益，既可以為生態圈提供資源，也可以從中獲益。

　　最後，借用阿里雲事業部總裁王文彬的話：“阿里雲ODPS是一個系統工程，工程不可能是完美的，ODPS還在不斷的發展中，希望大家多一些耐心。”作為使用者，可以說目前ODPS已經開創了線上處理大資料商用的先河，值得道賀，也值得期待。使用者在使用過程中有更多的疑問歡迎提出（微信 搜尋景保玉，關注公共賬號 小新有話說，微博 @景保玉）這也是為ODPS的完善做出一份貢獻。

原文釋出時間為：2014-07-16

本文作者：景保玉

本文來自雲棲社群合作伙伴IT168，瞭解相關資訊可以關注IT168。

原文標題：不要猶豫 瞭解這些即可玩轉阿里雲ODPS