一文看懂雲端計算和大資料到底是什麼!

Linux雲端計算資料自學發表於2018-12-26

640?


怎麼用通俗的語言解釋大資料和雲端計算?



雲端計算


雲端計算產生的背景

傳統的應用正在變得越來越複雜:需要支援更多的使用者、需要更強的計算能力、需要更加穩定安全等等。


而為了支撐這些不斷增長的需求,企業不得不去購買各類硬體裝置(伺服器,儲存,頻寬等等)和軟體(資料庫,中介軟體等等),另外還需要組建一個完整的運維團隊來支援這些裝置或軟體的正常運作,這些維護工作就包括安裝、配置、測試、執行、升級以及保證系統的安全等。


便會發現支援這些應用的開銷變得非常巨大,而且它們的費用會隨著你應用的數量或規模的增加而不斷提高。


這也是為什麼即使是在那些擁有很出色IT部門的大企業中,那些使用者仍在不斷抱怨他們所使用的系統難以滿足他們的需求。


而對於那些中小規模的企業,甚至個人創業者來說,創造軟體產品的運維成本就更加難以承受了。


雲端計算是將我們傳統的IT工作轉為以網路為依託的雲平臺執行,NIST(美國國家標準與技術研究院)在2011年下半年公佈了雲端計算定義的最終稿,給出了雲端計算模式所具備的5個基本特徵(按需自助服務、廣泛的網路訪問、資源共享、快速的可伸縮性和可度量的服務)、3種服務模式(SaaS(軟體即服務)、PaaS(平臺即服務)和IaaS(基礎設施即服務))和4種部署方式(私有云、社群雲、公有云和混合雲)使用和收費層面而言,雲端計算遵循按需使用,按需付費的規則。


分享幾種關於雲端計算的通俗觀點

1.水龍頭論:

當需要的時候,扭開水龍頭,水就來了,我只需要操心交水費就是了!


當你需要用一個軟體時,你不用跑去電腦城,開啟應用商店,它就下載下來了,你只需要交錢就是了;


當你想看報紙的時候,你不用跑去報刊亭,只要開啟頭條新聞,新聞唾手可得;


當你想看書的時候,你不用跑去書城,只需要開啟閱讀軟體,找到這樣的一本書,在手機上閱讀;


當你想聽音樂的時候,你不用再跑去音像店苦苦找尋CD光碟,開啟音樂軟體,就能聆聽音樂;


雲端計算,像在每個不同地區開設不同的自來水公司,沒有地域限制,優秀的雲軟體服務商,向世界每個角落提供軟體服務——就像天空上的雲一樣,不論你身處何方,只要你抬頭,就能看見!


2.段子論:

網上很流行的一種比喻:男人找個女友或老婆是自建私有云,單身約炮或者到娛樂場所消費是公有云服務,按需使用並可彈性擴容,已婚男人找二奶小蜜則屬於混合雲。


這種解釋方式對男人比較適用,通常稍微一解釋就心領神會!


3.共享論:

出行需要用車,雲端計算或者雲服務好比乘坐計程車或專車快車共享單車,隨時需要隨時用,按用量(路程)付費即可。


自己買車開車是混合雲,車是自己的,出去付費停車或加油相當於部分使用公有云,而亞馬遜或微軟雲在國內跟黑車差不多被政策限制。


4.三餐論:

餓了要吃飯,在家裡自己做飯屬於自建私有云,需要建造廚房購買鍋碗瓢盆柴米油鹽等,吃完飯還需要自己刷鍋洗碗等運維工作,費時費力;


外面餐館提供的就相當於公有云服務,按需胡吃海塞吃完結賬抹嘴走人,餐館後廚如何安排做菜順序並加快出菜速度就是負載均衡和虛擬化概念;


請廚師到家裡上門做飯則屬於典型的混合雲,在資產安全的情況下有限使用公有云。


雲端計算的五大特點:

1.大規模、分散式

“雲”一般具有相當的規模,一些知名的雲供應商如Google雲端計算、Amazon、IBM、微軟、阿里等也都擁能擁有上百萬級的伺服器規模。而依靠這些分散式的伺服器所構建起來的“雲”能夠為使用者提供前所未有的計算能力。


2.虛擬化

雲端計算都會採用虛擬化技術,使用者並不需要關注具體的硬體實體,只需要選擇一家雲服務提供商,註冊一個賬號,登陸到它們的雲控制檯,去購買和配置你需要的服務(比如 雲伺服器,雲端儲存,CDN等等),再為你的應用做一些簡單的配置之後,你就可以讓你的應用對外服務了,這比傳統的在企業的資料中心去部署一套應用要簡單方便得多。而且你可以隨時隨地通過你的PC或移動裝置來控制你的資源,這就好像是雲服務商為每一個使用者都提供了一個IDC(Internet Data Center)一樣。


3.高可用性和擴充套件性

那些知名的雲端計算供應商一般都會採用資料多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性。基於雲服務的應用可以持續對外提供服務(7*24小時),另外“雲”的規模可以動態伸縮,來滿足應用和使用者規模增長的需要。


4.按需服務,更加經濟

使用者可以根據自己的需要來購買服務,甚至可以按使用量來進行精確計費。這能大大節省IT成本,而資源的整體利用率也將得到明顯的改善。


5.安全

網路安全已經成為所有企業或個人創業者必須面對的問題,企業的IT團隊或個人很難應對那些來自網路的惡意攻擊,而使用雲服務則可以藉助更專業的安全團隊來有效降低安全風險。



大資料


何為大資料?

雖然很多人將其簡單理解為“大資料就是大規模的資料”。

但是,這個說法並不準確!


“大規模”只是指資料的量而言。


但是資料量大,並不代表著資料一定有可以被深度學習演算法利用的價值。例如:地球繞太陽運轉的過程中,每一秒鐘記錄一次地球相對太陽的運動速度、位置,可以得到大量資料。可如果只有這樣的資料,其實並沒有太多可以挖掘的價值!


大資料這裡我們參閱馬丁•希爾伯特的總結,今天我們常說的大資料其實是在2000年後,因為資訊交換、資訊儲存、資訊處理三個方面能力的大幅增長而產生的資料:

  • 資訊交換:

    據估算,從1986年到2007年這20年間,地球上每天可以通過既有資訊通道交換的資訊數量增長了約217倍,這些資訊的數字化程度,則從1986年的約20%增長到2007年的約99.9%。在數字化資訊爆炸式增長的過程裡,每個參與資訊交換的節點都可以在短時間內接收並儲存大量資料。

  • 資訊儲存:

    全球資訊儲存能力大約每3年翻一番。從1986年到2007年這20年間,全球資訊儲存能力增加了約120倍,所儲存資訊的數字化程度也從1986年的約1%增長到2007年的約94%。1986年時,即便用上我們所有的資訊載體、儲存手段,我們也不過能儲存全世界所交換資訊的大約1%,而2007年這個數字已經增長到大約16%。資訊儲存能力的增加為我們利用大資料提供了近乎無限的想象空間。

  • 資訊處理:

    有了海量的資訊獲取能力和資訊儲存能力,我們也必須有對這些資訊進行整理、加工和分析的能力。谷歌、Facebook等公司在資料量逐漸增大的同時,也相應建立了靈活、強大的分散式資料處理叢集。


大資料在應用層面:

大資料往往可以取代傳統意義上的抽樣調查、大資料都可以實時獲取、大資料往往混合了來自多個資料來源的多維度資訊、大資料的價值在於資料分析以及分析基礎上的資料探勘和智慧決策。

640

現在,你是不是徹底理解雲端計算和大資料了呢?不能說二者毫無聯絡,其實之間是存在相關聯性的,而且可以肯定的說,未來就是資料時代,雲端計算和大資料勢必將成為網際網路必不可少且極具競爭的技術!


雲端計算免費課程火熱開講中,5天運維經典課程免費學,會雲端計算的運維人才到底需要掌握哪些技術,未來前景發展怎麼樣?跟隨行業大咖一起剖根究底,點選文末“閱讀原文”長按下方二維碼即可報名免費課程抓住今年最後一次免費學習的機會,逆襲2019~~

640?wx_fmt=png

PS:記得查收小編送你的免費大禮包呦~

福利 | 一萬多套PPT模板等你免費來拿!無條件領取!

免費送 | 1000多套簡歷模板免費拿,附贈簡歷製作教程!

免費領 | 《Shell指令碼 100例》電子書免費拿,運維必備乾貨~

640?640

▼▼點選【閱讀原文】,5天運維免費課程,開講在即!

相關文章