Hadoop實戰-初級部分 之 開啟雲端計算之旅

sufeizi發表於2013-12-05
Hadoop
私塾線上《深入淺出學 Hadoop- 初級 部分》  —— 系列精品教程
視訊課程地址》》》 http://sishuok.com/product/481
整體課程概覽
第一部分：我們為什麼要學習雲端計算技術
?“這是一場革命，龐大的資料資源使得各個領域開始了量化程式，無論學術界、商界還是政府，所有領域都將開始這種程式。”
   ———哈佛大學
   社會學教授加里·金
?一分鐘內，微博推特( Twitter)上新發的資料數超過10萬；社交網路“臉譜”( Facebook)的瀏覽量超過600萬……
?這些龐大數字，意味著什麼？
?它意味著，一種全新的致富手段也許就擺在面前，它的價值堪比石油和黃金。
IT人你們準備好了麼
?這是一個機會，千載難逢的機會。
?IT界 的又一桶黃金。
 
什麼是雲端計算
      雲端計算就是“按需應變”的網路延伸，即廠商按照使用者不斷變化的需求提供相應的硬體、軟體服務。
      雲端計算是網格計算、分散式計算、平行計算、效用計算、網路儲存、虛擬化、負載均衡、網路技術等一些傳統計算方法的融合體。它旨在通過網路把多個成本相對較低的計算實體整合成一個具有強大計算能力的完美系統，並藉助SaaS、PaaS、IaaS、MSP等先進的商業模式把這強大的計算能力分佈到終端使用者手中。其核心理念就是通過不斷提高“雲”的處理能力而減少使用者終端的處理負擔，最終使使用者終端簡化成一個單純的輸入輸出裝置，並能按需享受“雲”的強大計算處理能力。
     雲端計算最典型的代表就是Google的搜尋引擎。 
 
雲因何而生 
不斷增長的計算資源
處理器核數: 每18個月 100%  
記憶體/硬碟容量: 每年 60％
網路頻寬: 每年 100％
 
現有計算模型的侷限
低利用率: <20%
高維護費用: 軟硬體成本的 x5～x10
低可用性: 65％ 服務存在不可用現象
 
四大商業服務模式
?SaaS(Software-as-a- Service):軟體即服務
?PaaS(Platform-as-a-Service):平臺即服務
?IaaS (Infrastructure as a Service):基礎設施即服務
?MSP (Managing Successful Programme)
 
 
SaaS(Software-as-a- Service)：軟體即服務
uSaaS給使用者帶來的優勢:拿來即用、無須維護、按需使用、隨處可用、風險減小、成本降低、先天防毒、低配置也可用大軟體
uSaaS給軟體運營商帶來的優勢:節約銷售成本、節約維護成本、穩健的經營模式
uSaaS的缺點:依賴網際網路、資料安全性、資料保密性、
uSaaS的成功案例:Salesforce公司的CRM（客戶關係管理）、Google的搜尋引擎和Gmail、IBM的“藍雲”、Alisoft的AEP平臺等一系列SaaS軟體
PaaS（Platform-as-a-Service ）：平臺即服務
      PaaS實際上是指將軟體研發的平臺作為一種服務，以SaaS的模式提交給使用者。因此，PaaS也是SaaS模式的一種應用。但是，PaaS的出現可以加快SaaS的發展，尤其是加快SaaS應用的開發速度。
 
IaaS (Infrastructure as a Service)基礎設施即服務
IaaS主要提供虛擬機器
IaaS分為兩種用法：公共的和私有的。AmazonEC2在基礎設施雲中使用公共伺服器池。更加私有化的服務會使用企業內部資料中心的一組公用或私有伺服器池。
IaaS可以提供伺服器、作業系統、磁碟儲存、資料庫和/或資訊資源。最高階IaaS的代表產品是亞馬遜的AWS，不過IBM、Vmware和惠普以及其他一些傳統IT廠商也提供這類的服務。IaaS通常會按照"彈性雲"的模式引入其他的使用和計價模式，也就是在任何一個特定的時間，都只使用你需要的服務，並且只為之付費。
雲端計算的核心技術
?程式設計模型
?海量資料分佈儲存技術
?海量資料管理技術
?虛擬化技術
?雲端計算平臺管理技術
第二部分：典型雲平臺介紹
?Google 的雲端計算平臺
      Google的硬體條件優勢，大型的資料中心、搜尋引擎的支柱應用，促進Google雲端計算迅速發展。Google的雲端計算主要由MapReduce、Google檔案系統(GFS)、BigTable組成。它們是Google內部雲端計算基礎平臺的3個主要部分。Google 還構建其他雲端計算元件，包括一個領域描述語言以及分散式鎖服務機制等。Sawzall是一種建立在MapReduce基礎上的領域語言，專門用於大規模的資訊處理。Chubby是一個高可用、分散式資料鎖服務，當有機器失效時，Chubby使用Paxos演算法來保證備份。
 
?IBM“藍雲”計算平臺
      IBM 的“藍雲”計算平臺是一套軟、硬體平臺，將Internet上使用的技術擴充套件到企業平臺上，使得資料中心使用類似於網際網路的計算環境。“藍雲”大量使用了IBM先進的大規模計算技術，結合了IBM自身的軟、硬體系統以及服務技術，支援開放標準與開放原始碼軟體。
      “藍雲”基於IBM Almaden研究中心的雲基礎架構，採用了Xen和PowerVM虛擬化軟體，Linux作業系統映像以及Hadoop軟體以及MapReduce的開源實現。
      “藍雲”計算平臺由一個資料中心、IBM Tivoli部署管理軟體、IBM Tivoli監控軟體、IBM WebSphere應用伺服器、IBM DB2資料庫以及一些開源資訊處理軟體和開源虛擬化軟體共同組成。
      “藍雲”平臺的一個重要特點是虛擬化技術的使用。
 
?Amazon的彈性計算雲
      Amazon將自己的彈性計算雲建立在公司內部的大規模叢集計算的平臺上，而使用者可以通過彈性計算雲的網路介面去操作在雲端計算平臺上執行的各個。使用者使用例項的付費方式由使用者的使用狀況決定，即使用者只需為自己所使用的計算平臺例項付費，執行結束後計費也隨之結束。
      彈性計算雲平臺為使用者或者開發人員提供了一個虛擬的叢集環境，在使用者具有充分靈活性的同時，也減輕了雲端計算平臺擁有者的管理負擔。彈性計算雲中的每一個例項代表一個執行中的虛擬機器。使用者對自己的虛擬機器具有完整的訪問許可權，包括針對此虛擬機器作業系統的管理員許可權。虛擬機器的收費也是根據虛擬機器的能力進行費用計算的，實際上，使用者租用的是虛擬的計算能力。 
 
雲端計算的特點
? 易管理: 無需基礎設施維護
? 靈活性: 可按需伸縮，地域無關性
? 高資源利用率: 負載平衡，資源共享
? 高可靠性: 服務質量保證，異地容災
? 低成本: 無前期投入，按需購買
? 安全性: 集中式資料管理，統一安全策略
 
雲端計算技術發展面臨的主要問題
?資料隱私問題
        如何保證存放在雲服務提供商的資料隱私，不被非法利用，不僅需要技術的改進，也需要法律的進一步完善 。
?資料安全性
        有些資料是企業的商業機密，資料的安全性關係到企業的生存和發展。雲端計算資料的安全性問題解決不了會影響雲端計算在企業中的應用。
?使用者使用習慣
         如何改變使用者的使用習慣，使使用者適應網路化的軟硬體應用是長期而艱鉅的挑戰。
?網路傳輸問題
         雲端計算服務依賴網路，目前網速低且不穩定，使雲應用的效能不高。雲端計算的普及依賴網路技術的發展。
 
 
本節課程小結
瞭解了什麼是雲端計算
雲端計算的核心技術
雲端計算面臨的問題。
 
轉載請註明出處【 http://sishuok.com/forum/blogPost/list/0/5336.html】

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29361362/viewspace-1062315/，如需轉載，請註明出處，否則將追究法律責任。

相關文章