資料中心
第四章 資料中心
前言:現如今,各種型別的資料正在以爆炸性的方式迅速增長,大資料的出現正迫使企
斷提升自身以資料中心為平臺的資料處理能力,同時,雲端計算、虛報化等技術正不斷為資料中心的發展帶來新的推動力,並正在改變傳統資料中心的模式。本章將介紹資料中心的概念,資料中心的發展歷史,資料中心的組成單元一伺服器,以及資料中心的選址及能耗問題。
4. 1 資料中心的概念
資料中心是全球協作的特定裝置網路,用來在 Internet 這一網路基礎設施上傳遞、加速、展示、計算、儲存資料資訊。資料中心的主要目的是執行應用來處理商業和運作的組織的資料、資料中心不僅是一個網路概念,還是一個服務概念,它構成了網路基礎資源的一部分,資料中心的建立使得企業和個人能夠迅速藉助網路開展業務,把精力集中在其核心業務上,而減少IT方面的後顧之憂。資料中心是雲端計算的基礎設施,雲端計算在資料中心的基礎上提供的各類服務、
4. 1. 1 資料中心的定義、作用及分類
資料中心是一整套複雜的設施,它不僅包括計算機系統和其他與之配套的網路、儲存
等裝置,還包含冗餘的資料通訊連線裝置、環境控制裝置、監控裝置以及各種安全裝置。 Google在其釋出的(The Data center as a Computer》一書中,將資料中心定義為:多功能的建築物,能容納多個伺服器以及通訊裝置,這些裝置被放置在一起是因為它們具有相同的對環境的要求以及物理安全上的需求,並且這樣放置便於維護,而並不僅僅是一些伺服器的集合。
圖4-1為一個典型的資料中心的拓撲圖,可以看到一個資料中心中包含幾個基礎元件:
伺服器、網路和儲存。儲存根據應對場景的不同,包含了 NAS (Network Attached Storage, 網路附屬儲存。提供檔案共享空間,存放非結構化資料)和 SAN (Storage Area Network, 儲存 區域網路。提供塊資料的訪問,通常用於存放結構化資料,如資料庫、郵件等業務應用的資料)兩種方案。企業級儲存通常還包含了備份或容災體系,在這個圖4-1所示的資料中心其中還有專門的備份儲存。
雲端計算出現以後,對資料中心提出了新的挑戰和要求,不過仍然包含伺服器、網路和存
儲這三大基礎元件,但是元件的呈現形態以及控制方式發生了很大的變化,如軟體定義的資料中心(Software Defined Data Center, SDDC) .SDDC 可以視為私有云的雲端計算平臺的最佳落地方式,而軟體定義的儲存(Software Defined Storage, SDS) 是其中的重要組成部分,實際上可以說:軟體定義為雲端計算而生。
目前,IT 巨頭們,包括 Google、微軟等等都已投入巨資到資料中心建設中,根據資料中
心的作用,可以將資料中心分為企業資料中心和網際網路資料中心兩類。
企業資料中心(Enterprise Data Center, EDC) , 通過實現統一的資料定義與命名規範、集中的資料環境,從而達到資料共享與利用的最終目標。如果是具體的企業或單位,資料中心就是業務資料儲存技術+資料倉儲,當然,有的單位只有資料倉儲,如科研單位,他們不做業務處理,只有分析需求。企業資料中心按規模劃分為部門級資料中心、企業級資料中心、網際網路資料中心以及主機託管資料中心等。通過這些規模從小
到大的資料中心,企業可以執行各種應用。一個典型的企業資料中心的裝置通常包
括:主機裝置、資料備份裝置、資料儲存裝置、高可用系統、資料安全系統、資料庫
系統等。這些元件需要放在一起,確保它們能作為一個整體進行執行。
·網際網路資料中心(Intemnet Data Center, IDC) .如果是網際網路公司,其資料中心就和普
通企業和單位的資料中心不同,因為網際網路的資訊實在龐大,不可能將所有資訊都存
儲到資料中心的資料庫中,資料中心也處理不了那麼多的資訊,所以網際網路環境下的
資料中心的作用就是加強網際網路資料的處理速度和效果。網際網路資料中心為網際網路內
容提供商、企業、媒體以及各類網站提供了大規模、高質量、安全可靠的專業化服務
器託管、空間租用、網路頻寬等服務。IDC是對商戶、入駐企業或網站伺服器群託管
的場所,是各種模式電子商務賴以安全運作的基礎設施架構,也是支援企業及其商業
聯盟(包括了分銷商、供應商、客戶等)實施價值鏈管理的安全平臺。
4. 1. 2 資料中心的發展歷程
- 巨型機時代
20世紀60年代以前,計算機使用大量的真空管作為計算部件,部件之間需要大量的線纜
連線,計算機的操作和維護很複雜,其總功率很大,在在超過 100萬kWh, 需要專門的供電和製冷系統,計算機的體積龐大,需要一兩百平方米的房間採仔放,而且當時的計算機主要用 于軍事用途。單獨存放巨型計算機的房間就是今天“資料中心”的雛形。
(1) 資料中心的鼻祖-大型機 ENIAC
在第二次世界大戰期間,美軍為了研製新型武器,在馬裡三州的阿伯丁設立了“強*
究實驗室”。但是研製新型武器所需的計算量讓研究人員大為頭疼,200名計算員不信必。
算,但是效率還是很低,他們迫切需要一種新型的計算器來完成這些緊重的計算工作。當他們正在為這一問題頭疼的時候,賓夕法尼亞大學莫爾電機學院的莫克利博士提出了試製第一臺電子計算機的設想。
1946年2月14日,人類收到了一個龐大的“情人節禮物”, ENIAC (Electronic Numeri
Integrator And Computer, 電子數字積分計算機)正式誕生,這是一個長30. 48米,寬1米,重達30噸,功率超過174kWh, 體內安裝了18000個電子管,花費48萬美元的龐然大物。它能
在1秒內進行 500 次加法運算或 400 次乘法運算,運算速度是當時最快的繼電器計算機的1000倍,是手工計算的20 萬倍,ENIAC 是世界上第一臺真正意義的數位電子計算機,其主機如圖4-2所示。
這臺計算機的總佔地面積約170平方米,採用電子真空管作為運算部件,電子射線管作
為儲存部件,沒有記憶體儲器。其執行和維護很複雜,每執行一個新的運算任務需要像搭積木一樣把運算部件進行重新搭配一遍,其電子管平均15分鐘就要燒壞一隻,因此需要有專人24小時進行值班維護。ENIAC被公認為是“資料中心”的鼻祖。
(2) 第一臺電晶體計算機-IBM 7070
到了20世紀60年代,計算機的真空管部件逐漸被品體管所取代,計算機的體積大幅減
小,運算速度快速提升,可靠性大幅增強,同等效能的計算機造價比電晶體時代大幅下降。IBM 的7070型大型機是世界上第一臺電晶體計算機,其主機如圖4-3所示。這臺計算機使用穿孔卡片輸入指令輸出結果,有32KB的記憶體,使用者資料在記憶體和一臺磁鼓之間切換。美國航空公司和IBM聯合開發了 Sabre 航空訂票系統,該系統使用了兩臺 7070型大型機,放在一單獨設計的資料中心中,每天處理84000個航空電話業務,自此計算機開始用於商業用途,企業級資料中心開始出現。
2、微型計算機/PC時代
到了20世紀70~80年代,小型計算機產業發展迅速,計算機朝著體積更小、效能更強
的方向發展。1973年,世界上第一臺具有桌面圖形介面和滑鼠鍵盤的計算機 Xcrox Alto 問世、其主機如圖4-4所示,Xerox Alto 成為此後蘋果公司 Macintosh和 SUN 公司Workstation的靈感來源,也是第一個所見即所得應用程式和第一個真正的Smalltalk整合開發環境的硬體平臺,1988年,CRAY Y-MP 巨型計算機的面市推動了高效能資料中心的發展,其主機如圖所示,當時美國國家大氣研究中心的計算中心就採用了這種機型 這段時間,很多企業開始使用小型化的計算機來進行公司業務操作和資料處理,業務流
程和業務資料與計算機的融合加深,許多公司開始將多臺計算機放置在一個房間中進行維護、管理。
到了20世紀90年代,PC (Personal Computer) 時代來臨,隨著 Windows和 Linux 作業系統的出現,PC 的使用快速普及,PC 開始出現在計算機機房中,並用價格昂貴的網路裝置通過C/S 模式的分時作業系統供多使用者共享計算機資源。效能快速提升的資料中心在不斷小型化的同時開始通過網路為多使用者提供共享資源和計算服務,現代資料中心的雛形開始逐漸形成。
3 網際網路時代
20 世紀90年代中期,隨著網際網路浪潮的到來,資料中心出現了真正的大發展,很多公司 都需要高速、穩定的網際網路連線以保障企業的網路業務,這個時期很多公司都建立了大規模的網際網路資料中心(Intemnet Data Center, IDC) .此時的IDC 不僅是一個網路概念,還是一個服務概念,它是網路基礎資源的一部分,提供了一種高階的資料傳輸服務和高速接入服務。IDC提供給使用者綜合全面的解決方案,為政府上網、企業上網、企業IT管理提供專業服務。
網際網路資料中心必須具備大規模的場地及機房設施,高速可靠的內外部網路環境,系統
化的監控支援手段等一系列條件的主機存放環境。基於這一環境,IDC 對外提供依託於
Internet 的一系列由主機託管到應用外包等不同層次的服務。
4、雲端計算、大資料時代
巨型機、微型機和網際網路是資料中心發展歷程中的關鍵性結點。在巨型機時代,計算是
集中式進行的,所有計算均在巨型機上進行,科學家們根據具體的計算任務進行操作,巨型機的主要功能是科學計算。到了微型計算機PC時代,企業的業務系統等應用部署在計算機上,應用系統在資料中心處於核心地位;在網際網路時代,應用系統是資料中心的伺服器核心,這個階段應用系統在設計的時候一般固定執行在若干臺託管的伺服器上,當業務系統的壓力變化時,無法動態、實時地對伺服器叢集規模進行調整。
雲端計算、大資料時代對於資料中心的安全性、穩定性、叢集管理、能耗問題、環境影響等方面提出了更高的要求。因此,雲端計算、大資料時代的資料中心中託管的不再是客戶的裝置,而是計算能力和IT可用性,雲資料中心應運而生。雲資料中心中,資料在雲端進行傳輸,雲資料中心為其調配所需的計算能力,並對整個基礎構架的後臺進行管理。雲資料中心在 軟體、硬體兩方面執行與維護,在軟體層面不斷根據實際的網路使用情況對雲平臺進行除錯,在硬體層面保障機房環境和網路資源正常運轉調配。雲資料中心為使用者提供完整的 IT 解決方案,使用者可以在完全不用操心後臺執行情況下,擁有充足的計算能力可供使用。
Google的資料中心是雲端計算大資料時代典型的資料中心
Google 很早就引入了軟體方式實現資料中心的自動化運維,提升運維效率,增進客戶體驗。軟體定義技術可以為大規模使用者提供快速靈活的多租戶異構資源配置、隔離和供應。軟體化技術解決了儲存和網路的瓶頸,通過虛擬化技術實現儲存和網路虛擬化,可以極大地提高資料中心的資源利用效率,為客戶快速提供虛擬化資料中心業務,讓每個客戶都感覺擁有獨立的一體化資料中心。Google 資料中心叢集化部署和集約化部署成為發展趨勢。叢集化部署,相當於將多個資料中心形成一體,大二層網路建設成為趨勢,SDN 在這裡有了用武之地。而集約化部署則可以節省資料中心之間的互動成本,也有利於降低部署和運維成本。
4. 1. 3 資料中心的組成及建設原則
- 資料中心的組成
資料中心主要由基礎設施、硬體設施、基礎軟體、管理支撐軟體構成,各部分的主要組
成如下:
- 基礎設施:機房、裝修、供電(強電和UPS) 、散熱、佈線、安防等設施。
- 硬體設施:機櫃、伺服器、網路裝置、網路安全裝置、儲存裝置、災備裝置等。
- 基礎軟體:作業系統、資料庫軟體、防病毒軟體等。
- 管理支撐軟體:機房管理軟體、叢集管理軟體、雲平臺軟體、虛擬化軟體等。
- 資料中心建設原則
資料中心核心建設內容包括:資料資源建設,資料服務系統建設,以及與之相關的技術標準和規範、網路及軟硬體基礎平臺、資訊保安系統等方面的建設。資料中心的建設應堅持如下原則。
(1) 規範化
破 為了保證資料共享互換,資料中心必須遵循統一的資料標準及相關的規範,優先採用國 家、行業標準,同時積極採用國際標準,並結合實際應用制定相關標準,使科學資料資訊便於各類使用者使用。
(2) 網路化
資料中心宜採用網際網路技術實現資訊資源的共享與釋出,成為基於網際網路技術的網路化
資訊管理平臺,以實現資料中心的網路化共享。
(3) 安全性
資料中心必須提供配套的資料系統安全和訪問安全的相關技術措施,以保證資料中心的
安全。
(4) 實用性
資料中心應最大限度地滿足資料整合、資料管理與資料應用的需要,資料中心的系統
應易於使用、介面友好、智慧化。便於管理維護,應提供資料更新、資料備份、系統擴充套件等功能,同時具有與其他系統實現資料級共享、協同工作的能力,從而實現資料中心的最大化利用。
(5) 可擴充套件性
資料中心應充分考慮資料在不斷變化增加的現實,同時也要考慮使用者對資料共享與分發
服務的需求、各行業業務發展對資料的需求,軟硬體技術的發展等,在保證軟硬體的升級更新不會給企業系統使用帶來困難的前提下,不斷提升資料中心的服務能力,從而保證資料中心具有長久的生命力。 4. 1. 4 雲端計算、大資料時代的資料中心發展趨勢
(1) 規模化:大型資料中心更受市場青睞
近年來,資料中心的建設規模不斷擴大,許多超大型資料中心規劃建設的規模基至:
佔地數十萬平方米。從市場接受度來看,資料中心行業正在進行洗牌,使用者更願意選擇技術力量雄厚、服務體系上乘的資料中心服務提供商。未來的資料中心將朝看全球化、國際化、規模化發展。
(2) 虛擬化:傳統資料中心將開展資源雲端遷移
傳統的資料中心之間,伺服器、網路裝置、儲存裝置、資料庫資源等都是相互獨立的
彼此之間毫無關聯。虛擬化技術改變了不同資料中心間資源互不相關的狀態,隨著虛擬化技術 的深入應用,伺服器虛擬化已由理念走向實踐,逐漸地嚮應用程式領域擴充延伸,未來將有更多的應用程式基於虛擬化技術向雲端遷移。所以,傳統的資料中心將進化為雲資料中心轉變。
(3) 綠色化:傳統資料中心將向綠色資料中心轉變
不斷上漲的能源成本和不斷增長的計算需求,使得資料中心的能耗問題引發越來越高的關注度,資料中心建設過程中落實節地、節水、節電、節材和環境保護的基本建設方針,“節能環保,綠色低碳”必將成為下一代資料中心建設的主題。
(4) 集中化:傳統資料中心將步入整合縮減階段
分散辦公的現狀,帶來了相互分散的應用系統佈局。然而,現實存在對分支機構資料進
行集中處理的需求,因此,資料中心集中化成為一種必需。未來,隨著技術的發展,資料中心整合集中化之勢將愈加明顯。
(5) 低成本:資料的價值逐漸凸顯並且成本更低
虛擬化技術提高了資源的利用率,簡化了資料中心的管理維度並有效節省了維護成本,成本降低的同時還能實現資料的價值最大化。
相關文章
- 呼叫中心資料入庫指令碼指令碼
- 以資料為中心的資料安全基礎能力建設探索
- 小資料研究中心:2021年小資料戰略白皮書
- 資料港張北資料中心啟動儀式
- 聊聊如何將資料同步到apollo配置中心
- 以南昌為中心佈局大資料走廊大資料
- 清華大學大資料研究中心成立大資料
- IAB:2020年以資料為中心的企業
- “以資料為中心”的數安實踐感悟
- 哪個國家的資料中心最多?(附原資料表)
- 帝國cms備份的資料庫資料夾-帝國CMS備份中心資料庫
- 大廠的資料質量中心繫統設計
- 訂單中心,1億資料架構,這次服了架構
- 吳恩達:以資料為中心的人工智慧吳恩達人工智慧
- 國家林業和草原局資訊中心大資料處正式成立大資料
- SAP MM 物料主資料利潤中心欄位之修改
- 使用者中心,1億資料,架構如何設計?架構
- IAB:2018年以資料為中心的組織報告
- 去中心化大資料儲存的開源方案:Storj中心化大資料
- 美創科技以資料為中心的安全治理實踐
- SAP資料中心概述
- 北京供銷大資料集團探索資料中心運維“新趨勢”大資料運維
- 以資料庫為中心的架構與以領域為中心的架構的區別 - DevSDhami資料庫架構dev
- 區塊鏈不只有去中心化:基於 IPFS 加密的去中心化資料應用落地分析區塊鏈中心化加密
- 國家級大資料工程研究中心落戶京東大資料
- yml配置從nacos配置中心取資料(單個或多個)
- 未來的資料中心
- db2 資訊中心DB2
- 異地資料中心的資料實時同步,該怎樣智慧化實現?
- 資訊科技研究中心:2020大資料標準化白皮書(附下載)大資料
- 資料中心是什麼?雲學院帶你開啟資料中心之旅
- 【Longhash資料分析】區塊鏈的去中心化是謊言嗎?區塊鏈中心化
- 以資料為中心 英特爾在創新路上火力全開
- 資料庫最佳化案例—某市中心醫院HIS系統資料庫
- Databricks收購了以AI為中心的資料治理平臺OkeraAI
- 使用nacos做dubbo的註冊中心服務列表沒有資料
- [原創]如何利用雲安全運營中心監測資料洩露
- 天津麒麟簽約“京津冀大資料協同處理中心”大資料