資料網格技術是什麼
網格技術基本概念:
一家票務公司要銷售滾石樂隊的告別演出門票,IT部門經理擔心,開始網上售票後,公司的伺服器和軟體會不會不堪重負?但實際上該公司並沒有增加數十個伺服器和儲存系統,有關IT人員只是擰開開關,將公司的骨幹網與一個“網格”相聯。結果公司在3分鐘內銷售了90萬張門票,沒有一個顧客因系統處理能力不足而被拒之門外。
上述情景並非可望而不可及。網格作為一種能帶來巨大處理、儲存能力和其他IT資源的新型網路,可以應付臨時之用。網格計算透過共享網路將不同地點的大量計算機相聯,從而形成虛擬的超級計算機,將各處計算機的多餘處理器能力合在一起,可為研究和其他資料集中應用提供巨大的處理能力。有了網格計算,那些沒有能力購買價值數百萬美元的超級計算機的機構,也能利用其巨大的計算能力。
計算的“烏托邦”?
Gartner公司的Rob Batchelder認為,網格的構想一直是計算領域的“烏托邦”,在科技應用上雖有巨大前景,但最大的缺陷是缺乏明顯的商業應用。自20世紀90年代在歐美出現以來,網格主要被用於幫助分散的大學研究人員分析粒子加速器和巨型望遠鏡的資料。但在過去的兩年中,網格的概念和GlobusToolkit已在研究和教育領域得到廣泛應用,數十項全球性的大專案採用這些技術,以挑戰科學計算中的海量計算問題。
目前網格技術雖主要為學術機構所控制,但企業也在陸續跟進。事實上,全球網格論壇(GlobalGridForum)的主要贊助企業就包括Unilever——一家以經銷肥皂、冰淇淋著稱的企業。與許多正在研究和評估網格技術的企業一樣,Unilever自己對於如何利用此技術仍秘而不宣。而Johnson&Johnson與Merck等製藥公司、BMW與波音等製造企業卻已利用這一技術的處理能力和儲存空間進行模擬試驗,例如藥品能否保護細胞免受病毒侵襲?飛機機翼是否會在暴風雨中折斷?
基因研究是網格技術的自然應用,這一領域所需的投資很難由一家企業來承擔,生物科技企業可用網格技術來分析基因資料;醫生可以用網格技術製作出病人器官的三維模型,作為診斷疾病的輔助手段;網格可以處理來自商店現金記錄或金融市場的資料流。其他行業,如航空、保險、運輸和國防,也會從中受益。如此看來,網格計算並非是可望不可及的烏托邦,其商業應用的廣闊前景就在眼前。
爭奪控制權
網格計算被譽為繼Internet和Web之後的“第三個資訊科技浪潮”,有望提供下一代分散式應用和服務,對研究和資訊系統發展有著深遠的影響。主要IT廠商早就為獲得網格計算的控制權展開了競爭。
Sun公司日前釋出了“網格引擎”企業版5.3的測試版,使企業內部的計算機網格更容易聯接,提供更好的管理和資源分配。網格引擎軟體提供了開放原始碼版本,自2000年釋出到目前為止,共被下載了1.2萬次,共有11.8萬個CPU利用該軟體進行管理。Sun公司技術產品營銷經理PeterJeffcock認為,網格計算有明顯的三個階段:群集網格、校園網格和全球網格,目前釋出的GridEngine企業版5.3使Sun向功能校園網格邁進了一步。Sun還與競爭對手一起支援AVAKI與Globus等行業組織,積極參與網格計算開放標準的建立。
Microsoft的研究部門也參與了各項分散式計算研究專案,包括容錯遠端檔案系統Farsite,以及建設分散式系統的Millenium;HP也表示將提供Coolbase軟體,使使用者可以透過Internet共享各種計算裝置;Compaq宣佈正在制定一個全球性的網格計算解決方案計劃,向尋求網格計算系統的客戶提供軟硬體和技術支援。為此,Compaq與加拿大PlatformComputing結盟,充分利用該技術,以及CompaqTru64UnixAlpha伺服器系統和執行Linux的CompaqProLiant伺服器,為使用者提供完整的、整合的、開放的網格解決方案。Compaq還建立了網格計算高階研究中心,繼續對該技術進行研究。日本的企業在網格計算方面也躍躍欲試。NTT宣佈將於2002年中期開展為期6個月的網格計算試驗,參與者包括了Intel、SGI等。
今年8月,IBM宣佈在網格計算領域投資40億美元,在全球建設40家資料中心,正式進入網格計算領域。IBM被英國政府選中,負責NationalGrid(國家網格)專案,這項預算達2500萬美元的網格會把8所大學的計算機相連。IBM目前正與美國的賓夕法尼亞大學合作,將數家醫院聯接,構建一個複雜的計算網格。參與的醫院可快速利用遠方的醫療資料,並共享分析程式。日前,IBM還宣佈了一項名為北卡羅萊納生物資訊科學網格的專案,涉及60家企業、大學和生物醫學研究公司,這是全球第一個主要由私營行業參與的網格專案。而此時距IBM進入網格計算領域僅僅3個月。看來IBM是要立志做網格技術的“領頭羊”。
那麼,這一專案的實施是否標誌網格計算已開始進入商業應用呢?
標準是成功關鍵
就像TCP/IP協議是Internet的核心一樣,構建網格計算也需要對標準協議和服務進行定義。目前,包括Global Grid Forum、研究模型驅動體系結構(Model Driven Architecture)的物件管理組織(OMG)、致力於網路服務與語義WWW研究的W3C,以及Globus.org等標準化團體蠢蠢欲動。
今年7月,OMG、W3C、Grid Forum等標準化組織與來自學術、商業領域的人士出席了“軟體服務網格研討會”,加快全球大網格(GGG)標準的制定。接著,另一開放原始碼網格標準組織——Globus也集會研究透過廣域網聯接的高效能運算的基礎設施問題。Globus目前正致力於開發標準的網格架構和其他技術。
迄今為止,網格計算還沒有正式的標準,但在核心技術上,相關機構與企業已達成一致:由美國Argonne國家實驗室與南加州大學資訊科學學院(ISI)合作開發的Globus Toolkit已成為網格計算事實上的標準,包括Entropia、IBM、Microsoft、Compaq、Cray、SGI、Sun、Veridian、Fujitsu、Hitachi、NEC在內的12家計算機和軟體廠商已宣佈將採用Globus Toolkit。作為一種開放架構和開放標準基礎設施,Globus Toolkit提供了構建網格應用所需的很多基本服務,如安全、資源發現、資源管理、資料訪問等。目前所有重大的網格專案都是基於Globus Tookit提供的協議與服務建設的。
除了標準以外,安全和可管理性、IT人才的缺乏也是網格計算亟待解決的一個問題,否則將無法成為企業的商業架構。在內部系統環境中常常視而不見的問題,如安全、認證和可靠性,在任何分散式環境下都必須得到解決。研究諮詢公司StencilGroup的合夥人Brent Sleeper認為:“這要求具有高層次的架構技能,而不是簡歷上列出的程式語言。”如果把全球的網格都聯在一起,那麼就能借用彼此未用的資源,網格就會更強大和靈活。雖然這也是網格的最終目標,但把網格聯在一起也會帶來政治問題。IBM為大學建設網格或Unilever建設內部的網格都只是單純的IT決策,而將私有網格聯接,形成能力更大的共享網格,其中的風險卻大得多。在客戶需要時,相互競爭的網格提供商是否願意出售彼此多餘的資源?此外,網格應用常涉及大量的資料和計算,需要在各組織間共享安全資源,這不是當前的Internet和網路基礎設施所能做到的。看來在網格計算實現商業應用之前,還有很多的問題需要解決。
然而,設想一下運用前所未聞的計算能力所能完成的工作,我們都會明白,構建全球網格的前景幾乎是無法抗拒的。美國Argonne國家實驗室的科學家Rick Stevens指出:“就像最初的Arpanet成為Internet的中心一樣,就把Teragrid看做是形成全球網格中心的雛形吧!”
網格的商業應用
生物醫學:網格可提供藥品開發人員所需的計算能力,用以研究藥物和蛋白質分子的形態與運動。
工程:波音、福特、bmw公司都在嘗試用網格計算進行復雜的模擬與設計。
資料蒐集/分析:製造、石油加工、貨物運輸、甚至零售企業都要維護昂貴的裝置,時常會出現問題,造成不好的結果。同無線感測器一樣,網格能夠儲存和處理所有交易。
一家票務公司要銷售滾石樂隊的告別演出門票,IT部門經理擔心,開始網上售票後,公司的伺服器和軟體會不會不堪重負?但實際上該公司並沒有增加數十個伺服器和儲存系統,有關IT人員只是擰開開關,將公司的骨幹網與一個“網格”相聯。結果公司在3分鐘內銷售了90萬張門票,沒有一個顧客因系統處理能力不足而被拒之門外。
上述情景並非可望而不可及。網格作為一種能帶來巨大處理、儲存能力和其他IT資源的新型網路,可以應付臨時之用。網格計算透過共享網路將不同地點的大量計算機相聯,從而形成虛擬的超級計算機,將各處計算機的多餘處理器能力合在一起,可為研究和其他資料集中應用提供巨大的處理能力。有了網格計算,那些沒有能力購買價值數百萬美元的超級計算機的機構,也能利用其巨大的計算能力。
計算的“烏托邦”?
Gartner公司的Rob Batchelder認為,網格的構想一直是計算領域的“烏托邦”,在科技應用上雖有巨大前景,但最大的缺陷是缺乏明顯的商業應用。自20世紀90年代在歐美出現以來,網格主要被用於幫助分散的大學研究人員分析粒子加速器和巨型望遠鏡的資料。但在過去的兩年中,網格的概念和GlobusToolkit已在研究和教育領域得到廣泛應用,數十項全球性的大專案採用這些技術,以挑戰科學計算中的海量計算問題。
目前網格技術雖主要為學術機構所控制,但企業也在陸續跟進。事實上,全球網格論壇(GlobalGridForum)的主要贊助企業就包括Unilever——一家以經銷肥皂、冰淇淋著稱的企業。與許多正在研究和評估網格技術的企業一樣,Unilever自己對於如何利用此技術仍秘而不宣。而Johnson&Johnson與Merck等製藥公司、BMW與波音等製造企業卻已利用這一技術的處理能力和儲存空間進行模擬試驗,例如藥品能否保護細胞免受病毒侵襲?飛機機翼是否會在暴風雨中折斷?
基因研究是網格技術的自然應用,這一領域所需的投資很難由一家企業來承擔,生物科技企業可用網格技術來分析基因資料;醫生可以用網格技術製作出病人器官的三維模型,作為診斷疾病的輔助手段;網格可以處理來自商店現金記錄或金融市場的資料流。其他行業,如航空、保險、運輸和國防,也會從中受益。如此看來,網格計算並非是可望不可及的烏托邦,其商業應用的廣闊前景就在眼前。
爭奪控制權
網格計算被譽為繼Internet和Web之後的“第三個資訊科技浪潮”,有望提供下一代分散式應用和服務,對研究和資訊系統發展有著深遠的影響。主要IT廠商早就為獲得網格計算的控制權展開了競爭。
Sun公司日前釋出了“網格引擎”企業版5.3的測試版,使企業內部的計算機網格更容易聯接,提供更好的管理和資源分配。網格引擎軟體提供了開放原始碼版本,自2000年釋出到目前為止,共被下載了1.2萬次,共有11.8萬個CPU利用該軟體進行管理。Sun公司技術產品營銷經理PeterJeffcock認為,網格計算有明顯的三個階段:群集網格、校園網格和全球網格,目前釋出的GridEngine企業版5.3使Sun向功能校園網格邁進了一步。Sun還與競爭對手一起支援AVAKI與Globus等行業組織,積極參與網格計算開放標準的建立。
Microsoft的研究部門也參與了各項分散式計算研究專案,包括容錯遠端檔案系統Farsite,以及建設分散式系統的Millenium;HP也表示將提供Coolbase軟體,使使用者可以透過Internet共享各種計算裝置;Compaq宣佈正在制定一個全球性的網格計算解決方案計劃,向尋求網格計算系統的客戶提供軟硬體和技術支援。為此,Compaq與加拿大PlatformComputing結盟,充分利用該技術,以及CompaqTru64UnixAlpha伺服器系統和執行Linux的CompaqProLiant伺服器,為使用者提供完整的、整合的、開放的網格解決方案。Compaq還建立了網格計算高階研究中心,繼續對該技術進行研究。日本的企業在網格計算方面也躍躍欲試。NTT宣佈將於2002年中期開展為期6個月的網格計算試驗,參與者包括了Intel、SGI等。
今年8月,IBM宣佈在網格計算領域投資40億美元,在全球建設40家資料中心,正式進入網格計算領域。IBM被英國政府選中,負責NationalGrid(國家網格)專案,這項預算達2500萬美元的網格會把8所大學的計算機相連。IBM目前正與美國的賓夕法尼亞大學合作,將數家醫院聯接,構建一個複雜的計算網格。參與的醫院可快速利用遠方的醫療資料,並共享分析程式。日前,IBM還宣佈了一項名為北卡羅萊納生物資訊科學網格的專案,涉及60家企業、大學和生物醫學研究公司,這是全球第一個主要由私營行業參與的網格專案。而此時距IBM進入網格計算領域僅僅3個月。看來IBM是要立志做網格技術的“領頭羊”。
那麼,這一專案的實施是否標誌網格計算已開始進入商業應用呢?
標準是成功關鍵
就像TCP/IP協議是Internet的核心一樣,構建網格計算也需要對標準協議和服務進行定義。目前,包括Global Grid Forum、研究模型驅動體系結構(Model Driven Architecture)的物件管理組織(OMG)、致力於網路服務與語義WWW研究的W3C,以及Globus.org等標準化團體蠢蠢欲動。
今年7月,OMG、W3C、Grid Forum等標準化組織與來自學術、商業領域的人士出席了“軟體服務網格研討會”,加快全球大網格(GGG)標準的制定。接著,另一開放原始碼網格標準組織——Globus也集會研究透過廣域網聯接的高效能運算的基礎設施問題。Globus目前正致力於開發標準的網格架構和其他技術。
迄今為止,網格計算還沒有正式的標準,但在核心技術上,相關機構與企業已達成一致:由美國Argonne國家實驗室與南加州大學資訊科學學院(ISI)合作開發的Globus Toolkit已成為網格計算事實上的標準,包括Entropia、IBM、Microsoft、Compaq、Cray、SGI、Sun、Veridian、Fujitsu、Hitachi、NEC在內的12家計算機和軟體廠商已宣佈將採用Globus Toolkit。作為一種開放架構和開放標準基礎設施,Globus Toolkit提供了構建網格應用所需的很多基本服務,如安全、資源發現、資源管理、資料訪問等。目前所有重大的網格專案都是基於Globus Tookit提供的協議與服務建設的。
除了標準以外,安全和可管理性、IT人才的缺乏也是網格計算亟待解決的一個問題,否則將無法成為企業的商業架構。在內部系統環境中常常視而不見的問題,如安全、認證和可靠性,在任何分散式環境下都必須得到解決。研究諮詢公司StencilGroup的合夥人Brent Sleeper認為:“這要求具有高層次的架構技能,而不是簡歷上列出的程式語言。”如果把全球的網格都聯在一起,那麼就能借用彼此未用的資源,網格就會更強大和靈活。雖然這也是網格的最終目標,但把網格聯在一起也會帶來政治問題。IBM為大學建設網格或Unilever建設內部的網格都只是單純的IT決策,而將私有網格聯接,形成能力更大的共享網格,其中的風險卻大得多。在客戶需要時,相互競爭的網格提供商是否願意出售彼此多餘的資源?此外,網格應用常涉及大量的資料和計算,需要在各組織間共享安全資源,這不是當前的Internet和網路基礎設施所能做到的。看來在網格計算實現商業應用之前,還有很多的問題需要解決。
然而,設想一下運用前所未聞的計算能力所能完成的工作,我們都會明白,構建全球網格的前景幾乎是無法抗拒的。美國Argonne國家實驗室的科學家Rick Stevens指出:“就像最初的Arpanet成為Internet的中心一樣,就把Teragrid看做是形成全球網格中心的雛形吧!”
網格的商業應用
生物醫學:網格可提供藥品開發人員所需的計算能力,用以研究藥物和蛋白質分子的形態與運動。
工程:波音、福特、bmw公司都在嘗試用網格計算進行復雜的模擬與設計。
資料蒐集/分析:製造、石油加工、貨物運輸、甚至零售企業都要維護昂貴的裝置,時常會出現問題,造成不好的結果。同無線感測器一樣,網格能夠儲存和處理所有交易。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/35489/viewspace-84610/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【GIS前沿技術】什麼是網格化(Gird)GIS?
- 大資料技術 - 為什麼是SQL大資料SQL
- 大資料技術的原理是什麼大資料
- 奈飛的資料網格是什麼樣?
- 前端技術分享:什麼是MongoDB資料庫?前端MongoDB資料庫
- vr全景技術是指什麼?什麼是vr全景技術?VR
- 工業大資料的關鍵技術是什麼大資料
- Java技術分享:什麼是資料庫連線池?Java資料庫
- 什麼是cdn技術
- 什麼是技術債,為什麼要還技術債?
- 什麼是CDN?CDN的技術原理是什麼?
- 什麼是CDN加速技術
- 隧道代理技術是什麼?
- 網路爬蟲技術是什麼,網路爬蟲的基本工作流程是什麼?爬蟲
- 大資料技術有什麼優勢大資料
- 大資料技術有什麼特點大資料
- httpdns是個什麼技術,有什麼用httpdDNS
- 什麼是Code-Behind技術
- 什麼是好的技術文件?
- 技術美術師是做什麼的?
- 5G中網路切片技術是什麼?—VecloudCloud
- 什麼是網路安全?網路安全防範技術包括哪些?
- 到底什麼才是大資料技術?大資料的概念?大資料
- 一篇文章讓你知道什麼是大資料探勘技術大資料
- 為什麼說雲資料庫是商業的成功、技術的倒退?資料庫
- [重慶思莊每日技術分享]-資料泵匯出資料包39006是什麼原因
- 漫畫:容器技術docker是什麼?Docker
- 遠端訪問技術是什麼
- 通用爬蟲技術框架是什麼?爬蟲框架
- 影片CDN的技術原理是什麼?
- 什麼是SWOT商業分析技術?
- 什麼是MOST商業分析技術?
- 什麼是PESTLE商業分析技術?
- 前端開發技術-promise是什麼?前端Promise
- 什麼是人機互動技術?
- 什麼是大資料?大資料能做什麼?大資料
- Web前端技術分享:什麼是塊元素?什麼是行內元素?Web前端
- 什麼是網格變形?HyperWorks網格變形設定方法
- 什麼是大資料?大資料開發是做什麼的?大資料