工程師發明新技術,將雲端計算裝置效率提高達20%

pythontab發表於2013-03-12

2013年3月6日,加利福尼亞州聖迭戈----加利福尼亞大學和谷歌的計算機學者們已經開發出一種新方法,允許提供雲端計算的大規模裝置更高效地執行。這一新技術可使這些倉庫規模的計算機提高達15%-20%的效率。谷歌已經開始使用這一新模型。在2月23日至27日在中國召開的IEEE國際高效能運算機體系結構研討會上,他們展示了研究成果。

計算機研究人員觀察了谷歌的一系列服務,包括Gmail以及其搜尋功能。他們使用了一種獨特的方法來開發其模型。他們的第一步是從正在執行的谷歌倉庫規模的計算機上實時蒐集資料。第二步是在受控的環境中在獨立的伺服器上用這些資料做實驗。"這兩步是關鍵'',唐凌家和馬斯說到----他們是聖迭戈雅各布工程學院電腦科學與工程部的員工。

“只看一個伺服器時,這些問題看起來很容易解決,”馬斯說到,他同時也任職於加州大學聖迭戈分校部加利福尼亞電訊及資訊科技研究院。“但是,當你看到數以百萬的伺服器時,問題就不好解決了。”

這是馬斯和唐凌家在他們新成立的克萊伯實驗室(Clarity Lab)所做的研究專案之一。實驗室的名字是由Cross-Layer ,Architecture and Runtimes.(意思分別是跨層、結構以及執行時間)這幾個單詞的首字母組成。馬斯將在四月十八日加州聖迭戈校園舉行的雅可布工程研究展覽會上展出部分成果。

“如果我們能在硬體設計與軟體棧之間架起橋樑同時發揮其巨大的潛力,那麼它就能提高網路服務公司的工作效率,並且大幅度減少大規模資料中心的能源足跡,”唐嘉凌說到。

研究人員在三個月內每天連續抽取65k的資料,這些資料來自執行gmail的谷歌伺服器的一個族群。經過分析,他們發現這一應用在接受伺服器周圍的資料時,執行的效果比遠離伺服器的情況好很多。但他們也知道,他們蒐集的資料會發出很多噪音,因為別的程式以及應用也在同一時間執行著。他們使用一些統計工具,試圖切掉噪音。但是還沒有成功,仍需要更多的實驗。

接下來,計算機工程師將在一臺可以控制該應用程式執行的獨立伺服器上測試他們的結論。在那些實驗中,他們發現資料的位置非常重要,同時,在一臺伺服器內特別是緩衝儲存器內對共享資料的爭搶也十分重要。

“資料被搶奪的地方正是應用程式非常關鍵的地方,”馬斯說到,“但這並不是唯一的影響因素。”

伺服器上安裝了多個處理器,反過來,這些處理器就可以擁有多個磁心。每個處理器上都裝有隨機存取儲存器,這樣無論資料放在哪,都可以迅速找到。然而,如果基於某種磁心的應用程式需要呼叫另一磁心中的資料時,它的執行速度就會減慢很多。工程師建立的模型就來源於此。

“在執行與資料之間是一個距離問題,”唐嘉凌說到 。

基於這一結果,計算機工程師們研發了一種叫做NUMS得分的新標準,它可以控制隨機存取儲存器在倉庫規模的計算機上的安裝情況。NUMA得分的完善可以提高15%--20%的效率。在共享資源使用中的效率提高甚至可以帶來更大的效果----這是馬上和唐嘉凌研究的另一個專案。

在加州大學聖迭戈哥分校雅各布工程學院,馬斯的研究團隊正在招收博士學生,同時招聘博士後精英。


相關文章