傳統上的叢集運算

wuwxixi發表於2018-10-11

大型叢集電腦設計其實從電腦誕生的年代就有了。 傳統上的計算主流偏向科學計算(例如氣候模擬、飛彈、流體力學)等 High Performance Computing。 這型別的演算通常用到大量的線性代數、大量的浮點數運算、但實際處理的資料多半不會太大。 

事實上,在許多學術及軍事機構中,還是有大量的這種超級電腦在進行演算以輔助研究。 它們從傳統上就與新進的大資料佔有不同市場, 使用的語言也不同 (fortran還是目前最快的 high performance computing language)

不過隨著網路科技的演進,我們有了一個新的大型叢集運算的需求。 我們每天在網路上的各種行為,都會被記錄下來:搜尋、逛頁面、買東西、逛facebook、看到的廣告等等。 

將這些資料蒐集起來並且拿來算錢,成了新的叢集運算新星。 處理這些資料時,和傳統的HPC非常不同。HPC的資料量一般不大,但需要大量的浮點數計算; 大資料技術則反之,資料量很大,但計算相較簡單。

 與此相對的硬體設計也完全不同。HPC的硬體叫做blade,硬碟很小,但CPU、記憶體、主機板通通都是高檔貨; 大資料的硬體則通常要求每臺主機都要有很大的硬碟,使得很多資料不需要在網路中傳輸,可以在本機計算就在本機計算。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31557820/viewspace-2215938/,如需轉載,請註明出處,否則將追究法律責任。

相關文章