黃仁勳：序列計算過時平行計算是未來

上個月，NVIDIA公司聯合創始人、總裁兼執行長黃仁勳先生親自來華，主持了2010年度GPU高效能運算峰會（GPU High Performence Forum 2010），並且親自帶領NVIDIA公司眾多員工和媒體記者朋友們，共同參觀了位於天津濱河新區的國家超級計算機天津中心。

　　詳細的報導大家可以參閱：

　　

GPU計算峰會:黃仁勳自曝大學青澀照片

　　黃仁勳:GPU加速超級計算機實現民用化

　　最強超級計算機！天河一號A 內部探祕

　　會後NVIDIA公司聯合創始人、總裁兼執行長黃仁勳先生，以及國家超級計算天津中心劉光明主任和楊燦群教授，共同接受了媒體記者們的採訪，就GPU計算以及世界最強超級計算機“天河一號”等大家感興趣的內容，做出了官方權威的申明。

　　
　　下面筆者就將採訪內容整理出來，供大家參考。

　　記者：天河一號A裡面用了14336顆至強處理器，還用了7168顆的NVIDIA Tesla。我想請問一下，在HPC裡頭，CPU和GPU數量的平衡是有什麼因素來決定的？

　　劉光明：基本上，GPU負責一些複雜的平行計算，而CPU負責比較規整的計算。根據現在的應用情況跟我們的實驗結果，這種配比比較合理，實際執行效果能達到2：1這是我們在去年9月份做了一個實驗之後，覺得這種配比比較合理。

　　記者：如果未來應用有變化的話，這個比例還會有變化是嗎？

　　劉光明：現在這臺機器不會變了，因為硬體上已經固定了。至於未來，現在是千萬億次，到了以後萬萬億次，百萬萬億次，這個結構有可能會變，還要做研究才能下結論。

　　
　　記者：你好！我想問一下天河一號A最大效能比上一代提升了4.4倍，系統的效能也從16.7%一直到53.3%，但是比傳統上的CPU能耗可以下降1/3。請問一下是採用了哪些的技術達到這樣的效果的？謝謝！

　　楊燦群：天河一號A這一代系統從實用效能到計算效率大幅度的提高，主要有一下幾個方面的原因。第一，我們採用了自己的高速度網際網路絡，這個網際網路絡的效能大幅度的提高了，對應的軟體優化技術也提高了。這個軟體優化主要是針對全系統的。

　　另外還有一個原因，我們能夠構架這麼大的系統，系統也能夠穩定執行。在天河一號A上，這一代計算機採用了NVIDIA的GPU，這款GPU是專門針對高效能運算或者通用計算所設計的。

　　記者：現在的GPU與最新的四核CPU相比的話，第二代TeslaGPU處理器能否以大約1/20的功耗以及1/10的成本實現同等級的效能？NVIDIA將來會有哪些方法來推廣Tesla產品？

　　黃仁勳：GPU+CPU這樣一個架構一方面它的計算效能非常高，同時它的耗電量又非常低。這是一個常識，如果你用比較合適的處理器來處理一定的任務的話，那你的速度一定會更快一些。中國幾乎每一個孩子都知道，如果你玩計算機遊戲的話，效能最高、最好的辦法就是用GPU。我們實際上推出的GPU產品是一個通用運算的GPU，因為我們在設計的時候就有一個想法，現在已經實現了，不僅僅它可以用來玩遊戲，另外還有一點，它可以解決高效能的數學的計算。

　　樑教授、劉教授，還有楊教授他們做的中心有一點，在幾年以前，他們就意識到科學計算的重要性。GPU在科學計算當中，幾乎所有的人都認識到如何用GPU去高效能運算是效率非常高的。在全球比較領先的關於高效能運算的一本雜誌叫《HPC Wire》，他們就在這個星期發表了一篇文章，用GPU去進行高效能運算是世界上現在最重要的趨勢。

　　現在這個使用CPU+GPU的異構計算的趨勢已經變得非常清晰，但是在兩年以前，使用現在的架構風險是非常大的。劉教授和楊教授在兩年以前就看到了這一點，就是從事視覺方面的嘗試，他們是非常有遠見的。對於劉博士和楊博士非常的讚賞，在這裡再一次恭喜他們，因為他們的遠見，他們創造了世界上最快的超級計算機。

　　天河一號A現在已經設定在世界上高效能運算機的一個新的標準，也提升的人們對高效能運算的期望和期待值。中國政府非常有遠見，一直在鼓勵高效能運算和利用高效能運算做科學的探索和發現，在這方面不斷的投資，這是非常有遠見的。

　　今天在高效能運算方面投資非常的重要，因為高效能運算實際上是科學探索和科學發展的一個有效的工具。在高效能運算方面投資，和我們現在在投資建立公路、投資汽車、投資網際網路一樣，對於未來非常重要。今天投資高效能運算可以引領我們不斷的發掘、探索新的科學和新的技術。今天科學家們在這裡從事著高效能運算工作，不僅僅是對科學家來說非常的重要，對所有的業界都是非常重要的。

　　劉博士剛才提到，有很多在高效能運算方面的應用，比如生命科學，發現新的藥物，延續人們的生命，保護人們的生命。他也介紹了運用超級計算機設計更好的汽車。也介紹到我們可以利用高效能運算機去製造和創造今天的電影或者電視連續劇。所以很顯然，超級計算對於我們現在生活和工作當中的各個方面都顯得非常重要。這也是為什麼目前Tesla在全球所有主要的超級計算機當中都有應用，而且非常成功的原因。

　　我們的戰略是鼓勵所有的公司都在他們公司內部開始使用基於Tesla的超級計算機，通過這些，他們不僅僅可以加速和開發他們的產品和設計，也可以縮短他們的產品進入市場所需的時間。目前，在全球前10個最高效的超級計算機中有7個是基於Tesla的。全球十大最高效的超級計算機，其中有7臺是基於Tesla。所以這就呈現了一種趨勢，這個趨勢就是未來，越來越多的公司或者所有的公司，他們的超級計算機都會是基於Tesla的。我們相信Tesla超級計算機會佔有很大的市場。這也是為什麼我們和全球領先的公司，比如HP、IBM、戴爾公司、Cray，Silicon Graphic，還有浪潮，一起不僅把超級計算機，也把基於Tesla的高效能工作站帶到市場上。現在可以在全球任何一個國家，通過任何一家計算機廠商去購買基於Tesla的超級計算機。

　　希望回答了你的問題。謝謝！

　　記者：現在硬體的銷售越來越依賴於應用方面的擴充，所以我想問一下，NVIDIA在應用方面有沒有想要做一個平臺，類似於蘋果的應用商店，把整個程式移植到和硬體的使用者聯絡到一起？

　　黃仁勳：你說的不錯，在推廣新的硬體產品的時候，一定需要軟體的幫助。我們投入了大量的資源去傳播新的資訊和技術，就是怎麼樣用並行的技術去程式設計。GPU是並行的，CPU是序列的，CPU每一次只能做一個工作， GPU可以同時做很多的工作。

　　一方面，我們要建立一個全新的架構，在平行計算當中擁有非常高的效率。另外一方面，我們也要去推廣和教育全球所有的技術人員和程式設計人員怎麼樣運用新的方法，通過平行計算進行程式設計。針對CUDA的程式語言推廣已經持續了一段時間，現在全球有400多個大學已經開始把CUDA作為他們的教程。現在針對CUDA的教學書籍和參考書籍也非常多，有漢語、日語英語，還有俄語，不同語言的版本。

　　現在全球目前有超過10萬餘個CUDA的註冊程式設計人員。很多其他的主要領先軟體廠商，他們新的軟體也都支援CUDA，比如說像Adobe一個新的軟體叫Creative Sweet。第一個用於科學研究的計算軟體叫Matlab，他們也支援CUDA。全球排名第一的工程設計以及模擬方面的軟體叫Ansys，他們也全線支援CUDA。另外全球第一的流體力學模擬軟體Amber也支援CUDA。全球目前數字創作當中最強的軟體3Ds MAX也支援CUDA。我們現在還有很多的開發工作在做，還有很多的軟體需要逐漸的擴充套件到CUDA程式設計中去。

　　全球在CUDA軟體的開發和推廣方面，發展速度是非常快的。現在全球最快的超級電腦裡面有CUDA，世界上最快的超級計算機裡面有CUDA，日本的最快超級計算機裡面有CUDA，俄國、美國的最快超級計算機都有CUDA。這個時候，軟體開發人員如果他們需要超級計算機做軟體的時候，他也需要了解和學習CUDA。另外一方面非常重要的是，全球幾乎所有的個人電腦裡面都有CUDA的晶片。蘋果、聯想、戴爾、HP，幾乎所有的公司都推廣CUDA，如果你在這些商店去買計算機的話，裡面都有CUDA的推廣人員。所以CUDA無處不在。

　　有一點非常的重要，在這些企業應用當中，有很多不同的應用程式，但是一個或者兩個應用程式佔用了CPU 70%、80%、90%甚至更高的計算能力，一兩個程式幾乎使用了所有的計算能力。不是所有的程式都同樣的重要，如果能夠針對這一兩個非常重要的應用提高它的效能，其實能夠整體極大的提高他們計算的效能。

　　記者：藉助NVIDIA的Tesla，中國的超級計算機取得了世界領先的成績。我想中國要保持這種領先的成績，在未來，需要做哪些方面的努力和創新？第二個問題，NVIDIA在這個過程中，對中國未來的超級計算機將會提供哪些支援？謝謝！

　　劉光明：剛才我給大家講過，中國的要效能計算機的發展經歷了將近30年的歷程，從78年開始，以銀河1號為代表，中國就全面開展了高效能運算機的研製，這個研製並不是為了在世界上去爭排名，確確實實是因為我們國家急需這樣的高效能運算機。作為天河來講，經過32年的積累，在怎麼做高效能運算機，特別是研製承擔國家科技部“863”這個專案，千萬億次級別的高效能運算機研究過程中，遇到了一個世界性的難題，就是怎麼去做。從2005年到2007年一直在研究，通用CPU我們這也有，我們的“飛騰1000”，在技術上怎麼用別的有的稱為協處理器，有的稱為加速器，這種結構也就叫做異構的結構去解決世界的難題。這裡面過去實驗過我們自己的流處理器晶片，當時叫“飛騰100”，去年我們用的是AMD的，最後發現了NVIDIA的晶片的效能更好。

　　有一點請各位朋友注意的是，超級計算機做出來運算峰值能做到4700萬億次，平均值2566萬億次，世界第一。但這並不等於你能把這個機器在實際運作中，能用的非常好。實際上在高效能運算方面是兩個問題，第一個是怎麼把這臺計算機做出來，綜合效能是不錯的，剛才楊教授介紹了，這就涉及到一個體繫結構的問題，涉及到我們計算部件的系統（計運算元系統），包括高效能的通訊系統。

　　第二個挑戰也是現在全世界都面臨的，就是它的應用。也就是說，解決實際問題怎麼去程式設計序。在這種通用CPU+GPU這種國際，國際上學術界稱為異構協同、並行處理，或者叫異構結構，它在程式設計上是非常困難的。這也是當今世界上，人們面臨的第二個大的技術挑戰，並不是所有的程式拿過來之後，都能夠在這個結構上用的很好，包括國外。所以我們現在有一個很好的團隊，像楊教授帶領的這麼一個團隊，從幾年前就在解決這個問題，應該說現在已經取得了非常好的成績。我們這一次能夠在實現4700萬億次情況下，能夠做到53%的計算效率，把平均值測到了2566萬億次，如果用同樣的結構去給別的使用者測，測不到這個水平，因為我們過去一直嘗試從事體系結構的研究，就是機器怎麼做，晶片的研製，知道這個程式怎麼劃分。

　　通俗的講，這樣一個結構裡面，大家算出來它的核，包括通用CPU的核，再包括GPU的核，幾十萬億次，18萬多個。什麼概念？就是一件工作你把它分為1000個人好分，1000個人你好領導，把一件工作分給18萬個人，而且要把他們協調起來，讓他們同步聽命令、聽指揮的幹好這件事，這在國際上也是個難題，對我們現在也是個難題，但是我們現在不斷的去解決，解決過程中有NVIDIA CUDA這樣的一個程式設計環境支援，又使這個難題開始解決了一部分，核心問題還要對物理過程分析怎麼去並行化，計算機一般有超級計算機有超級平行計算機，所以也就是並行。很直觀的講，18萬個人去幹同一件事，這個組織，令行禁止，然後統一的行動都是一個很難的事。大家可能知道，當個小班長、當個小團隊的老總很好當，當個大國企的領導就不好當了，也就是這個道理。

　　所以現在我們也在花很大力氣把應用，就是過去在通用CPU環境下的應用不斷的移植到異構結構，應該說我們取得了很好的成績，當然後面也還有大量的工作要去做，也請大家在宣傳的時候跟讀者們講清這個事。並不是說計算機做好之後就會用好，還需要我們進一步的努力，把這機器在這樣的結構情況下，在NVIDIA CUDA支援的情況下，還有新的技術上的突破、創新、進步的基礎上，把應用提升到一個更高、更實用的水平，使計算機天河一號A真正發揮它的實際用處。

　　黃仁勳：劉教授說的很對，平行計算是一個非常複雜、非常大規模的計算，它的困難非常的多，但實際上如果你解決了這些困難的話，它能夠帶來的收益和效率也是非常可觀的。平行計算今天遇到的問題是整個計算界在過去30年，一直不停想要解決的問題，但是過去30年一直都沒有成功過。

　　有多少個超級計算機的公司在全球真正開發出來異構計算、平行計算的呢？過去從事平行計算的這些公司今天都已經不再存在了，因為他們的技術和產品都沒有發揮作用。今天我們推出CUDA的新技術，實際上是異構計算，CPU+GPU的計算，一方面它很容易進行推廣，另外一方面，它有非常強的擴張能力。

　　革命性的一件事情是，花了NVIDIA公司很多年的時間來開發這個技術，也花費了我們幾十億美元的投資。在這個世界上，沒有任何一家公司在平行計算當中的投資能超過NVIDIA。我們今天可以看到，因為CUDA，平行計算有非常光明的前景。當然，像劉博士剛才提到的，在這裡我們還面臨著非常多的挑戰。在未來，我們需要不斷和劉博士及他的團隊進行合作，不斷地創造出更多或創造出下一代世界上最強的超級計算機。

　　中國已經非常清楚地認識到，開發和推廣超級計算機對於未來的知識、科學和技術的發展都有非常大的推動作用。我們公司非常榮幸，能夠和國內很多的科學家、研究人員、很到公司，還有很多的超級計算機中心一起合作，為超級計算方面的發展提供支援。在中國，超級計算機領域的進步以及中國在科學發展當中不斷的進步，會在全人類範圍內給我們提供好處。

　　各位知道，世界已經開始變得越來越小。現在對於知識、技術、科學的探索，對於全球整個人類都非常有益。我們會讓我們公司最強的技術人員和最強的技術隊不斷支援劉博士和楊博士以及整個超級計算天津中心，我們會用我們最出色的軟體工程師幫助劉博士的團隊開發和擴充新的軟體，在CUDA上發揮得更好。我們會盡我們所有的力量，不斷投入，保證在中國所有的大學都能教授CUDA的課程，中國所有的大學都有這方面的知識和能力去不斷的推廣和教授平行計算的新技術。我深信，所有的電腦科學家和工程人員，都要學習平行計算。序列計算已經是一個過去時，平行計算才是未來。

　　劉光明：非常感謝各位朋友到我們天津中心來，也感謝NVIDIA的黃仁勳先生來現場和我們一起探討超級計算領域現有的技術以及未來的發展，給予我們很多新的啟示。從天河一號A得到世界第一之後，獲得了世界和我們國家的關注，我們國家超級計算天津中心現在正在做兩件事兒，第一件事就是利用天河一號A，真正為濱海新區和天津地區的經濟發展做好科技服務，這是最關鍵的。未來，我們除了需要在高效能運算機方面做好科技服務之外，還會成立一個天津的雲端計算中心，儘管這是科學計算和資料服務兩件事，但我們會全方位服務於國家的發展。

　　第二方面，國家科技部在進行“十二五”高效能運算機的發展規劃，根據我們現在研製高效能運算機的經驗和積累的技術，會規劃一個未來符合國家整體戰略發展的新的更大的計算機，這一點在“十二五”期間肯定會實現。我也希望跟NVIDIA的合作過程中，不斷利用雙方的經驗、技術，為我們國家的高效能運算，為全世界高效能運算機的發展做出我們更大的貢獻。謝謝各位！