網際網路與人工智慧的未來：奇點臨近專題沙龍

今年3月30日，Xlab(網際網路X實驗室)【網際網路與人工智慧的未來：奇點臨近專題沙龍】在中科院自動化所智慧大廈召開，會議時間為3月30日下午2:00-5:30，但由於嘉賓發言踴躍，沙龍研討到6:30左右才正式結束。令人感動的是，針對“奇點臨近”這一有科幻色彩的話題，眾多嘉賓仍然非常重視，不僅均應約赴會，且幾乎都準時到場。

《奇點臨近》一書的出版單位機械工業出版社華章公司對此次沙龍給予了大力支援，華章公司副總經理溫莉芳負責邀請到南開大學教授、《奇點臨近》譯者李慶誠教授出席沙龍併為到場嘉賓分享了《奇點臨近》的翻譯故事及其思想菁華。

為了方便整個沙龍過程的記錄，現將本次沙龍嘉賓的完整出席名單記錄如下：

與會嘉賓（排名不分先後）：

李慶誠 南開大學軟體學院教授（《奇點臨近》譯者，本期沙龍講者）
溫莉芳 機械工業出版社華章公司副總經理
劉 鋒 網際網路X實驗室聯合創始人，《網際網路進化論》作者
楊 靜 網際網路X實驗室聯合創始人，新媒體研究專家，網際網路前沿趨勢觀察者（本期沙龍主持人）
王萬良 浙江工業大學電腦科學與技術學院院長
馬旗戟 互幫國際高階副總裁
吳懷宇 中國科學院副研究員，《3D列印：三維智慧數字化創造》作者
常 疆 51CTO副總編
武衛東 圖靈出版公司總經理、總編輯
江 濤 科大訊飛公司副總裁兼天津訊飛資訊科技有限公司總經理
何萬青 英特爾公司中國區高效能運算和專業工作站方案架構師
萬 濤 IBM大中華區首席安全顧問 IDF實驗室創始人
趙嘉敏 東西網總裁，譯言網創始人
張雲泉 中國科學院計算所研究員，中國計算機學會高效能運算專委會祕書長
崔 軍 中國經濟網總編輯
陳熙霖 中科院計算所研究員，中國計算機學會副祕書長
餘 凱 百度深度學習研究院(IDL)常務副院長
戴小京 財訊傳媒總裁
譚曉生 奇虎360公司副總裁兼首席隱私官
陳 裡 三農、新媒體專家，管理學博士
胡世軒 上海帝聯資訊科技股份有限公司副總裁
趙婷婷 《CIO Insight/資訊方略》雜誌執行總經理

以下是整理出來的與會嘉賓就《奇點臨近》一書的觀點做進行的跨界研討記錄，部分內容已加以編輯刪改，作為收藏及參考之用。

【楊靜】我們特別歡迎機械工業出版社——本次沙龍的支援單位，我們從《奇點臨近》的譯者開始自我介紹，今天我們的沙龍講者是南開大學的李慶誠教授，非常感謝他發現了這本書，叫《奇點臨近》，也讓庫茲韋爾的“奇點理論”和“奇點教”在中國有發揚光大的機會，另外，這也是一個緣起，讓我們能相聚在這裡。

【溫莉芳】我特別感謝李慶誠教授這個團隊，他能夠信任我們這個出版社，能夠把這個書介紹給我們出版社，所以我們有幸出版了這本書。我們來自機械工業出版社華章公司，我自己實際上是從事科技出版這個工作，今年是整整三十年了，我是屬於機械工程這個專業出身，那我當時分在機械工業出版社，從84年到94年一直在出版機械工程方面的書，到了1994年，我覺得我們國家資訊科技已經大量起飛，感覺到這種資訊科技帶給我們未來經濟社會的發展是突飛猛進的，所以當時我跟我們的總經理提出我要出版計算機的書。後來我們有一個機會，華章公司是1995年成立的，我們是1996年年底加入了華章公司。到2010年底是17個年頭，那麼這17個年頭，華章公司引進了國外很多著名的技術發明和一些名校的老師寫的教材還有科技書，我想這十幾年確實對我們們國家在培養計算機科技人才的程式，還是做了一定的貢獻。那麼我們出版這本書，作為我們出版人，感覺到奇點真的能夠來臨嗎？機器的智慧是不是真的能夠超越人的智慧，我個人是特別的期待。其實我們任何的科技進步都促進著社會的進步，包括各種機器已經超越了人的體力。那麼未來個人也抱著樂觀的態度，書中提到 DNR，就是基因技術，奈米技術和計算機技術，它們能改變我們人的肌體構造，尤其是能夠延緩人的衰老，這個我覺得太好了。所以書中介紹，這些技術能夠帶動變革，成為指引，我想各位的專家，可能都是指引人，那作為我們出版界的出版人，我們願意作為這種奇點技術的傳播人，將技術更好地傳播給社會各個層面。這是我們的一種理想。

【李慶誠教授的演講】
南開大學軟體學院教授（《奇點臨近》一書譯者，本次沙龍講者）的分享讓我們瞭解到《奇點臨近》一書背後的出版故事，他對庫茲韋爾的思想體系進行了獨到解讀。李教授認為庫茲韋爾的奇點理論，未必在技術上能夠實現，但他所代表的科技與宗教人文結合的思潮值得特別關注。李教授認為在科技迅猛發展，甚至處於失控邊緣的當代，中西方思想的交匯對人類文明的存續會起到重要的作用。他認為儘管從電腦科學和人工智慧技術的進展方面看，奇點還很遙遠。但構成新世紀三大技術的基因學、奈米技術和超能計算機機器人(簡稱GNR技術)的互動，到底會突變出什麼結果很難預料。那麼GNR的共振是值得警惕的。作為電腦科學領域的學者，他並不擔心計算機發展速度會脫軌，而更焦慮於生物研究的控制無序，去道德化，認為一些科學狂人的做法，甚至會危及人類，應該適度控制。

李慶誠教授認為奇點臨近這本書反映了西方科學借鑑東方思維文化，從天地人、宇宙的立體視角審視問題，以歷史的客觀事實為基礎，分析規律，預測事物發展的走向。有三點值得學習：1. 全時空的視角，以歷史客觀事實為基礎，探求規律，預測未來；2. 從科技歷程出發，又能跳出科技，去審視問題；3. 融合各種科學的模式，思考問題。

【楊靜】非常感李慶誠教授的分享，我發現現在有一些國外的計算機學者，他們在寫頂級論文的時候，也開始用我們的漢語拼音作為題目，有的寫風水，直接用漢語拼音Fengshui作為論文題目，國外學者現在研究風水，瞭解陰陽，也是在研究我們中國的思想文化，確實如李教授所說，科技與宗教和人文的結合是趨勢，我們的跨界研討也是為了跨界融合。

【趙嘉敏】其實剛才李教授也講的差不多，庫茲韋爾每天也在探索實驗自己的學說。他每天要吃250片藥，希望在有生之年看到奇點的來臨。庫茲韋爾被認為是美國當代最有成就的發明家，他的名字刻在一個有名的紀念牆上。剛才李教授也談到了，人文和科技的關係，從李教授的角度看，他認為應該是人文領導科技的發展。但是從另一種角度看，人性也是技術的一種發明。換句話說，人性是科技的一個產物。如果從另一個角度來看，人和人的存在，人類文化的存在，都屬於階段性的，並不是長遠的。不過中國文化更強調人的因素。

另外跟大家談幾個名詞，三個，一個是基因，另外一個名詞就是叫做Meme，也就是文化基因，它可能是人類不同於其它生物的，我們今天可能更傾向於文化基因和生物基因不同，生物基因遵循達爾文進化論，文化基因可能更遵循拉馬克進化，所以文化基因的進化速度會大大快於生物進化速度。這也是我們說為什麼人類社會進化的速度是在加快的。最後一個詞是技術基因，英文是TEME；科技基因具有文化基因的一些特徵例如加速進化，不同的是文化基因是有生物基礎的，而科技基因已經完全沒有生物基礎了。人類為什麼存在，為什麼能作為一個技術載體存在？這是技術文化傳播傳承的一個必要條件。一旦技術進化到能夠自己服侍自己的時候，就不需要生物載體了，這可能是最恐怖的，這意味著人類可以滅絕了，實際上就不需要了。提出這三個名詞會比較有意思，可以讓大家碰撞出一些火花。再退一步，今天我們還是面臨一個問題，人類社會到底還會不會再進化。因為在文化基因上我們已經看到了進化的這種潛力，拉開的距離會越來越大，人類社會存不存在分化的可能性？當然全球互聯可能會減小這種可能性，但不是一定，所以今天丟擲幾個問題大家討論。

【楊靜】趙嘉敏的觀點就是屬於技術決定論。一般而言，理工科出身的人更偏向技術決定論，而文科背景的人更注重人文關懷。今天沒有到場的吳甘沙，英特爾研究院院長在奇點問題上屬於理想派，他寫過一篇文章《與機器賽跑：與機器賽跑：Win or die》，總的觀點是機器智慧終將超越人類，其中的問題可用技術來進行優化解決。另一種是實踐派，也是在產業界推動人工智慧發展的代表人物。在中國，騰訊、阿里這類的網際網路企業，可能是以商業模式作為他們決勝市場的基因，但是在計算機前沿技術的探索方面，百度一直以技術基因見長。今天出席沙龍的嘉賓：餘凱先生，他就在做百度大腦專案，百度大腦還是要推出。庫茲韋爾被邀請在谷歌開設奇點大學，其實他有兩方面因素，一方面他也是猶太人，很多的網際網路企業，包括Facebook，也是猶太人創始，猶太人有一種宗教情結，他們也是技術宗教的信仰者，一直推動人類智慧的前進。谷歌的創始人之一佩奇已故的父親卡爾·佩奇（Carl Page），曾是一名電腦科學家，也是人工智慧的先驅之一。所以谷歌不懈追求人工智慧技術的發展，不斷推動人類進步，也是一種信仰。而且也就是為什麼谷歌將庫茲韋爾請到企業裡，實踐這個奇幻的理論，包括谷歌去投資一些機器人公司，成立X實驗室都是類似的戰略。那麼在中國，百度也有這方面的雄心。餘凱是人工智慧領域的專家，李彥宏成立了一個深度學習研究院，我研究了一下，以李彥宏和餘凱為首的這個研究院有八十多人，這個團隊很厲害，他們希望能夠做成中國的谷歌實驗室，同時百度已在矽谷設立一家新的人工智慧實驗室,取名“深層學習研究所”。餘凱是百度深度學習研究院的常務副院長，這裡我想請餘凱來分享一下他的觀點。

【餘凱】我自己的一個體會，技術是有善惡之分的，那麼作為一個從事技術行業的從業人員，我覺得技術必須要有方向，如果不加以控制的話，它會變成一個很糟糕的事情，但是如果加以控制，它會彰顯人性。我可以舉一些例子，網際網路當然是一個技術創新的一個成果，在過去的十幾年裡面，實際上網際網路是完全的在彰顯人性，你看網際網路讓人獲得這種資訊或者知識的能力變得更為平等，它讓一個人，無論在邊遠山村，還是在紐約華爾街，都可以平等的獲取知識，以前有巨大的這種差別，到現在的話被網際網路抹平了。比如說社交的微信，讓人和人之間有更為便捷緊密的交流，阿里，亞馬遜讓人們在家就可以購買東西，所以網際網路它能夠去產生一些模式，讓人類獲取更大的自由，獲得更多精神的愉悅，獲得知識的滿足，另外它的這種效率，也是跟以前完全無法比擬的。所以從這個角度講這是一個非常“善”的技術的發展。那麼從另外一方面，比如我們再舉一個惡例，就是原子彈的發明，實際上就是一個非常非常惡劣的東西，那這個東西雖然也是一個科技的巨大成功，但是它可能導致的結果是讓人類跌入一個萬劫不復的境地。包括我前段時間參加某個大會，有一個報告講的是某軍事院校的一個研究成果，可以自動的瞄準人頭部，直接爆頭，比任何一個神槍手都要做的好。我認為這個技術是一個非常惡劣的事，完全應該避免。所以我的觀點是，技術能擁有人文關懷是非常重要的，它有可能向一個邪惡的方向去發展，也有可能向從善和彰顯人性的、使人獲得充分自由的這個方向去發展。

我的話就是說對技術的方向，你的選擇，要有人文關懷，要有更大的胸懷來看這個問題。不是更多的考慮小我，而是考慮大我，如果能考慮整個社會，就是更廣泛範圍的利益的話，實際上就能夠獲得大家共贏的這種局面，這是我基本的觀點。

對於奇點臨近的問題，以過去我從事人工智慧行業十幾年的經驗，然後再看我的前輩，比如說在八十年代到現在整個的發展，人工智慧發展的這些年，其實我是很擔心的。因為我覺得整個產業確實是以非常快的速度發展，特別是過去的三十年裡，我覺得無論是網際網路行業，還是其他行業取得的進展，實際上跟技術能力本身的發展關係並不大。其實最大的兩個因素，我覺得一個是計算能力，另外一個資料量。就這兩年的話，實際上是發展得非常迅速。所以從庫茲韋爾的一些觀點，就是說價值1000美元的電腦的計算能力，是不是就是說所謂到2045年能夠超越人腦的計算規模，其實我覺得這個大家可以去想象。至少我從過去三十年的時間裡，看到的這種進展來講，是計算能力跟資料量的這種成長，整個人工（計算）智慧的這種發展走勢看是有可能的。我認為有了資料以後，計算能力不斷加強，我們可以去開發更好的東西。從過去30年來看，計算能力和資料量制約了人工智慧的發展，若說對於2045年奇點臨近的問題，我對機器智慧未來的發展是擔心的。

【楊靜】餘凱是對人工智慧發展的樂觀派，但業界也有謹慎派，例如我們的另一位嘉賓，中國計算機學會副祕書長，中國科學院計算所副所長陳熙霖先生，他對人工智慧的發展就持相對保守的態度。現在我們請他來分享下自己的觀點。

【陳熙霖】對2045奇點到來的結論我是不認同的。機器智慧很難超越人類，也許更像永遠處在逼近的過程中。 提到這裡首先涉及到如何衡量智慧的問題，如果僅僅是從記憶能力上看，或者計算能力上看，今天的計算機已經遠遠把人的能力甩在後面了。千百年來，我們很多工作都是希望延伸人的能力，從體力到智力。但從人類的智力活動來看，我們包括了記憶、聯想、歸納、演繹、判斷、思考、頓悟、甚至做夢等諸多智力活動，我們的智力還與情感有關，從這個意義上看機器智慧很難超越人類。現在所謂的超越，更多靠的是蠻力搜尋，超強的記憶。但這遠遠不夠，以圍棋為例，雖然今天19×19的圍棋盤上，機器還不是人類的對手，但如果是9×9的棋盤，可能機器已經是冠軍了，同樣，即使在某一天機器成為19×19圍棋的冠軍，恐怕又會面對29×29棋盤上人類的優勢。

另外，技術本身的善惡是不存在的，如何讓技術在一個法律和倫理框架下發展，需要好好教育我們的下一代，從一開始就要教育他們，先倫理、道德，然後才能技術。如果我們過早的讓他們看到技術的強大，結果會很可怕。你想為什麼，我們都從年輕過來的，在座的男士請回想你們最願意打架、最樂意捱打是什麼時候，從初中開始到高中，年輕的時候！人類也是一樣，當人類處在年輕的時候，也容易魯莽，就像現在我們在某種意義上，將人工智慧娛樂化了。

【楊靜】看來熙霖老師對奇點理論持比較保守的觀點。下面我們請高效能運算的專家，中科院計算所研究院張雲泉談一下他對奇點的看法。中國的天河二號超級計算機現在排名世界第一，那麼超級計算機能否進化出超越人類的機器智慧也是我們非常關注的話題。

【張雲泉】我認為機器智慧很難超越人類。現在的科技有創新過度的傾向，有些時候技術發展被資本的力量所綁架。創新的東西越來越快越來越快，我們跟不上了，我們剛消化一個東西，接著又來一個東西，然後又出現另一個。大家看過去，二戰以後創造的那些科技成果，人類享用了幾十年，大家過的很幸福。但現在自從網際網路出來了以後，情況大不相同，人被分成了很多的資訊階層：聽廣播的，讀報紙的，看新聞聯播的，刷微博，刷微信的，結果資訊綁架了我們。奇點我認為僅從超級計算機的技術發展狀況看，幾十年內實現的可能不大，但在資本的推動下，也有自我實現的可能。

【楊靜】中科院的兩位專家對奇點的態度都比較保守，下面我們來聽聽人工智慧專家的意見。請浙江工業大學計算機學院王萬良院長談談您的看法。

【王萬良】我給自己的學生講人工智慧的時候，經常這樣說：“大家沒有學人工智慧的時候，你感覺到很了不起，對人工智慧往往充滿激情幻想。但是當你學了之後，你會感覺到人工智慧其實還很初級，侷限性很大。我相信你們學了《人工智慧》之後，絕對會比現在理性。”人工智慧要真正超過人的話，它必須產生新的思想，必須自己產生新的演算法，而且是人沒有掌握的。我個人的觀點，只有在這種情況之下，人工智慧才是超過人的智慧，才會威脅到人類。許多人擔心由於人的誤操作，機器會失控。其實，這就像我們製造武器搞錯了，結果打在自己戰士身上一樣，完全可以避免。現在，不管它對我們未來有沒有威脅，它現在還小著呢，還不足威脅到我們人類的生命，還是讓它為我們人類服務。再說現在的人類，自我毀滅的可能性相比機器人毀滅人類的可能性我感覺是更大。

【楊靜】學界對人工智慧的態度都偏謹慎，讓我們再來聽聽產業界的看法。有請科大訊飛的江濤副總裁。

【江濤】我們科大訊飛一直走產學研一體化的路，在自動控制、雲領域與計算所也聯合成立了實驗室。因為原來也是一臺一臺寫程式碼的，對機器智慧超越人類智慧的問題也的偏保守的。我覺得沒那麼容易，實際上在戰略上，講未來會怎麼發展，但是具體做起來，舉我們迅飛自己的例子，迅飛早期從語音合成開始切入這個市場，語音合成就是機器把文字能夠讀出來。最早開始，80年代開始做語言識別的時候，大家說就是要理想化的，做了很多嘗試和努力，發現做出來的東西，就跟鬼叫一樣，後來這個方向被業界徹底放棄了，還有什麼呢？還是把人的錄音放在一起，然後剛才餘凱也講到，我們看到智慧的驅動，確實是靠運算能力。早期語音合成效果很差，現在的語音合成，我估計百度也進步很快，我們現在已經是多少G的系統，可能今天我們在這裡開會的開字，在我的系統裡可能有成百上千個部首項。這些說明什麼呢？就是跟人、跟智慧相關的東西，其實我們真正的還沒有研究透，人到底是怎麼發出聲音的，人到底是怎麼聽到聲音的，這是人腦的一些高階活動，我們沒法完成。當然講語音識別，最終還是把大自然賦予人的聲音給錄下來，我拿到錄音以後，但實際並不是機器真正瞭解整個發聲的過程，這有一個複雜的過程，而我其實是靠資料，有足夠的資料，如果沒有其他的發音，再加上足夠的運算能力，能找到對應的樣本。現在語音合成、語音識別作為人工智慧裡邊的一個分支，普遍被認為已經處理的比較好的，還僅僅是流程。包括語音之間也是，其實百度我們都這麼做的，業界都這麼做，找到足夠多的樣本，你對應的聲音，資料簡單的時候，我找到對應的，還是沒有真正理解大腦是怎麼聽的這個過程，還沒有把那個技術用進去。這些人腦的高階活動，我們沒法合成。

所以今天我很有共鳴的，李老師講的，GNR，就是未來的突破點在什麼地方？有可能這些技術發展過程中共振，真正的基因，生命科學發達，科學發展，可能到了一定階段能夠產生新的共振，目前靠計算能力，靠資料堆積的只能到一個點，不像語音識別，現在已經做到99%了，再往下，每一步的提升會越來越難，越來越會接近一個瓶頸。下一步的突破可能，我們只能預期，是GNR這些材料科學，生命科學互相交叉，可能會產生一個新的東西。但至少我們具體實際乾的，目前都不太可能看到未來有什麼新的機會，大家還是沒辦法，靠資料去推，靠計算能力去推，這個途徑越來越困難。

【戴小京】 我完全是門外漢，對這個領域很好奇。看了《奇點臨近》再聽各位討論，我覺得有三個問題很重要。第一個是機器學人，模仿人，在智慧上能否接近人或超過人？我覺得是否2045不重要，關鍵有沒有這麼一個時間能超過，有還是沒有？我傾向認為可能有（以前我認為可能沒有）。首先在形而下的能力上，剛才王院長講的乘法變成加法，機器通過加快運算，把複雜的拆成簡單的，多算快算，再複雜的方程開根號都能算出來。另一個在尋找目標的時候，我們不用高瞻遠矚，不用什麼直覺悟性，就盯住目標的差值反覆迭代，最後總能給你找著了。你只要給我足夠多的資料，有足夠快的運算，總能給算出來。而現在的運算速度顯然是越來越快，現在收集資料的能力顯然也是越來越快，傳遞的速度也越來越快，所以通過這種笨辦法，在形而下的問題上，機器應該很容易就超過人了，剛才陳熙霖老師講的這個圍棋，就算變成29×29，機器可能一下算不過你，但是我最後運算能力提高還是能追上你。

再就是人有時靠直覺。我想直覺一方面可能是後天養成習慣變成下意識的，這個機器不難模仿，另外則可能是經過幾百萬年的生物積累，基因積累，做出的一些選擇，我們說的也就是帶有直覺的，這個不太好模仿。剛才陳熙霖老師講的藝術家對藝術呈現的這種選擇確實不是邏輯理性的。但是隻要不是後天習得的，就應該能在基因裡頭找到這些原因。現在人類的基因學，微量痕量腦化學，加上奈米，加上腦電波掃描，加上快速運算，還有包括對非結構性資料的採集和處理，這些東西已經不是簡單的只侷限於把乘法拆成加法來運算了，機器恐怕也可以模仿直覺了。其實在現代生物科學進入基因層面研究的情況下，這些東西我認為看見曙光了，就算不是2045，但是它很可能是能達到的，所以說，奇點這個東西關鍵是y=1/x有沒有一個明顯小於1了還在不斷變小的x，x有沒有會明顯趨於零的這麼一個趨勢，一旦這個東西存在，你自然相信我們的y正在攀上去，而且會加速攀上去。它是哪年並不重要，重要的是它存不存在。這是關於第一個問題的想法。

第二個問題我更關心的就是機器什麼時候會反客為主。如果它在一些能力上，甚至在智慧、聰明的程度上都要接近或超過人類的時候，機器什麼時候會反客為主？我們一直說，剛才餘凱也說技術有沒有善惡的問題，其實關鍵是機器有沒有自己的主張。人是主人時候，善惡主要由人決定，但是機器一旦反客為主呢？機器會不會反客為主呢？自我主張的根源是情感區域。但是情感是怎麼來的？為什麼我們看到蛇就緊張，看到一些東西就害怕？其實也都跟基因積累有關，可能遠古人類感知到的東西現在在你這兒會表現出各種情緒，比如你一激動，脖子上的毛就會豎起來，你的肌肉會緊張，憤怒了你的牙就會咬，這都是基因幫你選擇的，你一憤怒就這樣了。人們對這個區域研究越來越深入。或者在某一個點上，剛才我們們幾位老師都表示對生物創新要警覺，但人工智慧技術要真是創新到哪一天，人們把那個情感密碼，包括價值觀什麼賦予了機器，你確定它不會產生自我主張嗎？你知道它不會反客為主嗎？所以這是一個點，但是如果有第一個點，我認為第二個點也是總有一天我們要碰到的。

第三，就算沒有第二個點，這第三點仍然是非常危險的，是什麼呢？《奇點臨近》裡面講的生物和機器的邊界越來越模糊，人和機器越來越融合。人的所有的問題，所有的衝突，迄今為止所有的災難和所有的幸福和痛苦都源於我們內心的糾結，人類內心本身都是矛盾的，但是好在人類能夠用一個群體的組織結構，保障不讓某個個別糾結崩潰引發特別大的問題，給人類帶來全面災難，即便如此這種情況也出現過，比如說希特勒。又如馬航事件的各種假說，有一種機長自殺假說，實際上說明現代技術其實會突然賦予某一個人非常大的權力，這種權力可能失控。今天這兒有許多懂技術的，都知道現在的資訊科技已經無孔不入了，而且能夠瞬間被操控，有時候有可能區域性的某一個人，他有機會控制了非常巨大的，足以毀滅人類好幾次的技術，而恰巧在那個時候這個人崩潰了他濫用了這個權力，也許人類就萬劫不復了。

【楊靜】關於失控的問題，我們問一下安全問題的專家，奇虎360副總裁譚曉生，他今天也是剛剛從另一個特別論壇趕過來，譚總自我介紹一下，另外請教您對於2045奇點臨近的觀點。

【譚曉生】《奇點臨近》這書我還真看過，所以推薦給大家讀一讀。剛才說到機器會不會出差子，其實不完全是理性判斷的，你想所有計算機程式都會有bug，因為在正常執行，哪怕適應了，剛才說機器人服從三定律，我在上中學的時候，看過阿西莫夫的小說，但是後來大家都沒想，你這個定律最後靠什麼去規約，是靠有一套監督機制去規約，這個監督機制會不會出錯，它完全可能會出錯，可能由於某個器件的故障，出錯了，已經變成1了，或者是有一束射線那時候剛好就過來了，0就變成1了，這個就可能會導致整個體系的崩潰。在計算機這個專業幹了二十多年，到最後現在的感覺是計算機系統是一套最不可靠的東西，它到處都是漏洞，人為的留後門這是一種，程式設計的能力不足，留的漏洞是一個，體系結構天然的缺陷是一些，還有一些偶然因素會觸發的，它的工作機制本身出了問題。剛才大家都討論多餘的假設前提，都是在現有的遊戲規則之下，你們有沒有想過遊戲規則會改變的？我們現在是用人類遊戲規則來做的，機器在跑起來之後，將來這個世界上可不可能存在另外一種不同的模式？這個計算機會不會執行另外一套邏輯，那套邏輯也可能是很差的，會變成一個機器一個樣，這是很難的，再加上人類中間人機化這種進化其實是有大量的組合，如果全部都是基因的組合，人的進化恐怕不是有這麼快，裡面有大量的基因突變。

剛才說到平板，基因射線，其實都是計算機系統或者是機器複雜的基因突變，基因突變這裡邊才會產生新的問題，但在規則未設立前，這個突變未來會變成什麼樣的，我覺得是極難預測的，現在這種計算能力本身，機器操縱人也有可能，再加上突變的可能，我覺得未來的世界人類完全變成邊緣化的，是挺正常的。

【陳裡】要為科技的未來發展建立科學倫理，哪些東西能做，哪些東西不能做要有規範，整個人類的進步應該是同步的，不能把人類社會往畸形發展，就像木桶原理，最長的木條即使很長，但最短的木條只要短了幾釐米，那個木桶也是廢的。科技發展必須以推動社會前進為前提，否則就成為反人類的了。人類是宇宙中意外的產物，是數十億年進化的結晶，我們要格外珍視，不能輕易毀滅它。

【楊靜】剛才陳里老師將技術發展引入全人類和全社會的巨集觀範疇，他的哲思與警示的確應該引發我們的再思考。可以說科學的責任，生命的未來，在我們手中。在這裡給大家推薦馬丁·里斯（Martin Rees），宇宙學與天文學教授，劍橋大學三一學院院長的一個演講。人類的體型和性格等物理特質近千年來都保持著不變，卻在本世紀，將被定向藥物、基因改良、人工智慧、甚至大腦植入等新科技所改變。這將是歷史的新一頁。天文學家裡斯爵士從宇宙全景的視角考察我們的星球和其未來，呼籲社會採取行動，否則本世紀將成為人類的最後一個世紀。馬丁·里斯曾認定科學是人類最偉大的集體成就，但在演講中也對科技的極速發展對宇宙進化歷程的改變表達了憂慮。確實，我們需要對生命獨一無二的美麗進行備份。另外，劍橋大學還設立了“終結者研究”中心，不同學科的著名學者在此研究超級智慧機器人及計算機可能對人類構成的威脅。里斯在其《我們最後的世紀》一書中警告說，人類的破壞性意味著人類物種將在2100年前毀滅自身。存在風險研究中心的三個聯合創始人均認為“人類技術進步可能很快對人類物種構成毀滅級的風險”。他們想把哲學、天文學、生物學、機器人學、神經學及經濟學等不同學科的學者聚集起來，以研究這些威脅。

【何萬青】對於2045這件事情有兩個點，第一個最擔心的事情是說不是擔心機器會怎麼樣，而是說如果把生物模擬基因的方式，半批判、半接受地結合在一起，放在一起，那既克服了人在某些情況下運用機器的不足，另外一方面用模擬的方法，不管他是放一個電解質或怎麼樣，這兩者加在一起完全可以克服這個問題。第二個問題，2045可能會無限推遲，原因是說往這條路上走，有太多的變數，但是我比較樂觀的一點是，好比現在的網際網路技術有很多。

【吳懷宇】儘管AI在確定性計算與簡單歸納層面是人類腦力計算的補充，然而在包含了情感、社會、心理、價值觀的模糊與巨集觀層面上還無法與人類智慧競爭，比如經濟、政治。根源在於機器缺乏類似於人類的荷爾蒙激素，無法產生進取心或者慾望，來催動自我意識、價值取向、乃至情感、藝術的形成。目前而言，機器智慧就像一個蹣跚學步的嬰兒，如果沒有人類需求（人類荷爾蒙所激勵）的驅動扶持，立即就會跌倒和迷失。因此，人工智慧能否抵達奇點，首先要有滿足人類需求的殺手級應用、符合當前技術水平的廣泛應用，這樣才能吸引廣大的資金和人員進來。跟3D列印的發展一樣，開源和分享也將是AI能否取得突破的關鍵因素。吳懷宇說：我有種感覺，什麼時候AI也開源了、網際網路分享化了，人人都可拿到最新的程式碼和資料了、全民投入進來了，AI就突破了。不能指望一兩個大公司，一兩個頂級研究機構，AI的發展和進步要全民皆兵。

【常疆】認為機器智慧或AI在計算與簡單歸納層面是人類腦力計算的補充，而在包含了情感、社會、心理、價值觀的模糊與巨集觀的角度無法與人類智慧競爭，比如經濟、政治;另一方面，由荷爾蒙、慾望催動的情感、藝術，則是機器AI無法撼動的，拐點在於機器形成自我意識，包括系統綜合學習、形成價值取向等。

【萬濤】我認為奇點，這個時間點可能已經發生，其實不在於我們去選擇，因為我覺得很難去預測某一年，但就好象今天我們反過來看工業革命，看這個時期一樣的。但是放在一個物種來說，一個人作為世界上的物種定了型以後，到今天這麼久了，沒有發生本質的變化，我覺得站在一個物種進化上不可接受。因此奇點其實已經出現，但是它不是一種所謂的點，它像一個黑洞一樣，機器人可能也不是我們想象的會以人的形式出現，這是由幾個條件決定的，一是今天的資料，這個資料包括了我們所有人類的知識，第二個是我們的言行，就是所有的社交網路，把這個社交網路資料化後的結果，然後包括我們形成資料的大量增長，這些客觀上為它提供了營養，所以它的模式可能不錯，就好像黑客帝國里人是它的母體。

【馬旗戟】奇點來臨及之後，也必須遵循宇宙演化的基本法則，但我們依舊（或許永遠）不能掌握。機器智慧演變是否屬於是生命生物形態，還是其他形態，我們依舊不能清晰。我們作為“奇點”來臨之前的存在，並不能界定來臨的形式，也無法想象來臨之後的一切，我們甚至不能界定何者屬於超越。人類似乎又在高估自身。

【崔軍】想說三句話，第一句，人類是有修正能力的。人類能夠製造出威脅人類的機器和技術，但是人類也足夠聰明，能夠建立制衡機制。真正對人類構成威脅的，還是自然的力量，人類在自然面前，不管多麼自以為是，實際上都是很弱勢的。大自然才是我們的上帝。過去一萬年，上帝沒有讓人類文明毀滅，未來一萬年可能也不會。因為上帝打個盹的時間，也要好幾萬年。至於上帝什麼時候醒來，我們猜不出來。

第二句話，是說相關性與因果性的關係。大資料研究的是相關性，科學家更重視因果性。如果在資料完全窮盡的情況下，相關性與因果性得出的結論應該是完全相同的。聰明的人類只要把因稍微改一下，果就變了，機器利用大資料得出的結論也就廢了。

第三句話，我們現在的一些說法的背後，有商業運作的原因。商業利益使一些概念被誇大。

【趙婷婷】奇點隨著人類的進化以及技術的發展，已經悄然發生了，只是發生的形態跟我們自身想像的能否匹配!不匹配不代表奇點不發生!2045年是否發生奇點，我們都要面對與接受，並適應他!機器人的善惡取決於製造他的人，而且堅信機器人再發達也不會泯滅人性的本質。

【胡世軒】可能有些事情直接由算機程式來說了算更有效率，它只要符合這些條件，那麼就可以放，不符合就不放，這才是更有效率的，這時候人想讓機器說了算。但是在我不想讓機器說了算的時候，我覺得總體來說我們通過一些辦法或者一些控制的方式是可以搞的定的，也就說未來的這個奇點是一個犬牙交錯的東西，實際上還是取決於人的意願，我想在這方面我說了算，就是人來說了算，而這部分我想讓機器來說了算，就由機器說了算。

【溫莉芳】科技也可能會失控，比如說作為一種頂層設計，哪些東西可做，哪些東西不能做，我覺得首先這個世界還沒有實現共享到全人類的統一的方案，畢竟這個世界上競爭，國家與國家的競爭是永遠存在的，我覺得可能是順應這樣一個發展，去爭取去引領這樣一個發展，我相信人類畢竟是邪不壓正，也可能短期某些邪惡的會佔上風。但是我覺得從長遠的角度來講，人類定能戰勝這種所謂的危險。

【劉鋒】機器智慧永遠逼近人類，就像人類永遠逼近上帝的能力一樣，機器智慧的發展面臨兩個問題。1. 生物為什麼進化，解決這個問題，才能解決機器自動進化的問題。2. 生物向什麼方向進化，解決這個問題，才能知道哪個技術是善的，哪個是惡的。機器智慧的進化才有明確的方向。但解決了這兩個問題，人類本身也就快成為上帝了。

【楊靜】目前“奇點理論”已在全球科技巨頭谷歌等公司的推動下自我實踐，導致機器智慧超越人類的奇點時刻日益迫近。由此，人類時代的終結與超越，人類的命運與智慧世界未來的締造，亟需中國思想界更多關注。在人類的奇點時刻即將到來時，中國各界精英無法逃避，必須面對。讓我們一起思考人類在奇點時刻需擔負的歷史責任，一起來創造那個不可思議的未來。

【楊靜】今天特別感謝大家參與《奇點臨近》的專題沙龍，我的吉祥三寶再給大家介紹下：第一、《人類時代的終結與超越》，在2014年3月號《程式設計師》雜誌第132頁；第二、【楊靜的世界】PPT，是我環球旅行做的PPT，與大家分享；第三、《環球科學》百期紀念刊，第103頁，有段永朝老師、張雲泉和我寫的寄語。請各位專家多指正！

---

沙龍感言：

【馬旗戟】今天，聆聽中國一小撮聰明人當中的最聰明的一小撮當中的一小撮，討論暢談“奇點臨近”，即機器智慧與人類。觀點激盪，獲益頗多。一群未來會被機器智慧超越的聰明人，坐在一起討論評判機器智慧，是多奇妙多有趣的場景，你們知道麼？哈哈，我當時聽得很快樂。

---

場外補充採訪：

【吳甘沙（英特爾中國研究院院長）】 我相信奇點，但是採用一種預測（prediction）的態度，而非預報（forecasting），言之鑿鑿說2029或2045有點那個了。看人的智慧形成，也存在個奇點，在那之後加速進化，我看人的生理結構，DNA編碼，腦和神經系統，那麼精密，常常有種錯覺人就是過了奇點的機器。

熙霖老師關於倫理的觀點很認同，機器人三大定律對機器人的約束力是不靠譜的，所以還是得約束機器人的始作俑者——人（就像現在約束人在基因工程上的作為一樣），在機器發展到奇點之前，人必須把他的智慧臍帶剪斷，畢竟在這地球上從沒有兩種可以競爭的高階物種，而高階生命的擴張慾望是極其強烈的，在物質守恆的前提下只能毀滅非我同種者，因此，避免失控的辦法就是提前讓機器的某些方面的智慧發育停滯。如果不加約束地發展，在奇點以後人的智慧發展很難趕上機器。

人類大腦畢竟是有侷限的，而機器的運算能力、儲存能力和互聯能力是可以簡單堆疊、（幾乎）無限擴容的，它的學習能力可以不斷提升。當大規模計算基礎設施、大資料和認知科學發展到某個臨界點，會出現機器自生智慧 （如創造力）、複雜情感 、主體意識和自我認知的湧現效應。不確定機器會不會受道德的約束，機器被教會用最優化的演算法解決問題，在什麼範圍內是最優的，對機器自身，還是對主人，對機器種群，還是對整個人類社會，就像桑德爾《公正》公開課所講的，不同理論對公正有不同的評判，也許不同的機器有不同的理解。

【吳韌（百度深度學習研究院傑出科學家）】計算機神經網路的進化，異構計算，大資料的收集處理能力以及迭代進化速度，將會促進人工智慧發展，讓奇點成為可能。一個例子是早年的國際象棋程式，簡單高效適合計算機的演算法加上特別高速的硬體, 啟發式加暴力搜尋, 讓程式效能進化很快，也很早就讓人類認識到棋類程式超越人腦只是時間問題。先理解人腦，再架構電腦的思路可能是錯的。機器智慧不應受人類大腦的模式制約，機器智慧也許會有更好的優化方案。歐美的大腦計劃可能不會有太多新發現，因為是醫學生物學家在研究人腦。實際上人工智慧的發展不應該以人腦作為模板，可以另起爐灶。大資料是全息的，是全資料。人腦的資訊處理方式是模擬的，神經元的連結和學習能力受到限制。不應該再按照人腦的神經連結模式去限制電腦進行模式識別的潛能，而應該按照計算機神經元自身的最大學習潛能來發展。電腦可以不知道也不理解人腦是怎麼運作的，但完全可以按照自己的一套邏輯做超越人腦的事。計算智慧也許是更合適的名稱。

人工智慧的發展也會遇到各種瓶頸，但山不轉水轉，總有解決方案：例如儲存能力與異構計算的加速進化，這一切的快速推進，讓一切皆有可能。重現人類左腦的能力的可能性很大。但人工智慧距離道德、情感, 想象力 等人類右腦意識仍然很遠。

【譚曉生】計算機不一定完全理性，程式邏輯也可以讓機器失常。從電路上來講，0-1其實是電壓決定的，和電壓相關的是電流，電源功率小點，電流一變，電壓跟著變，計算機就會出匪夷所思的結果。馮諾依曼體系結構，修改資料即修改程式，資料突變有很多種方法，比如宇宙射線。一切按照理性的前提不成立。甚至高密度積體電路本身就有隨機特性，而歷史往往是小概率事件影響的。

最近20年，機器學習在演算法和應用上， DNN深度神經網路取得突破。算力的提升，分散式計算技術的進步改變了一些東西。遊戲規則的改變，比量變影響深遠的多，網際網路改變了資訊的流動方式，這點也會對社會，對人和機器的關係產生影響。例如機器學習了全人類的知識，見過各種偽裝，你覺得它對偽裝的識別能力比單個人類個體強還是弱？這是低端智慧還是高階智慧？

前面吳韌和吳甘沙也提到大資料的發現是多維的，可以發現人類發現不了的細節。也許機器能識別出上萬個特徵，但人類只能識別出上百個。360在用這種方法識別網路攻擊。目前看，比人整理的ips規則靠譜。

我寫過不少程式碼，見過詭異的事情，錯誤的程式碼，加上錯誤的資料，能出正確的結果。機器出錯了，未必一定是糟糕的結果，而機器出錯幾乎是一定的，程式bug，硬體錯誤，甚至Intel CPU都出過bug，現在的硬碟磁儲存都已經是概率事件了。當有幾千臺儲存伺服器的時候，每個月要對硬碟資料重新校驗一遍，每次都能發現有資料錯了-當初寫入後是校驗過的！所以，誰說機器是理性的呢？理性的機器能幹出這事兒麼？故意出錯？還有，寫程式的人也會出錯。

文明的進化不用過分擔心。哪天機器進化超過人了，從優勝劣汰角度，機器會帶來更高的文明，人類為啥還要佔著茅坑呢？看看三體，星艦文明，我很能理解。為了文明延續，要讓最強者得到機會，四艘星艦留存一艘，其它艦人員甚至淪為食物，so what？更何況，即使從文明延續的角度，機器智慧與人類也未必不能共處。