10 月 31 日，由北京智源人工智慧研究院主辦的 2019 北京智源大會在國家會議中心開幕，本次大會吸引了國際人工智慧領域的頂級專家學者參加，圍繞人工智慧基礎研究現狀及面臨的機遇和挑戰、人工智慧技術未來發展的核心方向等話題，迴歸 AI 技術本身，開展深入研討，探索人工智慧前沿科技發展趨勢。

會議第一天，在上午場的尖峰對話上，張鈸、朱鬆純、黃鐵軍、文繼榮四位學術界大牛就《人工智慧的“能”與“不能”》這一話題展開了一場思辨，探索 AI 的真理和本質。

主持人：

唐傑，智源研究院學術副院長，清華大學教授

劉知遠，清華大學副教授，智源青年科學家

嘉賓：

張鈸，中國科學院院士，智源研究院學術委員會 主 席

朱鬆純，加州大學洛杉磯分校教授，智源研究院學術委員會委員

黃鐵軍，北京大學教授，智源研究院院長

文繼榮，中國人民大學教授，智源研究院首席科學家

以下為 Panel 環節全程對話內容，AI 科技大本營整理（ID:rgznai100）：

唐傑（主持人）：從1956年在美國開始的一場討論至今，人工智慧已經走過了六十多年的歷程，這中間有波峰，也有波谷，而且波谷時間很長。在一代和又一代科學家的不懈努力下，終於到達今天機器學習成為推動力的發展階段。而對於人工智慧的能與不能，學術界有較大的分歧，且這種分歧將會持續下去。這裡，請幾位專家就“人工智慧的能與不能”的主題來分享各自的觀點。

本論壇名為 AI Time，這個名字源自於我的一個想法，當時也得到張鈸院士的大力支援。我在英國看到很多辯論性的思維，所以萌生了在中國也通過這種思辨的方法來探索科學的本質，所以今天創造了一個平緩寬鬆的環境，大家可以一起思辨，探索 AI 的真理和本質。

今天選了一個非常有意思的話題——人工智慧的能與不能。這個題目中有三個“能”，但是意思完全不同，所以今天我們來探索一下這三個“能”到底都是哪些“能”。

下面進入 AI Time 思辨環節。我們知道，很多科幻電影為我們呈現了未來 AI 的場景。

電影中的AI實現難度如何？

劉知遠（主持人）：大家看一下在人工智慧相關的科幻電影裡，人工智慧都能做什麼？

第一個是非常有名的動畫電影《超能陸戰隊》，裡面大白就是人工智慧。第二個是來自於《復仇者聯盟》的相關案例，裡面的鋼鐵俠的助手賈維斯為鋼鐵俠提供了非常好的視覺化互動和手勢智慧識別系統。第三個是《流浪地球》的同聲傳譯，影片中劉培強使用了具有同聲傳譯功能的軟體，然後可以去和外國人進行無縫交流。第四個是《速度與激情》中展現的無人駕駛場景。第五個是非常有名的文藝電影《Her》，其中男主角與人工智慧系統建立了戀愛關係，稱為人工智慧的情感伴侶。

這些是科幻電影中幾個非常有代表性的場景：以大白為代表的智慧診斷系統，以賈維斯為代表的手勢互動系統，使用了很多計算機視覺和視覺化互動手段，以及同聲傳譯、自動駕駛、感情伴侶。在電影世界中，這些人工智慧技術人們似乎已經司空見慣，但實際上在現實中，這些技術距離我們還非常遙遠。

唐傑：科幻電影中的一些AI技術已經在現實生活中實現，但還有一些AI技術距離實現還比較遙遠，所以第一個問題是這五種相關技術最有可能實現的是哪些？最難實現的是哪些？前三個容易實現的技術是哪些？闡述一下另外兩種技術不容易實現的原因。

張鈸：手勢互動實現相對容易一點，智慧診斷其次，然後是同聲傳譯、自動駕駛和情感伴侶，情感伴侶肯定是最難的。現在，人工智慧究竟能解釋什麼問題？我認為做人工智慧只有兩個資源，一個資源是知識和經驗，特別是常識。第二個是資料，人類也使用一些資料。

所以根據這兩個資源，人工智慧領域當時提出兩個模型。最早的模型就是以知識和經驗為基礎的推理模型，但做得不很成功。後來，人們發現機器在運用知識方面與人類差距很大，很困難。之後，另外一個思路是利用資料，結果得到意想之外的成就，發現計算機使用資料的能力遠超人類，所以現在人工智慧的成功很大一部分是基於大資料的深度學習，目前大多數的應用都基於這些技術。這種模型在影象識別、語音識別、自然語言處理上取得了一些成果，中國很多應用領域中用的都是這個成果。

但是，我們必須要看到這個成果本身的侷限性，它的應用場景必須符合四個條件。 第一個條件是資訊基本上是完全確定的；第二是環境基本上是結構化的，如果有變化，變化需要是可預測的；第三是限定領域；第四是關鍵重要的場景不能用，主要是因為這個技術有四大缺點：不可靠、不可信、不安全、難以推廣，這就是單純資料驅動造成的問題。

為了克服這個問題，最重要的是需要加入知識。剛才講到了通用，這兩個資源必須要用，沒有這些資源不可能做出來人工智慧。我的體會是儘量應用常識和知識，現在的問題是單靠資料在一些應用場景下可以解決一些問題，但在很多應用場景下不能解決問題。

關於同聲翻譯，目前在一般情況下做翻譯沒有很大問題，犯一些錯誤關係也不大。但是要知道這種系統一定會不可避免地產生重大錯誤，因為它缺乏知識和常識。比如現在所有的翻譯系統，“說你行的人行”這句話一定翻譯不好，最好的翻譯系統也翻得一塌糊塗。為什麼出現這樣的錯誤？因為沒有常識。

自動駕駛也是如此，關鍵場景不可靠，經常會犯人類不可能犯的大錯。下一步最重要的是要把資料與知識結合起來，這樣才能做好系統。

朱鬆純：我不看科幻片，因為老是看不懂，邏輯不通看不進去。很有意思的是我明天晚上要趕回去，後天約了一幫好萊塢拍電影的人聊天。他們要拍新的人工智慧電影，編劇希望和我聊一聊，到底哪些是可行和不可行的，哪些是將來可行的，這也正好是今天問到的問題。

我完全同意張老師的看法，手勢互動可能會實現。大白的狀況取決於感知器，我不知道現實中是否存在這樣的感知器。同聲翻譯和自動駕駛都非常危險，特別是用在外交上是不可靠的。智慧情侶是很有趣的現象，將來人工智慧會在方面超過人類，因為人的記憶力非常短暫，如果人擁有這種能力可以同時維持好多個女朋友，因為他的記憶力非常好，與誰交談過什麼內容、撒過什麼謊都能圓過來。計算機在這方面超過人是沒有問題的。

至於“能”和“不能”，如果能夠把任務定義清楚，即某一個單一任務，並且有資料，基本上都可以做。我極力反對百度、谷歌宣稱在某些任務上超過人類的做法，因為那只是定義了一個任務，如果重新定義新的任務，人工智慧可能就不奏效了。這就是核心的分水嶺，即能夠做多大的任務、多少任務，是否能自己定義任務。

“任務陷阱”這個詞不是我的發明。 現在所有刷榜的資料庫是陷阱，讓大家陷進去爬不起來。2008 年開了一個會，提出計算機視覺的方向，把計算機視覺變成一個影象分類問題。我當時就認為，這是把大家引到了一個任務陷阱中了，這是非常危險的。但不管我怎麼說，大家還是很感興趣，玩得很嗨。但是我也很高興，我們能有十年的時間獨立研究，沒有受到太多的打擾，堅持了自己研究理念。

文繼榮：基本上我是同意張老師和朱老師的意見，因為我自己是個科幻電影迷，這些電影我都看過。不好意思，因為我知道里面有很多Bug，但是還能看下去，跟朱老師不太一樣，朱老師是看不下去。我自己從這五個功能來說，可能有一點點不一樣的，剛才張老師和朱老師說賈維斯的手勢，其實不是手勢互動系統，更多是接近於通用的人工智慧助手，實際上有點接近於你問它什麼，它都可以幫你。

因為大白只是醫療方面的資訊助手，所以我覺得最容易的是大白。接著應該是賈維斯和同聲傳譯。自動駕駛的問題，主要是容錯性要求太高了，除了技術上實現的難度以外，還要從另外一個維度考慮問題，比如說技術難度實現的差不多，但是從使用者角度有些技術是容易接受的。比如同聲翻譯也很難，但是翻譯錯一些內容問題不大，但是無人駕駛不一樣，容錯性特別特別低。情感伴侶的話，應該是最難的，因為這裡面有更復雜的東西，甚至涉及到意識的問題。

黃鐵軍：我也得表個態，剛才各位專家回答的都很謹慎、很專業，我的回答跟你們不一樣，我是另類，腦洞派。這五個功能，每一個功能人都能做得到，包括最後一個情感伴侶，我們這一生大概花不少時間去折騰這個事，只要找一個異性就可以找到一個伴侶。實現難度排序我排不出來，但是我的回答是所有的都能實現。

為什麼呢？我們人天天實現的不挺好的嗎？所以人工智慧如果能夠做一個像人一樣的機器，為什麼不能做這些事情呢？ 這個機器不是今天的計算機，我們可以構造一個全新的不同的系統，比如我推銷的類腦智慧，我們可以構造一個新的像人的神經系統，只不過是電子版本的機器。它在複雜環境裡面去訓練，我們人能在自然環境裡面長出這些功能，為什麼它不能呢？所以我認為這在未來的機器裡面是完全有可能的。

唐傑：剛才大家提到了資料開放共享，包括競賽可能是一個陷阱，這樣的陷阱甚至對未來AI發展產生阻礙。黃鐵軍院長是否要回應一下這個問題？

黃鐵軍： 我覺得不是阻礙，這是一個重要的階段。我從來不反對大資料，因為人就是大資料訓練出來的一個結果。我們從單細胞動物進化到今天這麼複雜的一個身體、神經系統，那是因為進化過程中的大資料。不管我們叫不叫它大資料，也就是環境、地球的自然環境給予我們的刺激和約束，使我們不斷地去調整系統，這是一個大資料。 從廣義的大資料意義上我是同意的。今天收集這麼多資料變成靜態的、標好的影象，這只不過是一種比較僵化的大資料，從大的思路上講還是必要的，因為沒有這樣足夠資料和環境的刺激，我們很難做出更強的智慧。

張鈸：大資料、計算機處理資料的能力遠比人類強，我們要充分利用它，它可以發展出來在某些方面比人類強的機器。我對黃教授的看法有一點質疑， 我們的目標一定是要做一個與人類完全一樣的機器嗎？我認為不是。做一些在某些方面比人強得多，在某些方面比人弱的機器才是我們需要的，這樣人與機器就可以互補，建立和諧的人與機器的共同體，沒有必要讓兩者站在對立面。

劉知遠：關於最容易實現和最難實現的 AI 技術，現場觀眾的投票結果已經出來了。大約 300張投票顯示，大家對於最難實現的 AI 技術意見比較一致，就是情感伴侶。最容易實現的 AI 技術，有超過一半的觀眾投給了同聲傳譯，各位嘉賓老師對此有何評價？

唐傑：朱老師可以回答一下，因為朱老師講同聲傳譯非常難，在外交上如果翻錯一個詞會很危險。

朱鬆純：我估計是科大訊飛的廣告做的好，讓大家都知道以為同聲傳譯已經成為現實了。我覺得如果看看真正翻譯結果的話，其實還是有很大差距的。科大訊飛也是我們校友師弟做的公司，我們支援他們，但是科學還是科學，我相信他們做不了，這是現實。

唐傑：這裡有幾個來自線上朋友提出的問題，第一個問題是實現人工智慧有幾個基本的要素？第二個問題是實現人工智慧的自我意識最基本的元素是什麼？

張鈸：計算機是否會有意識？這些問題目前不可能進行科學的討論，因為我們對人類的意識瞭解太少。持支援和不支援觀點的人都不可能拿出充分的科學證據來支援自己的觀點。我的意思是， 這個問題不應該在科學領域裡爭論，但可以在哲學領域中討論。因為哲學的討論就是討論現在科學還解釋不了和解決不了的問題。

這涉及到智慧這條路究竟是唯一的，還是有別的途徑。我們知道，現在的智慧，包括意識在內是通過幾億年的進化產生的。除了進化這條路以外，是否還有別的路？如果有別的路，就可以通過機器技術的不斷提高來解決。人家常說哲學家非常痛苦，要討論目前都解決不了的問題。但是我勸搞技術的人，作為科學家或技術人員還是做快樂的科學家和技術人員，不要去討論這些問題，因為這些問題是討論不清楚的。

黃鐵軍：我的觀點跟張老師幾乎完全不同，我覺得從不同的角度來看這個問題。我認為要產生自我意識的必要條件， 第一是要有一個類似甚至超越人類的神經系統的物理載體。可以想想最簡單的是把人的神經系統做一個電子拷貝，做一個身體。你要有一個身體，而且要有一個類似於神經系統的可以被訓練、可以被改變調整的物理載體。

第二是要有一個複雜的環境，其實這個很容易。地球就是一個很複雜的環境，要有一個自然的環境，或者像朱老師說的要訓練模擬的環境，無論如何要讓它有嘗試失敗、成功的環境。

有了這兩個條件之後，就可以進行互動、嘗試，然後不斷地去訓練。在這個過程中會發生很多種可能性，包括自我意識的產生。為什麼我剛才說跟張老師的觀點不太一樣呢？張老師說科學範圍不適合討論，我完全同意。在哲學領域的討論，我不同意，哲學再討論也是空談，討論不出什麼東西。但是我們可以做的是在技術領域去討論、在技術領域去實現，這件事是可做的。為什麼？我就只舉一個例子，請問宋朝的時候中國發明指南針的時候，誰告訴我們有一種東西能夠沿著地磁的方向去指南？沒有。那時候科學還沒有、還不存在。那時候根本不知道電磁學、地球、磁場，所有的知識理論都沒有。但是這沒有影響中國人發明指南針。

在宋朝的時候絕對解釋不清楚司南為什麼老往南指，我們覺得很神祕，但是是可重複、可實現的裝置。這種裝置引導著人類前行進入了航海時代，發現了地球是圓的，對科學的發展起到了很大的作用。今天我們才明白了為什麼是指南的。

回過來講，我們做一個有自我意識的系統，前提是先去做這個系統，而不是解釋人智慧背後的原理問題，它不是科學問題、哲學問題，而是技術問題。

唐傑：剛才這個問題有上升到人的意識形態，下一個問題，我們是否能拋開意識形態、自我意識做一些更具體的解釋？比如是否能自動進行任務分解，分解以後針對不同的任務用一種大神經網路、小神經網路，甚至自動機器學習的方法全部自動分解以後做自動學習？這樣是否就可以實現技術層面的人工智慧？

朱鬆純：我再補充一下關於意識的問題，關於人的意識，這個事情一直是個迷，心理學和認知科學方面大概在十年前是不許討論的，把所有的經費都卡掉了，不支援這方面的研究。這幾年又開始了，我覺得人的意識是說不清楚的，因為人的進化系統不是最優的系統，是多少年沉澱慢慢積累下來的系統，很多東西是跟我們的神經系統相關的。很大程度上它依賴於我們這個特定的系統。

我同意黃鐵軍說的情況，這樣 人工智慧來解決意識的話本身不是一個問題。你可以認為裡面所有的狀態，都可以隨機被呼叫、抽取出來，也就是意識的表達，這倒不是一個很大的問題。

回到剛才的問題，技術能不能把任務分解，用每個不同的任務去訓練，然後總結在一塊。我不否認這種路線，就是說我們人腦裡面有很多不同的區，我的同事用不同的晶片來做不同的任務，他發現比如說人做加法和減法都是完全不同的區域在做，這就是一個問題。

至於特定的怎麼總和起來達成一個自洽的解釋，這有另外的演算法來做。這種計算的機理我們也考慮過，資料驅動的演算法，每一個邊緣分佈，相當於每一個子任務都可以來算資料系統，但是互相之間要保證自洽性、完整性，必須要有聯合的推理過程，這個過程是另外一個區域完成的。我倒不完全否定大資料的訓練方式在工程上的作用，可能大部分的學生被黃鐵軍的訓練集吸引過去了，或者調參去了，這是一個陷阱。

黃鐵軍：剛才的問題我想是否定的回答，我可以肯定地說“NO”。因為我想這位聽眾想問的問題，實際上是能不能設計一種機器，把任意的任務分解，分別有其他的機器完成，最後是全自動了，智慧問題就解決了，我想他背後的意思是這個，這個顯然是“NO”。因為只要讀一下圖靈的論文就知道答案，1936年的文章說的很清楚，因為不可計算理論的奠基才有了計算機。

我沒有時間展開， 我的意思是結論很清楚，不可能設計一臺機器把所有可計算的過程來自動完成，不存在這樣的機器，更不存在你說的一個機器能分配任務。你想象中強大的機器是不存在的，邏輯上就不可能，而不是說任務的難度和不難的問題。

張鈸：其實大家說的意見是一致的，剛才黃教授也表示爭論機器是否意識的條件不成熟；第二，我並不反對做研究，只是說不要去爭論，按照自己的觀點去實踐，我們應該鼓勵。最後有一點不同的，哲學家肯定會去討論這個問題，我們也無法阻止他們去討論。而且我認為這個討論肯定是有益處的，哲學會討論出一些很有啟發性的思想。

黃鐵軍：最後這一點我同意張老師，哲學家不僅可以討論，確實需要討論。我希望他們討論的是如果技術走的太快，捅出簍子來怎麼可以和諧的問題，但是讓哲學家給我們提出路線，我覺得不太現實。

實現AI不會一蹴而就，AI發展應該分級嗎？

唐傑：很多人工智慧技術可以實現，有的不容易實現，人工智慧的發展不可能一蹴而就，一下子就擁有自我意識，甚至有些技術自動化也是有必要的。我們是否有必要和自動駕駛一樣對人工智慧發展進行分級，甚至是認證，比如哪家公司的某項技術，或者某個學校的技術達到人工智慧一級、二級、三級、四級、五級？這個分級怎麼分？

文繼榮：我記得上次跟張老師在 AI Time 討論的時候就在想，一個程式到底為什麼是人工智慧的程式，而不是一個普通程式？我不知道各位想沒想過這個問題，你怎麼判斷一個程式是人工智慧還是普通的？我後來琢磨了這個事情，其實有一個隱含的判斷標準，這個程式是不是具有一些人才有的特質。比如說人跟傳統的程式比起來有一些特性包括了什麼？

• 第一是靈活性，它能夠處理各種不確定性，有各種不確定性，靈活性、可泛化等等。

• 第二是有自適應性，能夠適應不同的變化，能夠自學習。

• 第三是可解釋性。其實可解釋性的事情對人是很重要的，背後的含義是人的理性。我們做任何東西背後是有理性的支援，這是可解釋性。

• 第四，還有創造性和自主性等等。

我自己根據這些特性，把人工智慧做了一個分級。

• Level 0 是能夠完成固定邏輯任務的，就是預定義邏輯任務，其實就是現在說的普通的程式。

• Level 1 是定義為完成特定領域任務，不管用什麼方法，用大資料方法或其他方法也好，它可以處理不確定的輸入、可泛化，像人臉識別。

• Level 2 是可以對結果行為可解釋，能夠從相關到因果。這個事情很重要，為什麼要有理性，其實是因為我們想結果可控。剛才大家討論了很多，基於大資料深度學習和可解釋性是有一些矛盾和衝突的。

• Level 3 是剛才朱教授談到的通用人工智慧，實際上這一塊就需要能夠具有多領域的自適應性，並且具有常識推理能力等等，使得能夠在多個領域自由遊走。

• Level 4 應該是讓系統具有一些創造性。AI產生的一些新的、有意義的東西，比如真的能夠寫出一部小說了，但是這個東西必須是要有意義的，所以這是創造性，也是人很重要的特性。

• Level 5 是具有自我意識，剛才已經進行了哲學層面的討論，如果到了這一級是真的有生命了。

我立了一個靶子，請各位老師來批判。

朱鬆純：我覺得這個分級在各個垂直應用行業是非常有意義的，因為目標和任務非常清楚。但是作為一個通用人工智慧的分級，整體的分級我覺得目前還很難。因為到底人工智慧包含有多少個模組，包含有多少個功能，在整體的框架沒有說清楚之前，在維度沒有說清楚之前，去分析的話可能會引起很大的爭論。

關於這個問題，更簡單的情況下把它說成是智商。比如說智商到底有多少個維度，為什麼我們測人的智商是從0到 150，這其實就是個分級，人也可以分級。我們最近也在研究這個事情，美國也在研究這個事情，為什麼我們比動物聰明，為什麼有的人比我聰明，基本的機制在哪兒？天才到底是因為什麼變成了天才，比如數學天才或者下棋的天才。這就是有很多種維度，這個維度在大的空間裡面到底是有限的還是無限的，那就說到了任務的邊界在哪兒。到底有多少個任務，智慧的邊界在哪兒，智慧極限在那，或者學習的終極極限在哪兒。

原來圖靈有一個停機問題，剛才黃鐵軍也提到了。我們其實在學習也有個停機問題，我提出了學習的極限。 是什麼東西決定了我們智商的極限、學習的極限，這個是可以作為一個科學的問題來研究。

張鈸：我基本上同意他的意見，對於具體問題要進行一些分級，這對於我們的研究很意義。比如自動駕駛現在分成五級，這樣就可以知道這個階段究竟可以做到什麼程度。

但是，我認為對整個智慧進行分級很難，因為這涉及到了很多方面。什麼叫聰明？智慧在不同方面的表現不同，牽涉的面很寬，所以分級的可能性較小、較難。特別是對於通用人工智慧一定要謹慎，要有明確的定義。最早看到他（朱鬆純）講的題目，我覺得他的膽子夠大了。後來聽他講了，感覺就不一樣了，等於是做大任務。我們對通用人工智慧的使用要謹慎，這在人工智慧歷史上有過激烈的爭論，到現在為止都沒有搞清楚。

黃鐵軍：我就補充一點， 我覺得我們除了功能，還要考慮效能的維度。為什麼呢？比如說下圍棋，現在毫無疑問機器比人強大得多，不能說機器就超越人了，因為它靠的是速度、效能的維度。剛才提到幾個級別的時候，效能一件事就足以顛覆我們對功能的分級。比如說我們昨天給朱老師看視覺晶片，速度比人眼快一千倍。這樣的感測器如果照著這樣的感知，動作也是這樣，推理也是這樣的，就可能遠遠超越人類了。

我們原來很多時候想的以人的功能為標準，制定了級別，又考慮場景，在被效能衝擊的時候可能完全就不適用了。

AI隱私問題

唐傑：今天的主題是討論“能”與“不能”，剛才大量的時間都在討論第一個“能”，第二個”能”還沒有討論。第一個“不能”和第二個”能”的含義不同。現在隨著AI技術的發展，我們可以做到很多事情，比如國內的在課堂通過視訊自動觀察學生有沒有認真聽課，深圳的交警視窗把闖紅燈者的照片、姓名自動打在大螢幕上，看起來非常厲害。

今年5月份，美國加州通過了網路隱私法保護，禁止在任何公共場所使用拍照的人臉，甚至包括警察抓小偷。關於隱私問題，幾位嘉賓是否有相關考慮，你們是支援更多的保護隱私，還是在當下，尤其是中國當前的情況下，可以放開隱私（問題）做更多的技術探索？

黃鐵軍：我認為人工智慧技術嵌入到社會生活中，嵌入到方方面面過程中一定有適應過程。但是這個適應過程是雙向的，既要技術適應人類社會，人類有時候也要一定程度上適應技術，構成一個和諧的共同體。

可能對於技術應該適應人類，我覺得不用論證，大家多數都會同意。但是從人類要適應技術的這一點，我們心理上也要做一定的調整。我就不舉那麼多例子了，比如說圖靈之所以1954年去世，就是因為當年的倫理給了他致命一擊。 如果沒有人類倫理限制的話，今天的電腦科學、人工智慧可能完全是另外一個狀態，所以人類自己適當的調整是必要的。

張鈸：這個問題涉及廣泛，屬於人工智慧治理的問題。 我認為涉及到了三個層面，第一是誤用人工智慧技術，第二是濫用人工智慧技術，第三是有益利用人工智慧技術進行國家與國家之間的對抗、集團與集團之間的對抗，這三個層面是不同的，應該採取不同的治理方法。

朱鬆純：我覺得隱私和自由，隱私是侵犯了自由的空間，人家看到你的時候，你做事情就不自由了。 我覺得這個問題應該是由社會中大部分人來決定。以前我說了倫理道德不是絕對的，是相對的，在人和人之間交流過程中達成的共識。道德的“德”字我原來解釋過，就是一大堆人有十個人眼睛看著你心裡怎麼想的，這個東西合適是道德，不合適就是不道德，這是隨著時間在改變的事情。

我覺得自由的話，像人臉識別系統，我們的機場、火車站都非常方便，也是大家選擇的一個問題，要由公眾選擇。公眾如果通過法律不讓你這麼做，那就不能做。

文繼榮：第一點，這次在 AI Time 時張老師提了一個觀點，我分享一下。大家可以看到在（美國）加州禁止了人臉的東西，但在中國可以看見各種人臉監控還是比較普遍的，跟這兩個國家的特點有關係。可能西方更強調的是個人自由。在我們們這兒更強調集體主義。在中國一直提倡可以為了集體、國家的利益，甚至可以犧牲一些個人利益，這對這個社會大多數人來說是接受這一點，這是不同點。

在中國的話，我們不能簡單說加州不讓做，中國就一定要這樣做，其實不是這樣的。但是邊界在哪裡？我同意朱老師說的，這要交給人民去決定。比如說前兩天看新聞，比教室監控更厲害，教室是用攝像頭，而他們是給學生戴一個東西，可以監測你的腦電波，然後看你走神沒走神，最後給你弄個大資料來分析你，這是不是有點走的太遠了，所以有一個邊界。

第二，隱私安全另一點比較重要的是人工智慧要可控。現在深度學習黑箱的問題是很麻煩的事情，我是比較擔心的。比如說武器，如果裡面的可解釋性、可控性解決不了，這才是真正危險的東西。

劉知遠：實際上，隨著AI技術的深入應用，已經出現了很多隱私、安全和倫理相關問題，各位嘉賓都非常認可AI技術應用應該有一些邊界。很多國家和機構也都意識到了這個問題，紛紛發起瞭如何以負責任的態度發展人工智慧的行動。

唐傑：最近各很多國家發表了AI宣言，北京也釋出了《人工智慧北京共識》，因為黃鐵軍參加了很多相關工作，我們請他簡單解讀一下《人工智慧北京共識》。

黃鐵軍：發展人工智慧，讓它造福、服務於人類，這樣的宗旨我相信是大家的共識。我不僅參加了《人工智慧北京共識》的討論，也參加了國家新一代人工智慧治理委員會的一些討論。這些原則，我想既然是大家討論的結果，就是一個多數人的共識，我也是同意的。

但是像我剛才說的，其實在剛才的兩個委員會裡面我都是另類，都是提反對意見比較多的。我的一個觀點，一方面在現階段或者在未來的一段時間之內，我們確實要從人的利益、幸福感出發來考慮這個問題，但這不是永遠的。

從長遠來看，我個人的觀點還是要跳出以人為中心的思維慣性，而要考慮智慧在地球、宇宙的意義下的長遠未來，這是同樣要考慮的問題。在那個時候就不是說智慧怎麼服務於人，而是人和智慧系統如何共處、共融，共同融合在一起在未來去發展下去的問題。

AI技術安全和倫理的邊界在哪裡？

唐傑：人工智慧的發展離不開倫理，請幾位嘉賓簡單論述對於倫理和 AI發展邊界的觀點。

張鈸：一兩句話說不清楚，治理應該分成幾個層面，有的涉及到安全，有的涉及到倫理，作為宣言，籠統地提倡是可以的。但是具體到技術問題，還需要具體界定，這比較複雜。

朱鬆純：這個問題確實是非常難，現在大概花不到1000 美金就可以造一個殺人武器，無人機和攝像頭有人臉識別，定位某個人，就可以開槍了，其實這是非常危險的事情，肯定也無法阻止有人這麼做。既然這個工具產生了，他拿這個工具砸銀行或者幹什麼是別人的事情。我想科學家在這個方面上阻止不了他，只能通過社會去做。

將來最好的辦法是計算機能夠形成一定的倫理，它能夠判斷這麼去做會造成的社會後果是什麼，這是一般人基本的能力。因為我們社會上的每一個人都可能做一些違法的事情，但是它會考慮到後果。如果機器沒有考慮到這個後果的話，每一個都是自殺 炸 彈性質的機器人，這是危險所在。

文繼榮：其實這個問題特別難，我有一個很樸素的想法，大家為什麼會討論人工智慧倫理，是因為大家擔心讓人工智慧去做一些人不能做，或者不敢做的事情，或者不願意做的事情，將來交給機器或者人工智慧去做。一個簡單、樸素的邊界在哪裡？就是在這個地方。 如果讓人工智慧去做對人的倫理評價這麼大事情的話，實際上是要三思一下。

唐傑：醫療領域的容錯率很低，在醫療領域中，未來五年哪些AI技術真的可以實現在這個場景中落地？

張鈸：現在的技術實際上用在了非關鍵的場景，如分診、醫療健康管理、醫院管理、醫療系統的支撐系統等。現在的技術還難以支援人命關天的醫療場景，比如計算機疾病診斷用起來大家就很慎重。簡單來講，現在大家做了很多醫療影象識別系統，識別率都做的很高，有的聲稱超過人類。但是醫生還是不敢用，為什麼？因為不可解釋，做出的判斷解釋不了原因，醫生敢簽字嗎？所以，在關鍵領域還要下工夫，人命關天的問題還是要慎重，大家還沒有真正普遍使用。

唐傑：我們現在研究人工智慧有兩個思路，一個思路是用計算機模擬人腦的思維方式，然後用人腦的思維方式求解這個問題。另一個思路是作為純演算法，然後用純演算法的思路來求解，比如可確定性的問題，或者人很難求解，但是計算可以求解的問題。這兩個思路哪個在當下最可行，為什麼？

黃鐵軍：我覺得兩個思路好像是一個思路。當然我知道有點區別，一個是人把規則定下來然後去做，另外一個是訓練，總的來說也沒有繞出計算機的範圍。因為時間已經到了，我就簡單說兩句。其實我昨天晚上被唐傑抓來做找茬的，只看到了題目，不知道今天討論的不能是那個意思。實際上我腦子裡想的“不能”是人工智慧作為一種技術，它不能的邊界在什麼地方，這個事情跟你剛才提的問題有關係。

計算機的能與不能有很多討論，也有很多著作、文章可以去看。最基本的是圖靈在1936年論文說計算邊界有了很清楚的結論，絕對不是無所不能，計算的範圍是很有限的。因此你剛才說的兩個問題在人工智慧是一種方法，但是它是一種可能的有限範圍內的方法。

但這並不等於人工智慧永遠就只能限制在這樣的範圍之內，我們完全可以去製造、去創造全新的系統。這個系統不一定非要計算，或者它超越了圖靈機，所謂超越了圖靈機因為不是在機械計算的方式在進行的。從這個意義上講，它的能力比剛才那樣的方法要大得多。 我認為人也有不能，因為人類神經元有幾百億，人也有一個智慧上限的天花板。天花板的突破要靠未來的機器，機器從物理載體的能力上超越我們，這是完全有可能的。

當然誰要敢給一個說“不能”，因為說“不能”都是最偉大的貢獻，你敢肯定一件事不能，能說人工智慧的“不能”，那一定也是一個偉大的貢獻。但是我認為說“不能”時代的遠遠還沒有到來，而是有巨大的探索空間。

唐傑：非常感謝黃老師，最後的“不能”講得非常好。今天我們用了一個小時探討了人工智慧的“能”與“不能”，但其實這沒有標準答案，很多 AI 相關技術和應用場景，還有很長的路要走。

https://www.toutiao.com/i6754302078467703304/

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69946223/viewspace-2662881/，如需轉載，請註明出處，否則將追究法律責任。