王海峰詳解語言與智慧
百度大腦斬獲科學技術獎是百度多年人工智慧技術積累的成果。在這波因深度學習崛起的 AI 浪潮中,自然語言處理是核心研究領域。正如王海峰所說,「理解和運用自然語言是人工智慧的核心問題之一。大資料、機器學習、深度學習和知識圖譜等技術的發展,正在給語言與智慧的發展帶來突破。」
在今年中國電子資訊科技年會上發表的題為《語言與智慧》的演講中,王海峰以翻譯為例介紹了人工智慧技術的演進,闡釋近期語言與知識技術和大資料、深度學習等技術結合帶來的突破、行業應用,以及技術趨勢和挑戰。
王海峰是人工智慧研究及應用,尤其是自然語言處理領域的領軍者,在國內外學界和工業界享有盛譽。他先後為百度開創和發展了自然語言處理、機器翻譯、語音、影像、深度學習、資料探勘、知識圖譜等技術方向,帶領百度 AI 取得了大量領先業界的技術成果,並推動了百度大腦的對外開放工作,被業界稱譽為少有的學術與工程並舉的科學家。剛剛斬獲 2018 年度中國電子學會科學技術獎科技進步一等獎的「百度大腦核心技術及開放平臺」就是由王海峰主導研發的。
王海峰表示,通俗來講,人工智慧是讓機器可以像人一樣,具備聽覺、視覺、語言、行為能力,可以進行邏輯計算和推理規劃,並基於知識學習持續進化。
語言是人類思考的媒介,是人類特有的高階智力活動。早期的簡單符號,到甲骨文,到紙質的書,以及現代網際網路上的文字,語言文字這一載體讓知識得以凝鍊和傳承,可以說,語言文字促進了人類文明的發展。因此,如何理解和運用自然語言,是人工智慧需要解決的核心問題之一。
當下,大資料、知識圖譜、機器學習、深度學習等技術快速發展,並與自然語言處理密切結合,推動語言智慧持續發展和突破,並越來越多地應用於各個行業。
自然語言處理是人工智慧皇冠上的明珠,而填補語言鴻溝的機器翻譯則是自然語言處理最典型的應用技術之一。王海峰在這一領域深耕近 30 年,他以親身經驗梳理、介紹了人工智慧技術的發展和演化歷程。
從現代計算機誕生之初,就開始有人提出用計算機來進行語言翻譯的設想。在早期發展過程中,研究者們很多采用理性主義、規則系統、知識工程的方法來進行研究。王海峰從 1993 年開始從事機器翻譯的相關研究,初期便採用基於規則的方法,在國家「863」評測中獲得第一。
早在 1999 年,王海峰在博士論文中即開始探索神經網路機器翻譯的可能性,但由於當時算力和資料的制約,他轉而嘗試統計機器翻譯與大規模規則翻譯系統的結合,並開創性地提出樞軸語言翻譯方法以解決小語種翻譯語料稀缺的難題。
2008 年,王海峰主持研發的統計機器翻譯系統參加了國際口語機器翻譯評測比賽 IWSLT,在所參加的 5 項任務 15 個評測指標中,共取得 12 項第一、3 項第二的優異成績。
2010 年加入百度後,他帶領團隊融合統計與規則、例項和神經網路等方法,實現了多方面的技術創新,打造出服務億萬使用者的百度翻譯,並在 2015 年率先發布神經網路翻譯系統。目前,百度翻譯可支援全球 28 種語言互譯,覆蓋 756 個翻譯方向,超過 15 萬家第三方應用接入百度翻譯 API,每日翻譯字元數超過千億。百度翻譯因此榮獲 2015 年國家科技進步二等獎。
2018 年的百度世界大會上,百度又釋出了世界上首個整合了預測和可控延遲的語音實時翻譯系統,這是自然語言處理方面的重大技術突破。
王海峰表示,機器翻譯的發展從最初運用規則系統,到統計的機器學習方法,後又解決演算法、算力等各方面的問題,不斷登上新的臺階。人工智慧的發展脈絡與機器翻譯也很相似,經歷多種方法的探索和實踐,有過低谷和高潮,總的趨勢是在持續進步。
近年來,隨著深度學習的崛起,自然語言處理也由淺層統計模型步入深層神經網路。
在自然語言處理領域,深度學習模型具有比傳統機器學習模型更強的資料學習能力,使得基於深度學習的依存句法分析等基礎 NLP 任務得到大幅提升。
目前,深度學習領域主要有強化學習、監督學習、無/自監督學習三種學習正規化,而無/自監督學習可以類比人類學習,是重要的一種學習方式。
自監督學習讓基於大規模無標記語料的語言模型得到了長足的發展。近期,Google、百度分別提出了無監督文字的預訓練語言模型 BERT、ERNIE,將 NLP 任務的效能提升到新高度。
百度提出的基於知識增強的 ERNIE 模型,通過建模海量資料中的實體概念等先驗語義知識,學習真實世界的語義關係。相較於 Google BERT 基於字單元的語義建模,ERNIE 直接對先驗語義知識單元進行建模,並通過海量文字資料學習實體間的語義關係。這種融合知識的語義建模大幅增強了模型語義表示能力,在包括語言推斷、語義相似度、命名實體識別、情感分析、問答匹配等自然語言處理各類任務上的多個公開中文資料集上,ERNIE 均取得了優於 BERT 的效果。
依託深度學習技術的發展,語音、影像等感知技術取得了巨大進步,但認知技術的突破,會越來越依賴知識,需要提升對知識和大規模知識圖譜的運用。在物理世界、人類社會和網路空間中,匯聚了大量的多元、異構、多模態的資料,百度藉助無標籤大資料開放域知識挖掘、知識體系自動擴充套件、知識整合等技術,基於海量資料構建起了超大規模知識圖譜。
目前,百度擁有世界上最大的多元異構知識圖譜,除了包含數億實體、千億級事實,能夠滿足 90% 使用者需求的實體圖譜,針對不同的應用場景和知識形態,百度還建立起關注點圖譜、行業知識圖譜、POI 圖譜、事件圖譜等多種知識圖譜。比如在醫療領域,能夠從病歷等原始文字中,抽取出實體及多元關係,並進行文字結構化,最終構建起醫療圖譜,同時結合醫療大資料、醫療認知計算,應用於醫療臨床輔助決策服務中。
多模態知識、語音、視覺等技術結合,發展進入「多模態深度語義理解」階段。例如,基於知識圖譜的視訊理解技術,能夠視訊中抽取結構化語義知識,真正「看懂」視訊。
語言理解技術持續發展,並通過與知識圖譜、深度學習等技術融合,不斷提高各種應用的智慧化程度。
王海峰在演講中介紹,百度創新地融合知識圖譜、自然語言處理及深度學習技術,研發了能夠深刻理解使用者意圖、精準滿足搜尋需求、提供更豐富知識內容的智慧搜尋引擎,並結合語音、影像、AR 等感知技術能力,更便捷地與使用者互動,為使用者提供更精準高效的資訊服務。
例如,使用者用自然語言搜尋「林徽因的丈夫的父親是誰」,智慧搜尋引擎能夠理解使用者的意圖,並結合知識圖譜以圖文並茂的形式把答案「梁啟超」精準呈現給使用者。又如,使用者搜尋「上面草字頭下面句子的句是什麼字」,智慧搜尋引擎能夠為使用者提供「苟」的讀音、筆畫、釋義等豐富的資訊。
除了智慧搜尋方面的應用,百度還基於語言理解和生成技術提供智慧寫作等能力。智慧寫作適用於財經、體育、天氣、熱點與娛樂事件等多領域的輔助與自動寫作,大幅提升創作效率。比如,基於結構化的股票資料,可以生成關於股市的快訊新聞。結合視覺技術的智慧春聯,可通過刷臉檢測出人物性別、年齡、微笑程度、性格特徵等,生成特徵詞,然後基於神經網路生成技術創作出應景的春聯,讓人工智慧技術融入大眾的文化娛樂生活。
智慧客服是結合自然語言處理、知識圖譜和語音等技術打造的行業解決方案。在智慧客服場景中,基於語音語義一體化技術,百度大腦可以準確識別出使用者的話語,理解使用者意圖,進而通過行業知識圖譜理解業務流程,為使用者提供相應的服務。整個服務過程流暢自然,實現了與使用者無障礙溝通,提升業務效率並滿足使用者需求。
百度領先的語言與知識技術,不僅廣泛應用於智慧搜尋、深度問答、對話系統、智慧寫作、機器翻譯等領域,為廣大使用者提供更智慧的體驗,滿足使用者對資訊和服務的需求,還通過百度大腦平臺全面開放,促進行業應用和創新。
當然,自然語言理解技術還面臨著眾多挑戰,例如大資料環境下資料稀疏、知識的有效利用、語用等。王海峰總結,這些挑戰可通過相應的研究來解決,如通過基於無標註、弱標註資料的學習方法來解決資料稀疏問題;深度融合神經網路與知識來有效利用知識;語用研究可與應用場景深度結合。
王海峰表示,「隨著技術發展,我們會越來越深入地理解自然語言、掌握知識,推動人工智慧發揮更大的價值,為人類社會發展提供更大的助力。」
中國電子學會年度科技獎花落百度大腦
百度高階副總裁、AI 技術平臺體系 (AIG) 和基礎技術體系(TG)總負責人王海峰領獎
科學技術獎是中國電子學會經國家科技獎勵工作辦公室批准,於 2003 年設立的獎項,主要獎勵在電子資訊領域科學研究、技術創新與開發、科技成果推廣應用和實現產業化方面取得卓著成績或者做出突出貢獻的集體和個人。科學技術獎分為自然科學類、技術發明類和科技進步類 3 個類別,分別設一等獎、二等獎、三等獎三個獎勵等級。
如今,中國電子學會科學技術獎已經成為國內電子資訊科技發展的風向標。
百度作為國內最早佈局人工智慧的企業,近年來不斷進行 AI 技術的研究探索和應用落地實踐,為推動 AI 技術應用和創新積極貢獻力量。
科學技術獎評議認為,百度大腦突破了聽覺、視覺和語言一體化的多模態語義理解技術難題,成果支援零門檻深度學習定製化訓練和千億特徵的神經網路訓練,打造了一個完整的人工智慧技術開放體系,並通過統一人工智慧開放平臺向社會共享,帶動了網際網路行業技術創新,推動了傳統行業的智慧化轉型。
目前,百度大腦已獲相關技術發明專利授權 200 餘項,在頂級國際期刊和學術會議上發表相關論文 100 多篇,多次在 WebVision、ActivityNet、NIPS、SemEval 等國際知名人工智慧競賽或測試中奪得桂冠。百度連續三年上榜全球知名科技媒體《麻省理工科技評論》「全球十大突破性技術」榜單。國際頂級期刊 Nature 評價稱「百度已成長為以 AI 技術為重心的科技巨頭」。
在產業方面,百度大腦已對外開放了 160 多項領先的 AI 能力,廣泛應用於網際網路、交通、工業、醫療、零售、金融等諸多領域。比如,在電信、銀行等行業,基於百度大腦的智慧客服系統可以精準理解使用者的需求、識別客戶情緒並推薦合理的服務,既可以接聽使用者電話,也可以主動外呼,從而輔助人工客服,降低客服業務成本,提升使用者體驗;在醫療領域,基於百度大腦能力打造的百度靈醫,佈局診療全流程,幫助提升診療效率,從而惠及更多患者;在農業領域,智慧搖桿拍攝光譜可以藉助影像識別技術精準估算不同田地的農藥使用量,有針對性地施藥殺蟲,減少了用藥浪費的情況,也更符合環保需求;工業應用方面,基於百度深度學習平臺 PaddlePaddle 打造的智慧零件分揀機,分揀精度可達到 90%,預測速度較同類產品快 20%……同時,百度大腦與政府合作,如與雄安新區管委打造智慧城市、與天津市政府打造「天津智港」等,提升公共服務和城市管理能力,讓 AI 惠及普羅大眾。
除了百度大腦專案,其他獲得 2018 年中國電子學會科學技術獎科技進步獎項一等獎的專案包括北理工等完成的「基於海量知識智慧理解與推理關鍵技術及智慧政務應用」,深圳大學、華為等完成的「雲資料交換與服務裝備關鍵技術及產業化」等 7 個專案。