| 嘉賓：吳友政，京東集團高階總監、京東科技語音語言演算法部負責人。
2006年中科院自博士畢業後，先後在日本國立資訊通訊研究機構、英國愛丁堡大學、索尼中國研究院從事自然語言處理相關研究工作，主要聚焦自然語言處理、人機對話、語音識別、機器翻譯等前沿技術研究和產品研發，取得了諸多技術突破，累計發表頂級國際會議和期刊論文30餘篇，斬獲得語音識別（IWSLT2012、IWSLT2013）和自然語言處理（QuAC2021，DROP2022，Multiwoz2022）領域多項國際比賽的冠軍。
在京東，他與團隊密切合作打造了言犀人工智慧應用平臺，為客戶提供涵蓋客戶服務、營銷導購、流程自動化的整體智慧化解決方案，為京東超5.8億使用者提供智慧服務，也為零售、政務、金融、交通等行業提供產品與解決方案，京東集團最高獎【技術金牛獎】獲得者。
Q1：對話式AI技術是什麼？
吳友政：人機對話系統是透過對話式AI的技術，去解決大眾使用者和計算機之間的交流障礙問題。我們可以從這4個維度對對話系統進行一些分類，比如說從互動方式的維度，我們的對話系統可以是基於自然語言的互動方式，也可以是基於命令列的互動方式，當然在手機上我們也可以透過觸控式螢幕的方式實現和我們的手機之間的自然的互動。
如果從互動模態上進行分類的話，我們的互動可以是基於文字的，也可以是基於語音的。
當然多模態的互動方式也是非常重要的一種互動方式。如果從互動裝置上來看的話，我們和機器之間的互動可以是在電腦上進行，也可以從手機上進行，但是車載的對話系統也是非常重要的互動方式，還包括我們在一些 AR VR的裝置上，透過對話的方式實現和裝置之間的對話互動。從互動的主動性來看的話，可以是系統主導對話，當然也可以是使用者主導的對話，甚至是系統和使用者之間輪流主導的對話。
其實對話技術的發展歷史是比較久的，從1966年第一個人機對話系統ELIZA釋出至今，對話技術已經經歷了接近六七十年的發展歷程，ELIZA是MIT人工智慧實驗室在1966年釋出的關於心理諮詢方面的人機對話系統，後面每一段時間都會推出一些有代表性的推動對話技術發展的資料集，包括1990年的atis這個資料集，後面還有 multiwoz的資料集，這些資料集的釋出都大大的推動了對話技術的發展。
從應用層面我們也看到了很多里程碑式的對話系統，像2011年IBM的Watson對話系統，在益智類的比賽中擊敗了人類，獲得了冠軍，後面還包括像蘋果的Siri的對話系統，以及像亞馬遜的echo的音響助手，以及我們在今年的11月份看到了Open AI釋出的ChatGPT這一系列的資料集的提出，方法的提出以及應用的釋出，我們都可以看到對話技術整個在發展過程中非常大的一些進步。
Q2： ChatGPT****能做什麼？
吳友政：22年11月份OpenAI釋出的Chat GPT對話的系統，結果非常讓人的驚豔，在人工智慧的技術領域和產業領域都受到了廣泛的關注，最重要的原因就是透過一個模型或者是透過一個系統可以實現非常多的NLP的相關的任務。
像這裡展示的，我們可以將一句話解析成一個SQL的查詢語言，也可以讓其他ChatGPT去撰寫一篇文章，比如說這裡我給的一些指令是說可以在acl上發表的關於自然語言生成方面的學術論文，它就生成了包括標題、摘要、介紹、方法、結果、結論這一整篇的結果。
ChatGPT背後的技術原理OPenAI還沒有釋出，但是InstructGPT是ChatGPT一個基礎的模型。因此InstructGPT實際上是把很多的NLP任務都看成了一個語言模型，然後透過增強語言模型的能力去實現多個NLP的任務。增強語言模型有很多方式，包括像改變語言模型結構，在這裡面ChatGPT或者是InstructGPT採用的是一個解碼器的模型結構。
但在這裡ChatGPT或者說InstructGPT所採用的方式是從模型生成的，大量的結果中讓人工去做兩兩比較哪個結果會更優，然後透過這種資料去學習模型，最後實現在新的無標註資料上強化學習，讓模型進一步得到最佳化。InstructGPT大致可以分成這三個階段——
第一個是預訓練的階段， ChatGPT整體應該是基於GPT-3實現的。
第二個階段是fin-tuning的階段，就是我們說的京條是基於一定數量的標註資料，這裡面最左邊展示的步驟1，其實就是我們如何構建京條的資料集，以及基於京條的資料集如何去調優或者是京條我們的模型。
第三個階段是透過兩兩比較的資料，我們可以去訓練一個獎勵模型叫reward model。在第三步我們透過reward model，讓模型在一些新的資料上，而且是無標註的資料上進行自我迭代，透過這三步來組成最後的訓練模型。
ChatGPT可以完成哪些任務 ？
最左邊的表格其實列出了ChatGPT可以完成的任務，包括我們生成的任務、開放域的問答，還包括像聊天、摘要、分類、資訊抽取等十大類的任務。
但實際上在每一個大類裡，其實又分很多細分的小類。比如說在生成的任務裡面，其實可以寫一封郵件、一封推薦信，包括生成歌詞，也可以生成一些關於產品的營銷文案。
簡單總結ChatGPT的一些特點，第一個其實ChatGPT所帶來的技術突破，我相信大家都是認可的，但ChatGPT並不是短期之內研發出來的，實際上是OpenAI近些年一系列工作的集大成者，而且ChatGPT是基於非常強大的預訓練語言模型，GPT-3.5的基礎上做出來的。
另外，ChatGPT是透過語言模型的方式解決眾多的自然語言處理中的語言理解和生成任務，其實也讓我們看到了通用人工智慧的可行性。
第三個方面其實是我們可以看到透過增加模型引數，就是我們讓模型變得越來越大，其實是可以提高語言模型輸出的流暢度的。但如果是希望在這個模型輸出的有用的方面或者是忠實度，甚至是可信度方面要有進一步的提高，簡單的去提高模型引數的大小，實際上並沒有顯著的提升。我們還需要有一些新的策略去進一步的提升模型在這三個方面的表現。
ChatGPT提出的方案就是透過預訓練京條以及基於使用者反饋的強化學習，去進一步提升模型在流暢度之外的像在有用性真實性以及我們的可信性方面的一些效能，但這一種新的預訓練加微調加基於使用者反饋的強化學習，有可能成為新的AI的模型的方式，但我們另一方面也看到了，其實ChatGPT 中的很多技術也是借鑑了其他領域的一些相關的技術，比如說借鑑了搜尋推薦領域裡面的基於使用者反饋的模型的迭代，其實在推薦和搜尋領域及使用者實時反饋的模型訓練，其實引用得非常成熟了。
剛才說的Reward model實際上是借鑑了搜尋裡面的Learning to Ranking的一些思想，另外ChatGPT也可以看成是一個多工學習的模型，但同時我們也可以看到ChatGPT在一些公開的NLP的資料集上，至少在Zero-shot還有Few-sho是這種設定下面，它的效能還有待進一步的提升。但非常重要的就是ChatGPT如何應用到實際業務系統中，對真實的業務系統或者是產品有幫助，這裡面還有非常多的關鍵的技術問題需要進一步的研究。
Q3：業內還有哪些令人驚豔的對話系統？
吳友政：去年11月Meta釋出了新的對話系統叫Cicero。
Cicero不僅具備像ChatGPT或者是GPT Siri這樣的語言組織能力，還需要像AlphaGo這樣的戰略推理能力。因為Cicero所參與的遊戲是一個需要策略推理的遊戲，在這個遊戲中，我們的機器人需要透過結盟、談判、說服甚至威脅的方式達成自己的目標。
此外，從19年微軟的 DialoGPT是8億的引數，到今年的ChatGPT，一共有1,500億整個引數量，但是大家的模型的結構其實沒有特別大的差別，大部分採用的還是單純的解碼器模型結構。
Q4： ChatGPT****能直接應用到產品中去嗎？
吳友政：我們剛才說到了 ChatGPT，像cicero還有一些其他的對話大模型，這些模型是不是可以直接應用到我們的產品，我覺得是接下來需要大家去研究的問題。
我們在這裡也給出了一些資料，最左邊的紅色數字是現在的模型，甚至是一些比較小的模型，取得一些Sota的結果，有的達到了93%的準確率，但是我們在zero-shot和Few-shot上所取得的效果，離當前的Sota還有比較大的差距。
Q5：在對話式AI領域，京東雲在開展哪些工作？
吳友政：剛才提到的實際上是關於在對話技術方面的一些最新的進展，我們在京東做的工作是怎麼樣把對話的技術應用到真正的產品或者是業務系統裡面，而京東實際上是有提供了非常多的人機對話的場景。。
舉幾個例子。
京東具有龐大的自建客服團隊，僅僅在零售的場景上，我們的全職客服就超過了1.4萬，以及2萬多分佈在四大客服中心的兼職客服。因為京東品牌的要求，實際上客戶其實對我們的體驗要求是非常高的，這也要求我們在對話系統這個方面提供非常接近於人的對話互動的服務。
另外京東的全鏈路的客戶服務涉及的鏈路也是非常長，業務也非常複雜，包括自營的店鋪，也包括多主體的店鋪，業務是非常複雜的，像售中、售前售後的全鏈路的客戶服務，涉及商家非常多，涉及商品也超過了1000多萬。
全鏈路的客戶服務場景，能讓京東的技術在這些場景中進一步得到打磨。基於京東場景，我們做了很多技術產品，服務於零售、金融、物流、健康、保險等行業，沉澱了很多 AI的能力，包括像語音識別合成像對話的能力，從而進一步打磨出產品，比如文字機器人、語音應答機器人偏對話生成的數字對話產品，還有培訓機器人，包括智慧質檢，去服務於更廣泛的我們的客戶。