導語 | 美國人工智慧研究機構 Open AI 釋出了最新的大語言模型 ChatGPT,其驚豔的效能在海內外掀起了一波又一波熱潮。騰訊雲開發者先後釋出瞭解讀作品《演算法工程師深度解構 ChatGPT 技術》、《3小時開發 ChatGPT 微信小程式》、《對標ChatGPT:新 AI 助手 Claude 來了》,受到各領域開發者關注。本次,騰訊研究院資深專家、前沿科技研究中心主任王強,將以十問十答的形式,用通俗的語言,與大家交流其最新、最受關注的問題。
01、ChatGPT現在有多火?
2022年11月30日, ChatGPT 橫空出世,在全球範圍內形成了熱烈的討論。根據 Similarweb 的資料,今年1 月,平均每天約有 1300 萬獨立訪客使用 ChatGPT,是去年 12 月份的兩倍多,累計使用者超1億,創下了網際網路最快破億應用的記錄,超過了之前 TikTok 9個月破億的速度。
除了廣大使用者千奇百怪的問題,引發了社交媒體的大量傳播,ChatGPT 在各領域的秀肌肉,也進一步強化了其知名度。美國賓夕法尼亞大學發現,ChatGPT 能夠透過該校工商管理碩士 MBA 課程的期末考試。《自然》雜誌1月24日宣佈,將人工智慧工具列為作者的論文,不能在雜誌上發表。《自然》稱,作者身份意味著對作品負有責任,而人工智慧工具無法承擔這樣的責任。據傳,ChatGPT 還成功透過了谷歌的程式設計面試,拿到了年薪18.3萬美元的L3工程師offer。世界各地的網友貢獻了多樣化的 ChatGPT 體驗案例,詳見《 ChatGPT 還有這種玩法?》。
02、ChatGPT背後的核心技術?
ChatGPT 是生成式 AI 的一種形式,Gartner 將其作為《 2022 年度重要戰略技術趨勢》的第一位。Gartner 預測,到 2025 年,生成式 AI 將佔到所有生成資料的10%,但目前這個比例還不足1%。
ChatGPT 背後的支撐是人工智慧大模型,這個技術點在去年《2022十大數字科技前沿應用趨勢》報告中做過詳細的闡述:當前的人工智慧大多是針對特定的場景應用進行訓練, 生成的模型難以遷移到其他應用, 屬於“ 小模型”的範疇。整個過程不僅需要大量的手工調參, 還需要給機器餵養海量的標註資料,這拉低了人工智慧的研發效率, 且成本較高。
大模型通常是在無標註的大資料集上, 採用自監督學習的方法進行訓練。之後,在其他場景的應用中,開發者只需要對模型進行微調, 或採用少量資料進行二次訓練, 就可以滿足新應用場景的需要。這意味著,對大模型的改進可以讓所有的下游小模型受益, 大幅提升人工智慧的適用場景和研發效率, 因此大模型成為業界重點投入的方向,Open AI、谷歌、臉書、微軟, 國內的百度、阿里、騰訊、華為和智源研究院等紛紛推出超大模型。特別是Open AI GPT 3 大模型在翻譯、問答、內容生成等領域的不俗表現, 讓業界看到了達成通用人工智慧的希望。當前 ChatGPT 的版本為GPT 3.5,是在 GPT3 之上的調優,能力進一步增強。
ChatGPT 使用的核心技術之一是 Transformer。這從其全稱上也能看得出來,Chat Generative Pre-trained Transformer。Transformer 技術是近幾年人工智慧技術最大的亮點之一,他是 Google 於 2017 年提出的一種採用注意力機制的深度學習模型,可以按輸入資料各部分重要性的不同,而分配不同的權重。Transformer 的精度和效能上都要優於之前流行的 CNN(卷積神經網路)、 RNN (迴圈神經網路)等模型,大幅提升了模型訓練的效果,讓人工智慧得以在更大模型、更多資料、更強算力的基礎上進一步增強能力。
此外,他還具有很強的跨模態能力,不僅在 NLP (自然語言理解)領域表現優異,在語音、影像方面也顯示出了優異的效能。對 ChatGPT 技術原理感興趣的開發者詳見《演算法工程師深度解構 ChatGPT 技術》。
03、 ChatGPT為什麼能成功?
ChatGPT 是非常成功的一次從技術研發到工程化、再到點燃大眾熱情的經典案例。
- 技術創新
Open AI 持續的研究中,不斷探索引入新的技術路線。這次引入的強化學習方法,很好地提升了模型的效果。在研究中,Open AI 在模型訓練中,引入了人類專家。專家一方面幫助 ChatGPT 撰寫更符合人類習慣的回答,另一方面,也對生成的結果進行排名,透過這樣的獎勵機制,實現模型的微調最佳化。
- 組織文化
Open AI 自成立之初,就致力於打造通用 AI 的能力,並堅定的持續投入,這是 ChatGPT 成功的一大關鍵因素。在這樣的願景下,吸引了一大批高水平的人才,在沒有任何商業 KPI 的情況下心無旁騖地開展研發工作,最終取得了重大的突破。
- 反饋機制
透過使用者的使用, Open AI 可以獲得使用者對於模型優劣和使用體驗的反饋,從而形成了模型使用到體驗反饋的閉環,從而進一步最佳化模型。此外,Open AI 還組織專門的反饋競賽,鼓勵使用者針對回答中的風險危害、新穎的回答建議等方面給予反饋,參賽者有機會贏取 500 美元的 API 積分,並可兌換相應獎品。
- 專案策劃
一個影響力出圈的技術,與其專案策劃密不可分。ChatGPT 的問答和多輪對話形式,很好地激發了大眾的熱情和創造力,大家基於各自感興趣的話題自由發揮,或幽默搞笑、或嚴肅認真,在朋友圈和媒體上屢屢刷屏。包括之前 GPT3 的推出,他寫新聞、作詩、翻譯、編程式碼等能力,也是在社會上產生了熱議和討論。這種很好地與公眾互動的專案設計策略,也很值得我們學習。包括之前 AlphaGo 的圍棋大戰、 Deepmind 破解蛋白質摺疊結構難題,都是很好的議題任務設定。
04、ChatGPT是否開源?
尚未開源,目前是以 API (應用程式程式設計介面)呼叫的方式服務,目前也暫無開源計劃。
Open AI 不 Open ,是業界很多人詬病的地方。開源是多年來軟體和網際網路產業之所以蓬勃發展的核心動力之一。開源的方式可以調動全球開發者的積極性,每個人都可以下載原始碼使用,並進行最佳化和在社群分享。這種用全社會的力量來創新的機制,大幅加速了技術科研攻關、產業應用的程式。
關於 ChatGPT 為何不開源,業界也有一些專家表示認可,因為人工智慧技術至今為止還是一個黑盒,關於其內部的機制尚未可知,如果程式碼開源,很難避免該技術用於一些不利於社會和人類的方面。此外,自從 Open AI 放棄了非盈利組織的定位,接受微軟等投資後,從商業化的角度考慮,也會採取整體模型閉源,開放應用介面的方式來推廣,同時也會開源少部分模型,豐富開發者生態。
05、ChatGPT免費嗎?未來能賺錢嗎?
當前,普通使用者使用 ChatGPT 是免費的。
據《財富》,2022年,OpenAI 公司的收入預計不足 3000 萬美元,淨虧損 5.45 億美元。而隨著 ChatGPT 的火爆,可能進一步增加其虧損,因為使用者每一次呼叫,就會讓 Open AI 付出更多的計算資源和頻寬成本。
當然,Open AI 也開始了商業化的嘗試,2023 年 2 月,OpenAI 宣佈推出付費試點訂閱計劃 ChatGPT Plus,定價每月20美元。付費版功能包括高峰時段免排隊、快速響應以及優先獲得新功能和改進等。
Open AI預測,隨著 ChatGPT 成為吸引客戶的重要工具,其收入將會快速增長,預計 2023 年收入 2 億美元, 2024 年收入預計超過 10 億美元。
此外,據報導,微軟正在洽談向 OpenAI 投資約 100 億美元,也讓其估值達到了290 億美元。而此前,2019年微軟曾向 OpenAI投資 10 億美元,為其提供了大量的資金支援和 Azure 雲算力支援。
06、ChatGPT會替代搜尋引擎嗎?
短期來說,不會。長期來看,有可能透過融合,形成新型的搜尋引擎。
目前的 ChatGPT 給出的答案參差不齊,既可以給出很多問題的簡要答案,甚至能寫一篇符合初級規劃師水平的產業規劃報告,但 ChatGPT 也不可避免地經常出現“一本正經的胡說八道”的情況,這使得其置信度還需進一步提升。而且 ChatGPT 目前的知識庫主要還是2021年9月之前的資料,缺乏新資料,這也大大限制了其提供新資訊的能力。而同時,Open AI 還推出了 WebGPT ,它可以在網路上查詢資訊並提供資訊來源,這將很大程度上補充 ChatGPT 的實時資訊源,從而進一步最佳化答案。
在搜尋引擎的邏輯下,選擇權在使用者,搜尋引擎一般會給出眾多相關結果,根據使用者的點選反饋來持續最佳化搜尋結果。近年來,搜尋引擎也一直在做結果唯一化的嘗試,比如直接在搜尋框中提供唯一的答案選擇,但目前可提供唯一結果的比較有限,且無法開展多輪對話。
ChatGPT 的推出,給搜尋引擎廠商帶來了很大的震動,也啟發了其打造搜尋新體驗的方向。谷歌兩位創始人多次召開討論會,以應對 ChatGPT 可能帶來的顛覆搜尋引擎業務的潛力。谷歌 CEO Pichai 表示,將在近期推出類似 ChatGPT 的基於人工智慧的大型語言模型,一款由 LaMDA 提供支援的對話AI服務 Bard,讓使用者以“搜尋伴侶”的形式使用。微軟已經在 Bing 搜尋引擎中新增了 ChatGPT 功能,並開展了小流量測試。百度也計劃在3月推出新功能,在搜尋引擎中加入類似 ChatGPT 的對話式機器人“文心一言”。
我們也可以看看 ChatGPT 自己的回答:
07、還有哪些類似ChatGPT的模型和應用?
ChatGPT 是典型的 AIGC 大模型,目前國內外在文字、程式碼、影像、影片、3D等領域都湧現出相應的生成模型。
當前,ChatGPT 一個有力的競爭者是Claude,他是 Anthropic 近期推出的生成式Al模型。Anthropic 由幾位前 Open Al 的研究員在2021年創立,包括OpenAl前研究副總裁 Dario Amodei、GPT-3 論文一作 Tom Brown 等人。對 Claude 背後技術感興趣的開發者,詳見《對標ChatGPT,新AI助手Claude來了》。據《金融時報》報導,2022 年底,Google 向這家初創公司投資了約 3 億美元。相比 ChatGPT,Anthropic 在其網站上更強調其構建“可靠、可解釋和可操縱的人工智慧系統”的工作。
騰訊的混元大模型,集 CV(計算機視覺)、NLP (自然語言理解)、多模態理解能力於一體,先後在 MSR-VTT、MSVD 等五大權威資料集榜單中登頂,實現跨模態領域的大滿貫。2022 年 5 月,騰訊“混元”AI大模型在 CLUE(中文語言理解評測集合)總排行榜、閱讀理解、大規模知識圖譜三個榜單同時登頂,一舉打破三項紀錄。12 月,混元推出國內首個低成本、可落地的NLP萬億大模型,並再次登頂自然語言理解任務榜單 CLUE。混元用千億模型熱啟動,最快僅用 256 卡在一天內即可完成萬億引數大模型 HunYuan-NLP 1T 的訓練,整體訓練成本僅為直接冷啟動訓練萬億模型的1/8。
圖片來源:紅杉資本《Generative AI: A Creative New World》
08
ChatGPT等大模型
會讓我們實現通用人工智慧嗎?
自從包含 1750 億引數的 GPT3 從 2020年6月推出以來,業界對於達成通用人工智慧的探討又進一步熱了起來。正如微軟 CEO 納德拉近日在接受華爾街日報訪談時表示, GPT 的發展不是線性的,而是指數級變化的,所以相比較 GPT3 ,當前的GPT3.5 已經展現出更強的能力。業界普遍預測,GPT4 將在今年推出,並具備更強大的通用能力。
但同時,我們也需要有清晰的辨識, AI 並非萬能。即無論 AI 如何強大,其解決的問題,也只是人類面臨所有問題的很小一部分。因為現實世界中有海量的問題並不是數學問題,也就不可能透過計算來求解。目前人工智慧已經找到解決方案的問題,也只是可計算問題的一小部分。
09、ChatGPT可能產生哪些社會或倫理問題?
ChatGPT 也面臨人工智慧長期以來面臨的問題,如歧視等倫理問題,被濫用於詐騙、欺詐、政治造謠、偽造身份等安全問題,以及智慧財產權問題。最近,OpenAI表示,正考慮在 ChatGPT 中新增模型水印,即監測模型可以識別的特殊標記,以降低模型濫用的問題。
此外,針對大眾普遍擔心的失業問題,ChatGPT 在 LinkedIn 上分享了一篇帖子寫道:“AI 不會取代你。一個使用 AI 的人將取代你”。
10、ChatGPT的未來
將帶來哪些變革和新機會?
ChatGPT 自己的回答,已展現出其發展的一種典型路徑,即作為人類的陪伴機器人。
但更重要的,ChatGPT 會成為未來人機互動的一個新入口,很可能改變現有 APP 的互動方式,以更為自然的對話方式,讓使用者來使用軟體和呼叫技能。例如,未來在文件編輯軟體中,人們可以透過描述需求,讓軟體直接生成文字內容,或者生成一個圖形,甚至直接進行修圖等工作。在程式設計方面,ChatGPT 這種即時程式設計的方式,將改變傳統的工作方式和應用互動規則,推動產業進入軟體3.0的新階段。
除此之外,ChatGPT 未來還可以有多樣化的應用前景:
一是現在火熱的數字人,好看的皮囊下,則需要類似 ChatGPT 這樣的模型提供對話能力,才能讓數字人具備有趣的靈魂,更好地陪伴和服務人。同時,該能力也可以嵌入到機器人身體內,讓未來的人形機器人更聰明,更像人。
二是大量的開發者可以利用 ChatGPT 這樣的底層平臺,在大模型基礎上根據不同行業和場景進行模型調優,從而創造出各類滿足使用者需求的豐富應用,從而形成對話式 AI 的生態。例如國外火爆的 Jasper,透過在 GPT3 模型上的微調,可以幫助使用者撰寫營銷文案,甚至有人在上面完成了一部 12 萬字的小說,IBM、Airbnb、Autodesk 等大企業都是其企業使用者。普通使用者可以免費試用1萬個單詞的版本,之後可以29美元訂購2萬個單詞,或用59美元訂購生成5萬個單詞的許可權。
三是在教育、醫療、廣告營銷、電子商務、市場和戰略諮詢、企業服務、編寫程式碼等專業服務領域,成為更為專業的人類助手,不僅可以生成內容,還可以呼叫各種專業能力,甚至替代部分初級的專業工作。企業服務方面,2月8日,微軟推出了由 ChatGPT 提供技術支援的高階 Teams 產品, ChatGPT 可以自動幫助參會者生成會議記錄,即使沒有參加會議,智慧回顧功能也能幫助使用者生成會議記錄和要點。如果有被同事在會議中提到,ChatGPT 還可以給使用者提供個性化的時間線標記,以快速檢視分享和討論的內容,該服務將在 6 月份每月收費 7 美元,然後在 7 月份增加到 10 美元。程式碼編寫方面,近期特斯拉前任 AI 總監 Andrej Karpathy 透露,現在他80%的程式碼都是由AI生成的(GitHub Copilot),而且有80%的準確率。
四是與其他模態AI工具的組合式創新,ChatGPT 同文生圖、文字生成影片、甚至未來直接生成 3D 模型的工具整合,可以帶來 UGC 內容的極大豐富,成為內容工業化的核心引擎。
未來,ChatGPT 與更多的 AI、雲端計算等資訊科技的整合創新,將創造改變生產力曲線的工具,成為經濟發展新動力。
騰訊雲開發者公眾號 後臺回覆 0214 領原始碼
你可能感興趣的騰訊工程師作品