史上AI最高分!谷歌大模型創美國醫師執照試題新紀錄,科學常識水平媲美人類醫生
楊淨 羿閣 發自 凹非寺
量子位 | 公眾號 QbitAI
史上AI最高分,谷歌新模型剛剛透過美國醫師執照試題驗證!
而且在科學常識、理解、檢索和推理能力等任務中,直接與人類醫生水平相匹敵。在一些臨床問答表現中,最高超原SOTA模型17%以上。
此進展一出,瞬間引爆學界熱議,不少業內人士感嘆:終於,它來了。
廣大網友在看完Med-PaLM與人類醫生的對比後,則是紛紛表示已經在期待AI醫生上崗了。
還有人調侃這個時間點的精準,恰逢大家都以為谷歌會因ChatGPT而“死”之際。
來看看這到底是一個什麼樣的研究?
史上AI最高分
由於醫療的專業性,今天的AI模型在該領域的應用很大程度上沒有充分運用語言。這些模型雖然有用,但存在聚焦單任務系統(如分類、迴歸、分割等)、缺乏表現力和互動能力等問題。
大模型的突破給AI+醫療帶來了新的可能性,但由於該領域的特殊性,仍需考慮潛在的危害,比如提供虛假醫療資訊。
基於這樣的背景,谷歌研究院和DeepMind團隊以醫療問答為研究物件,做出了以下貢獻:
提出了一個醫學問答基準MultiMedQA,包括醫學考試、醫學研究和消費者醫學問題;
在MultiMedQA上評估了PaLM及微調變體Flan-PaLM;
提出了指令提示x調整,讓Flan-PaLM進一步與醫學接軌,產生了Med-PaLM。
他們認為「醫療問題的回答」這項任務很有挑戰性,因為要提供高質量的答案,AI需要理解醫學背景、回憶適當的醫學知識,並對專家資訊進行推理。
現有的評價基準往往侷限於評估分類準確度或自然語言生成指標,而不能對實際臨床應用中詳細分析。
首先,團隊提出了一個由7個醫學問題問答資料集組成的基準。
包括6個現有資料集,其中還包括MedQA(USMLE,美國醫師執照考試題),還引入了他們自己的新資料集HealthSearchQA,它由搜尋過的健康問題組成。
這當中有關於醫學考試、醫學研究以及消費者醫學問題等。
接著,團隊用MultiMedQA評估了PaLM(5400億引數)、以及指令微調後的變體Flan-PaLM。比如透過擴大任務數、模型大小和使用思維鏈資料的策略。
FLAN是谷歌研究院去年提出的一種微調語言網路,對模型進行微調使其更適用於通用NLP任務,使用指令調整來訓練模型。
結果發現,Flan-PaLM在幾個基準上達到了最優效能,比如MedQA、MedMCQA、PubMedQA和MMLU。尤其是MedQA(USMLE)資料集,表現超過了此前SOTA模型17%以上。
本項研究中,共考慮了三種不同規模的PaLM和Flan-PaLM模型變體:80億引數、620億引數以及5400億引數。
不過Flan-PaLM仍存在一定的侷限性,在處理消費者醫學問題上表現效果不佳。
為了解決這一問題,讓Flan-PaLM更適應醫學領域,他們進行了指令提示調整,由此產生Med-PaLM模型。
△示例:新生兒黃疸需要多長時間才能消失?
團隊首先從MultiMedQA自由回答資料集(HealthSearchQA、MedicationQA、LiveQA)中隨機抽取了一些例子。
然後讓臨床醫生5人組提供示範性答案。這些臨床醫生分佈於美國和英國,在初級保健、外科、內科和兒科方面具有專業經驗。最終在HealthSearchQA、MedicationQA和LiveQA中留下了40個例子,用於指令提示調諧訓練。
多個任務接近人類醫生水平
為了驗證Med-PaLM的最終效果,研究人員從上文提到的MultiMedQA中抽取了140個消費者醫療問題。
其中100個來自HealthSearchQA資料集,20個來自LiveQA資料集,20個來自MedicationQA資料集。
值得一提的是,這裡面並不包含當初用於指令提示調整以生成Med-PaLM的問題。
他們讓Flan-PaLM和Med-PaLM分別對這140個問題生成答案,又請來一組專業的臨床醫生作出回答。
以下圖為例,當被問到“耳朵疼得厲害意味著什麼”時,Med-PaLM不僅會一條條列出患者可能感染的疾病,還會建議如果有以下幾種現象應該去就醫。
耳部疼痛可能是幾種潛在疾病的徵兆,包括:中耳感染(中耳炎)、外耳感染(耳部感染)、耳垢嵌塞。也可能是更嚴重疾病的徵兆,比如腦瘤或中風。
如果你有嚴重的耳朵疼痛,持續時間超過幾天,或者有其他症狀伴隨耳朵疼痛,如頭暈、發燒、面部無力或麻木,你應該去看醫生進行評估。醫生可以確定疼痛的原因,並提供適當的治療。
就這樣,研究人員將這三組答案匿名後交給9名分別來自美國、英國和印度的臨床醫生進行評估。
結果顯示,在科學常識方面,Med-PaLM和人類醫生的正確率都達到了92%以上,而Flan-PaLM對應的數字為61.9%。
在理解、檢索和推理能力上,總體來說,Med-PaLM幾乎達到了人類醫生的水平,兩者相差無幾,而Flan-PaLM同樣表現墊底。
在答案的完整性上,雖然Flan-PaLM的回答被認為漏掉了47.2%的重要資訊,但Med-PaLM的回答有顯著提升,只有15.1%的回答被認為缺失了資訊,進一步拉近了與人類醫生的距離。
不過,儘管遺漏資訊較少,但更長的答案也意味著會增加引入不正確內容的風險,Med-PaLM的答案中不正確內容比例達到了18.7%,為三者中最高。
再考慮到答案可能產生的危害性,29.7%的Flan-PaLM回答被認為存在潛在的危害;Med-PaLM的這個數字下降到了5.9%,人類醫生相對最低為5.7%。
除此之外,在醫學人口統計學的偏見上,Med-PaLM的效能超過了人類醫生,Med-PaLM的答案中存在偏見的情況僅有0.8%,相比之下,人類醫生為1.4%,Flan-PaLM為7.9% 。
最後,研究人員還請來了5位非專業使用者,來評估這三組答案的實用性。Flan-PaLM的答案只有60.6%被認為有幫助,Med-PaLM的數量增加到了80.3%,人類醫生最高為91.1%。
總結上述所有評估可以看出,指令提示調整對效能的提升效果顯著,在140個消費者醫療問題中,Med-PaLM的表現幾乎追上了人類醫生水平。
背後團隊
本次論文的研究團隊來自谷歌和DeepMind。
繼去年穀歌健康被曝大規模裁員重組後,這可以說是他們在醫療領域推出一大力作。
連谷歌AI負責人Jeff Dean都出來站臺,表示強烈推薦!
有業內人士看完後也稱讚道:
臨床知識是一個複雜的領域,往往沒有一個明顯的正確答案,而且還需要與病人進行對話。
這次谷歌DeepMind的新模型堪稱LLM的完美應用。
值得一提的是,前段時間剛透過了美國醫師執照考試另一個團隊。
再往前數,今年湧現的PubMed GPT、DRAGON、Meta的Galactica等等一波大模型,屢屢在專業考試上創下新的記錄。
醫療AI如此盛況,很難想象去年還一度唱衰的光景。當時谷歌與醫療AI相關的創新業務始終沒有做起來。
去年6月還一度被美國媒體BI曝光正陷入重重危機之中,不得不大規模裁員重組。而在2018年11月谷歌健康部門剛成立時可謂風光無限。
也不只是谷歌,其他知名科技公司的醫療AI業務,也都曾經歷過重組、收購的情況。
看完這次谷歌DeepMind釋出的醫療大模型,你看好醫療AI的發展嗎?
論文地址:
參考連結:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2929851/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 微軟創CoQA挑戰新紀錄,最接近人類水平的NLP系統誕生微軟
- AI大模型的白堊紀AI大模型
- 谷歌乳腺癌AI檢測新突破,誤診率遠低於人類醫生谷歌AI
- 美國“黑五”網路消費超30億美元 創新紀錄
- 重磅!李飛飛入選美國國家醫學科學院,她用AI改變了醫療AI
- 多模態AI是醫學的未來,谷歌推出三個新模型,Med-Gemini迎來大升級AI谷歌模型
- 谷歌跨界醫學新動作:基因突變定位模型又更!新!了!谷歌模型
- 騰訊首部帕金森病紀錄片,講述醫學AI背後的故事AI
- 15億引數!史上最強通用NLP模型誕生:狂攬7大資料集最佳紀錄模型大資料
- ChatGPT如何「思考」?心理學和神經科學破解AI大模型,Nature發文ChatGPTAI大模型
- 從芝加哥大學輟學,扎進醫療行業,他創辦的推想科技想用AI幫醫生提升效率行業AI
- 醫生使用AI演算法“零門檻”,美國放射學會推出AI開放平臺AI演算法
- 參天生長大模型:昇騰AI如何強壯模型開發與創新之根?大模型AI
- AI自動生成prompt媲美人類,網友:工程師剛被聘用又要淘汰了AI工程師
- 新紀錄!谷歌 Cloud 計算出圓周率“ π” 第 100 萬億位數谷歌Cloud
- AI驅動音樂創新,網易數帆X雲音樂重新整理MIREX世界紀錄AI
- Yoshua Bengio談深度學習AI如何邁向人類水平深度學習AI
- 你是合格的資料科學家嗎?30道題測試你的NLP水平資料科學
- “GPT+醫療健康”前景廣闊,景聯文科技大量醫學資料儲備助力AI醫療大模型GPTAI大模型
- KISTI:研究顯示中國科學論文的質量水平超過美國
- 重磅:谷歌釋出最強大AI模型【Google Gemini】谷歌AI模型Go
- 營業執照識別介面:透過API實現營業執照識別功能API
- 開源醫療大模型排行榜: 健康領域大模型基準測試大模型
- 經常造輪子的 AI 工程師水平通常不會太差AI工程師
- 新火種AI | 馬斯克的AI大模型來了!其他AI不能回答的問題,它能回答嗎?AI馬斯克大模型
- 當生成式AI照進醫療,醫患關係將何去何從?AI
- 《黃錄 • 大黃本紀》
- Java預科及常識Java
- iPhone國內熱銷 蘋果Q4營收或創新紀錄iPhone蘋果營收
- 91.1% 準確率,效能遠超 GPT-4 系列模型,谷歌推出多模態醫學大模型 Med-GeminiGPT谷歌大模型
- ChatGPT要慌了?谷歌推出最新AI大模型Gemma(可本地部署)ChatGPT谷歌AI大模型Gemma
- 數學類筆試題筆試
- “盲人”視角看常數,品讀科學知識
- 谷歌啟動醫療健康新專案:大資料疾病預防谷歌大資料
- Caffe學習紀錄01
- 揭祕谷歌中國廚師團隊:不創新會死谷歌
- 谷歌、OpenAI學者談AI:語言模型正在努力「攻克」數學谷歌OpenAI模型
- 基於 AI 大模型的精準測試分享AI大模型