7月5日，在2024世界人工智慧大會“可信大模型論壇”上，支付寶公佈了其AI技術在醫療領域佈局的最新進展：釋出多模態醫療大模型，同時，全新推出包括醫療可信一體機、可信雲等多款數智化解決方案。現場，支付寶還與人民衛生出版社、北京大學醫學部、浙江省衛生健康委等20家機構，聯合發起AI醫療共建計劃，共同探索AI數智技術底座與創新應用服務。
支付寶多模態醫療大模型亮相
經過半年多測試打磨，支付寶醫療大模型正式亮相，這也是國內首批多模態醫療大模型之一。
螞蟻集團大模型應用部總經理顧進傑介紹了背後的技術研發。螞蟻百靈大模型已具備能“看”會“聽”、能“說”會“畫”的原生多模態能力，可以直接理解並訓練音訊、影片、圖、文等多模態資料。支付寶醫療大模型以此為基座模型，新增了包含報告、影像、藥品等百億級中英文圖文、千億級醫療文字語料及千萬級高質量醫療知識圖譜，中英文醫療考試、基準測試達到或超過GPT4水準，醫療專業能力在中文醫療LLM評測榜單promptCBLUE中，位列A榜第一，B榜第二。同時，全棧自研醫療多模態結構，使得模型識別報告、藥品、毛髮等影像準確率達90%以上，相關技術在行業頂尖技術期刊與會議 CVPR、KDD、ECCV等發表了多項成果。
為了讓回答對話更加可靠，在研發階段，支付寶還與數百個專業醫學團隊、專家進行合作標註資料，保障資訊權威可信，同時聯合上海仁濟醫院推出首箇中文醫療專科問答推理資料集RJUA-QA。模型測試階段，使用者、患者、醫生參與問答反饋，在專業同時，兼顧患者關懷。
支付寶醫療大模型釋出現場
目前，該多模態醫療大模型不僅提供智慧問答、病歷結構化和檢索、輔助診斷，還可識別解讀藥品及上百種複雜的醫學報告，進行毛髮健康檢測等，這些都能嵌入醫院等機構醫療環節全流程，創新醫療服務的同時，也助力提升機構運營效率。
顧進傑表示，AI的深度應用，不僅對資料、演算法、算力提出了更高要求，也對可靠、安全、隱私提出更多挑戰，醫療場景下，保障技術可靠與資料隱私安全，至關重要。為此，支付寶面向行業推出全新的“醫療可信一體機+可信雲”的解決方案，透過密態計算與儲存，讓醫療資料可用不可見，機構保管更安全。
據介紹，百靈醫療可信一體機，核心解決醫院面臨的算力不足痛點，可實現開箱即用，訓推一體，支援國產算力，軟硬體協同最佳化加速。醫療大模型可信雲方案，透過公有云與專有云部署密態推理，聚焦解決資料隱私安全和商業機密保護問題。
AI醫療創新應用“聯盟”來了
從去年以來，支付寶就加速了AI技術在醫療領域的開放與佈局。去年11月，浙江衛健委應用支付寶開放的“AI就醫助理”解決方案，依託大模型、數字人技術，打造了全國首個數字健康人“安診兒”，給浙江居民提供雲陪診、健康諮詢等服務，上線以來，服務了1000多家醫療機構。上海市第一人民醫院，應用AI大模型，不僅上線了上海首個可語音互動的“數字陪診師”，還在業內首創了生成式電子病歷，將繁雜的文書工作從原本的10分鐘縮減到了15秒。
醫療技術的創新，需要依託平臺、產業、學界共同努力。大會現場，支付寶、人民衛生出版社、北京大學醫學部、浙江省衛生健康委、廈門市衛生健康委員會、浙江省人民醫院、上海交通大學醫學院附屬仁濟醫院、北京大學人民醫院、復旦大學附屬腫瘤醫院、上海市第一人民醫院、首都醫科大學附屬醫院等20多家機構、企業，聯合發起了AI醫療共建計劃，共同探索大模型應用及各類專科模型創新研發。
支付寶AI醫療共建計劃啟動現場
支付寶副總裁、數字醫療健康事業部總經理張俊傑表示：“支付寶希望用最頂尖的技術做最普惠的服務，讓AI像‘掃碼支付’一樣便利每個人的生活。支付寶也會持續開放AI技術與行業解決方案，攜手合作夥伴一起，推動智慧醫療走向普惠、普及。”
據瞭解，2014年支付寶支援全國第一筆遠端掛號繳費，經過十年發展，平臺已服務超6億看病就醫人群，是國內規模最大的醫保第三方線上服務平臺、一站式的醫療健康服務平臺。目前，全國300多個城市、超3600家醫院在支付寶上提供一站式數字醫療服務。