醫學人工智慧方興未艾，會給患者帶來風險嗎？

药明康德AI發表於2020-02-11
人工智慧
AI醫學影像識別、虛擬醫生、應用程式、可穿戴式感測器、藥房聊天機器人……越來越多的人工智慧醫療產品正在湧入我們的生活。在惠澤患者的同時，這些新興技術，會給患者帶來風險嗎？

瑕瑜互見

2013年，IBM公司表示，相關的AI產品可以“打敗癌症”。對於AI醫學影像識別，不少人士認為，用於讀取X光影像的AI系統，最終會淘汰放射科醫生。位於加州La Jolla的Scripps研究所的心臟病專家兼執行副總裁Eric Topol博士表示，AI可以幫助醫生解讀心臟MRI，頭部CT掃描和眼後影像。醫學AI能夠讓醫生從很多瑣事中解脫出來，讓醫生有更多時間與患者交談。Topol博士認為，自己從事醫學研究30多年來，就影響力和變革性而言，沒有什麼能夠與AI堪比。在過去5年中，FDA已批准40款AI產品。2017年，FDA前任局長Scott Gottlieb醫生表示，“數字醫療所顯示出的潛力，具有無庸置疑的革命性意義。FDA必須努力建立一種切合這種新產品類別的適用方法。”

醫學人工智慧方興未艾，會給患者帶來風險嗎？

▲FDA數字醫療創新行動計劃與擬採用的監管架構（圖片來源：參考資料[13], [14]）

然而，許多醫療行業的專家擔心，基於AI的產品，將無法與這樣的評價相提並論。一些醫生和消費者權益團體擔心，“快速失敗，隨後修復”（fail fast and fix it later）的方式，會將患者置於風險之中。相關人士認為，監管機構並未採取足夠的措施，來確保消費者的安全。

史丹佛大學生物醫學倫理學中心兒科學教授Mildred Cho博士表示，醫學AI早期實驗中出現的一些案例，提醒大家需要謹慎。這些案例中，包括在一家醫院開發的系統，配置於另一家醫院時，經常會發生故障。而在數以百萬計的美國人的醫療照護中所採用的軟體，有時候漏掉一些少數族裔。有時，AI系統會根據與疾病無關的因素做出預測，而這些因素與所使用MRI（核磁共振機）的品牌，血液檢查的時間等因素無關。在另外一起案例中，AI軟體錯誤地得出結論；這樣的差錯，可能會導致哮喘患者不能得到所需的額外醫療照護。

克利夫蘭診所心臟內科主任Steven Nissen博士表示，這些導致嚴重的健康問題的失誤，遲早會發生。

醫學人工智慧方興未艾，會給患者帶來風險嗎？▲技術發展成熟度曲線（圖片來源：參考資料[15]）去年在7月，調研結構Gartner公司釋出的一份報告中表示，僅在第三季度，醫療人工智慧就吸引了16億美元的風投資金，“幾乎處於預期炒作的高峰期……隨著現實的考驗，可能會陷入泡沫幻滅後的低谷。”

當AI產品進入真實世界後，面臨實打實的考驗，不排除會出現令人失望的結果。作為《深度醫學：人工智慧如何使醫療照護迴歸人性化》一書的作者，Topol博士在書中對AI在醫學中的運用持樂觀態度，但他坦承，其中也不乏炒作。

Venrock風投機構的合夥人Bob Kocher博士等業界專家，則直接得多。他認為，“大多數AI產品，幾乎沒有證據支援。在大批患者使用AI系統之前，某些風險並不顯著。“我們將會陸續發現，在醫療資料領域使用AI的全部風險和意想不到的後果。”

隨機化臨床試驗是最具說服力的醫學證據來源。但Topol博士指出，在美國出售的AI產品，都沒有經過隨機化臨床試驗的檢驗。去年10月，線上發表於Gut雜誌的一項前瞻性隨機對照研究研究結果表明，實時自動檢測系統可提高結腸鏡檢查息肉和腺瘤的檢出率。這是AI醫療系統領域，迄今為止唯一完成的隨機化試驗。

醫學人工智慧方興未艾，會給患者帶來風險嗎？

2019年1月，發表於《歐洲臨床研究雜誌》的一項研究結果報導，很少有科技初創公司，在同行評議的期刊上發表相關研究，這類期刊允許其他的科學家對相關研究進行審查。這些相關的公司，只是在新聞釋出，或在促銷活動中描述的這些“不公開研究”，通常誇大了公司的成就。

“黑箱”

“黑箱方法”，指把研究物件作為黑箱，通過考察物件的輸入、輸出及其動態過程，而不是通過考察內部結構，來認識研究物件的功能特性、行為方式，以及探索其內部結構和機理的一種科學方法。儘管軟體開發人員可能會誇讚所開發的AI器械的準確性，但相關人士指出，大部分AI模型，只是在計算機上檢測，沒有在醫療機構中做過檢測。史丹佛大學醫療保健學院AI臨床整合醫學資訊學總監Ron Li博士表示，使用未經驗證的軟體，“可能會使患者成為不知情的實驗動物豚鼠”。

醫學人工智慧方興未艾，會給患者帶來風險嗎？

▲AI“黑箱”（藥明康德內容團隊製圖）

即便是開發人員，往往也不知道AI系統如何得出結論，這樣的學習識別資料模式的AI系統，通常被稱為AI“黑箱”。威斯康星大學麥迪遜分校法學與生物倫理學教授Pilar Ossorio博士表示，鑑於AI有許多風險未知，相關的AI醫學領域，需要仔細監督。但是，大多數AI器械，並不需要FDA批准。2016年底，美國國會通過的《21世紀治癒法案》（The 21st Century Cures Act）。該法案第3060節，對醫用軟體監管做出澄清，使多個型別的醫療軟體免於接受聯邦機構審評，其中包括某些健身應用、電子病歷記錄，以及可幫助醫生做出醫療決策的工具。依據該法案，2019年9月27日，FDA釋出依據《21世紀治癒法案》第3060節，對相應的醫用軟體政策做出變更的指南檔案。


醫學人工智慧方興未艾，會給患者帶來風險嗎？

圖片來源：參考資料[22]

缺乏針對性研究?



去年12月，美國國家科學院釋出題為《醫療人工智慧:希望、炒作、承諾、危險》的報告（Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril）。依據該報告披露，目前正在使用的約32萬種醫療應用程式，尚無這些應用程式能否真正改善健康狀況的針對性研究。

長期以來，FDA一直將注意力集中在對患者健康威脅最大的器械方面。多個消費者權益團體認識到，與用於診斷或治療的器械相比，某些器械，例如可幫助人們計算日常步數的器械，無需進行詳細檢查。

2018年發表於Anals of Internal Medicine的一項研究結果表明，即便有相應的法律要求，某些軟體開發人員，也不會費心申請FDA批准。

有業內分析人士表示，AI開發人員對進行昂貴且耗時的試驗沒有興趣。技術諮詢機構Booz Allen Hamilton公司的負責人，前述的美國國家研究院報告的合著者Joachim Roski博士表示，提交申請接受這些嚴格的審評，並在同行評審的雜誌上發表相關的研究結果，並非這些公司的主要關注點。

醫學人工智慧方興未艾，會給患者帶來風險嗎？

圖片來源：參考資料[22]

但是，西雅圖艾倫人工智慧研究所（the Allen Institute for AI）執行長Oren Etzioni博士表示，人工智慧開發商有經濟動因，來確保其醫療產品安全。“如果快速失敗，意味著很多人會喪生。我認為，我們不需要快速失敗。如果發生使用者死亡，或受到嚴重傷害，包括投資者在內，沒有誰會感到輕鬆。”


醫學人工智慧方興未艾，會給患者帶來風險嗎？

▲艾倫人工智慧研究所執行長Oren Etzioni博士（圖片來源：艾倫人工智慧研究所官網）

近年來，由於允許銷售危險醫療器械，FDA受到抨擊。根據國際調查記者同盟（International Consortium of Investigative Journalists）披露，在過去十年中，使用存在危險的醫療器械，與8萬例死亡和170萬例傷害存在關聯。這些器械中的很多，通過有爭議的510（k）通道流程獲批，根據相關規定，只要公司認為與現有器械類似，就可以讓公司銷售未經臨床測試的存在“中度風險”的產品。2011年，美國國家醫學科學院委員會得出結論，認為510（k）程式存在根本性缺陷，因此FDA應該將其淘汰，重起爐灶。但取而代之的是，FDA正在使用該流程來批准AI器械。



根據去年11月JAMA發表的一項研究結果報導，2017年和2018年FDA批准的14種AI產品中，有11種通過510（k）流程獲批；這些獲批產品，似乎都沒有開展新的臨床測試。根據與20年前批准的成像軟體存在類似性，2018年，FDA批准了擬用於幫助診斷肝癌和肺癌的AI器械。獲批依據是，與1976年之前銷售的產品“基本等效”。

FDA器械與放射衛生中心（CDRH）負責數字醫療的Bakul Patel主任表示，由FDA批准的AI產品基本上是“鎖定的”，因此相關的計算和結果在進入市場後不會改變。但是，相關人士擔心，FDA尚未授權“解鎖”的AI器械，其計算結果可能會以開發人員無法預測的方式逐月變化。

醫學人工智慧方興未艾，會給患者帶來風險嗎？

監管重點：“在於評估公司，而不是產品”

為了應對大量湧現出的AI產品，FDA正在測試一種截然不同的數字器械監管方法。這種新的監管方法的重點，在於評估公司，而不是產品。FDA於2017年啟動“預認證”（pre-certification）試點計劃，目的是“減少軟體開發商所開發的產品進入市場的時間和成本”，並在可能的情況下，強制性地要求“最小負擔”的系統。FDA官員表示，希望與AI軟體開發人員保持同步。與X光機等傳統器械的製造商相比，AI軟體開發商往往會更頻繁地升級產品。2017年，時任FDA局長Scott Gottlieb醫生表示，監管機構需要確保針對創新產品的監管確實有效，促進創新，而不是阻礙創新。

根據這一試點計劃，對於“展示出質量和組織卓越文化”的公司，FDA將開展預認證，這將使得相關公司，可以提供較少的與器械有關的前期資料。然後，經過預認證的公司，可以上市銷售經過“簡化”審評的器械，或完全不需要FDA審評。產品投放市場後，公司將負責監控自己產品的安全性，並報告給FDA。風險產品，例如用於心臟起搏器的軟體，仍需要FDA的全面審評。但是研究表明，由於對患者存在嚴重風險，即使是低風險和中等風險的器械，也存在召回案例。

醫學人工智慧方興未艾，會給患者帶來風險嗎？

與其它器械相比，一些AI器械經過更為仔細的測試。IDx-DR是一種用於篩查糖尿病性眼病的AI器械，在2018年獲批之前，在10個基層醫療機構，對900名患者進行了研究。這種AI器械的製造商IDx Technologie公司，與FDA合作了八年，通過了測試。IDx-DR是第一款可自主使用的AI產品，無需醫生在場，即可做出篩查決定。該公司現在正在將其安裝在初級保健診所和雜貨店，可以由具有高中文憑的員工進行操作。

然而，一些旨在改善照護的基於AI的創新，實際使用效果卻未能如願。例如，一家加拿大公司開發了一款AI軟體，可根據患者的口述，預測患阿爾茨海默病的風險。對某些患者的預測，比其他患者更準確。但多倫多大學電腦科學副教授Frank Rudzicz博士表示：“一些患者很難找到正確的單詞，可能是由於他們不熟悉英文，而不是由於認知障礙所致。”

醫學人工智慧方興未艾，會給患者帶來風險嗎？

圖片來源：Pixabay

紐約西奈山醫院（Mount Sinai Hospital）的醫生們，希望藉助AI，幫助使用胸部X光片來預測哪些患者有患上肺炎的高風險。儘管該系統可以根據在該醫院拍攝的X光片做出準確預測，但使用同樣的技術，對其他醫院拍攝的影像進行測試，結果卻失敗了。最終，研究人員意識到，計算機只是學會了辨別該醫院在病床邊用行動式胸部X機拍攝的片子，與放射科所拍攝X光片之間，存在差別。對於那些病重而無法離開房間的患者，醫生傾向於使用行動式胸部X光檢查，既然如此，這些患者發生肺部感染的風險更高，也就不足為奇。



谷歌旗下的DeepMind公司，編制了一個基於AI的移動應用程式，用於預測哪些住院患者會在48小時之前患上急性腎衰竭。DeepMind網站上的一篇部落格文章，介紹該系統在倫敦的一家醫院使用時，被稱為“遊戲規則改變者”。但根據去年7月在Nature雜誌上發表的一項研究結果，AI系統發生了兩次針對正常結果的誤報。賓夕法尼亞大學醫院放射學副教授Saurabh Jha博士表示，這樣的誤報，或許可以解釋，為什麼有的患者腎臟功能沒有改善的原因。這種醫學AI在早期試驗中所顯示的，能夠發現嚴重腎臟問題的任何優勢，都可能被 “過度診斷”比例過高所削弱。在這種過度診斷中，AI系統會將本來不需要治療的臨界腎臟問題，顯示為“需要治療”。

“夫尺有所短，寸有所長，物有所不足。智有所不明，數有所不逮，神有所不通。”對於醫療AI，這也是適用的。

免責宣告：本文僅作資訊交流之目的，文中觀點不代表藥明康德立場，亦不代表藥明康德支援或反對文中觀點。

本文題圖：Pixabay

參考資料

[1] IBM. MD Anderson Taps IBM Watson to Power "Moon Shots" Mission Aimed at Ending Cancer, Starting with Leukemia. Oct 18, 2013. Retrieved Jan 10, 2020 from https://www-03.ibm.com/press/us/en/pressrelease/42214.wss

[2] TMF. The Top 12 Health Chatbots．May 29, 2018. Retrieved Jan 10, 2020 from https://medicalfuturist.com/top-12-health-chatbots/

[3] AliveCor. AliveCor Named No.1 Artificial Intelligence Company in Fast Company’s 2018 Most Innovative Companies Ranking. Feb 20, 2018. Retrieved Jan 10, 2020 from https://www.alivecor.com/press/press_release/alivecor-named-no-1-artificial-intelligence-company-in-fast-companys-2018-most-innovative-companies/

[4] FASTCOMPANY. The World's Most Innovative Companies. Retrieved Jan 10, 2019 https://www.fastcompany.com/most-innovative-companies/2018. 

[5] FDA. FDA permits marketing of clinical decision support software for alerting providers of a potential stroke in patients. Feb 13, 2018. Retrieved Feb 14, 2018 from https://www.fda.gov/news-events/press-announcements/fda-permits-marketing-clinical-decision-support-software-alerting-providers-potential-stroke

[6] Michael Walter. Viz.ai artificial intelligence stroke software helping doctors win race against time. 2019. Retrieved Jan 10, 2020 from https://www.radiologybusiness.com/sponsored/22221/topics/artificial-intelligence/vizai-artificial-intelligence-stroke-software

[7] Keane, P.A., Topol, E.J. With an eye to AI and autonomous diagnosis. npj Digital Med 1, 40 (2018) doi:10.1038/s41746-018-0048-y

[8] IDx. Autonomous AI that instantly detects disease. 2018. Retrieved Jan 10, 2020 from https://www.eyediagnosis.co/

[9] Andis Robeznieks. This ophthalmologist is doing health care AI the right way . Aug 8, 2019. Retrieved Jan 10, 2020 from https://www.ama-assn.org/practice-management/digital/ophthalmologist-doing-health-care-ai-right-way

[10] TMF. FDA Approvals for Smart Algorithms in Medicine in One Giant Infographic. June 6, 2019. Retrieved Jan 10, 2020 from https://medicalfuturist.com/fda-approvals-for-algorithms-in-medicine/

[11] Scott Gottlieb. FDA Announces New Steps to Empower Consumers and Advance Digital Healthcare. July 27, 2017. Retrieved July 30, 2017 from https://www.fda.gov/news-events/fda-voices-perspectives-fda-leadership-and-experts/fda-announces-new-steps-empower-consumers-and-advance-digital-healthcare

[12] Scott Gottlieb. Statement from FDA Commissioner Scott Gottlieb, M.D. on steps toward a new, tailored review framework for artificial intelligence-based medical devices. April 2, 2019. Retrieved April 4, 2019 from https://www.fda.gov/news-events/press-announcements/statement-fda-commissioner-scott-gottlieb-md-steps-toward-new-tailored-review-framework-artificial

[13] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) - Discussion Paper and Request for Feedback. Nov 5, 2019. Retrieved Nov 6, 2019 from https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-software-medical-device

[14] FDA. Digital Health Innovation Action Plan. Jul 27, 2017. Retrieved Jul 28, 2017 from https://www.fda.gov/news-events/fda-voices-perspectives-fda-leadership-and-experts/fda-announces-new-steps-empower-consumers-and-advance-digital-healthcare

[15] GARTNER. Interpreting technology hype. Gartner Hype Cycle. 2020. Retrieved Jan 10, 2020 from https://www.gartner.com/en/research/methodologies/gartner-hype-cycle 

[16] Panetta, K. 2017. Top Trends in the Gartner Hype Cycle for Emerging Technologies, 2017. Retrieved Jan 10, 2020 from Gartner. https://www.gartner.com/smarterwithgartner/top-trends-in-the-gartner-hype-cycle-for-emerging-technologies-2017/

[17] Wang P, Berzin TM, Glissen Brown Jr., et al. Real-time automatic detection system increases colonoscopic polyp and adenoma detection rates: a prospective randomised controlled study. Gut. 2019 Oct; 68(10):1813-1819. doi: 10.1136/gutjnl-2018-317500.

[18] Ioana A. Cristea, Eli M. Cahan, John P. A. Ioannidis. Stealth research: Lack of peer‐reviewed evidence from healthcare unicorns. Eur J Clin Invest. 2019;49:e13072. https://doi.org/10.1111/eci.13072

[19] Kate Levchuk. Is Black Box Human Better Than Black Box AI? Oct 15, 2018. Is Black Box Human Better Than Black Box AI? Retrieved Oct 20, 2018 from https://www.forbes.com/sites/cognitiveworld/2018/10/15/black-box-human-or-black-box-ai-a-talk-with-kim-larsen-deutsche-telekom/#594f432e1932

[20] GPO. The 21st Century Cures Act. Dec 13, 2016. Retrieved Jan 10, 2020 from https://www.congress.gov/114/plaws/publ255/PLAW-114publ255.pdf

[21] FDA CDRH, CBER. Changes to Existing Medical Software Policies Resulting from Section 3060 of the 21st Century Cures Act. Sept 27, 2019. Retrieved Sept 29, 2019 from https://www.fda.gov/media/109622/download

[22] Matheny, M., S. Thadaney Israni, M. Ahmed, and D. Whicher (Eds). Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril. NAM Special Publication. Washington, DC: National Academy of Medicine. Dec, 2019. Retrieved Jan 10, 2020 from https://nam.edu/wp-content/uploads/2019/12/AI-in-Health-Care-PREPUB-FINAL.pdf

[23] Theodore T. Lee, Aaron S. Kesselheim. U.S. Food and Drug Administration Precertification Pilot Program for Digital Health Software: Weighing the Benefits and Risks. Ann Intern Med. 2018;168(10):730-732. DOI: 10.7326/M17-2715

[24] FDA. Overview of Device Regulation. Aug 31, 2018. Retrieved Jan 10, 2020 from https://www.fda.gov/medical-devices/device-advice-comprehensive-regulatory-assistance/overview-device-regulation

[25] ICIJ. Everything You Need to Know About the Implant Files. Nov 30, 2018. https://www.icij.org/investigations/implant-files/what-you-need-to-know-about-the-implant-files/

[26] The National Academies of Sciences, Engineering, Medicine. Devices and the Public’s Health: The FDA 510(k) Clearance Process at 35 Years. July 29, 2011. Retrieved Jan 10, 2020 from http://www.nationalacademies.org/hmd/Reports/2011/Medical-Devices-and-the-Publics-Health-The-FDA-510k-Clearance-Process-at-35-Years.aspx

[26]Hwang TJ, Kesselheim AS, Vokinger KN. Lifecycle Regulation of Artificial Intelligence- and Machine Learning-Based Software Devices in Medicine. JAMA. 2019; 322(23):2285-2286. doi:10.1001/jama.2019.16842

[27] FDA. 510(k) Premarket Notification. K173542. Jan 25, 2018. Retrieved Jan 10, 2020 from https://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfpmn/pmn.cfm?ID=K173542

[28] FDA. 510(k) Premarket Notification. K101749. Aug 26, 2010. https://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfpmn/pmn.cfm?ID=K101749

[29] FDA. Letter to Arterys Inc. ℅ Mr. John Axerio-Cilies. Jan 25, 2018. Retrieved Jan 10, 2020 from https://www.accessdata.fda.gov/cdrh_docs/pdf17/K173542.pdf

[30] Karas Cross. Response to Letter to FDA on regulation of software as medical device. June 19, 2019. Retrieved Jan 10, 2020 from https://www.warren.senate.gov/imo/media/doc/2019.06.19%20Response%20to%20Letter%20to%20FDA%20on%20regulation%20of%20software%20as%20medical%20device.pdf

[31] Ronquillo JG, Zuckerman DM. Software-Related Recalls of Health Information Technology and Other Medical Devices: Implications for FDA Regulation of Digital Health. Milbank Q. 2017;95(3):535–553. doi:10.1111/1468-0009.12278

[32] FDA. FDA permits marketing of artificial intelligence-based device to detect certain diabetes-related eye problems. Apr 12, 2018. Retrieved Jan 10, 2020 from https://www.fda.gov/news-events/press-announcements/fda-permits-marketing-artificial-intelligence-based-device-detect-certain-diabetes-related-eye

[33] Kathleen C. Frasera, Jed A. Meltzerb,Frank Rudzicz. Linguistic Features Identify Alzheimer‘s Disease in Narrative Speech. Journal of Alzheimer’s Disease 49 (2016) 407–422 DOI 10.3233/JAD-150520

[34] Jennifer Couzin-Frankel. Medicine contends with how to use artificial intelligence. Science.

21 Jun 2019: Vol. 364, Issue 6446, pp. 1119-1120 DOI: 10.1126/science.364.6446.1119

[35] John R. Zech , Marcus A. Badgeley , Manway Liu, et al. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLOS Medicine. Nov 6, 2018. https://doi.org/10.1371/journal.pmed.1002683

[36] American Kidney Fund. Acute kidney injury. 2020. Retrieved Jan 10, 2020 from https://www.kidneyfund.org/kidney-disease/kidney-problems/acute-kidney-injury.html#what_causes_acute_kidney_injury

[37] Mustafa Suleyman, Dominic King. Using AI to give doctors a 48-hour head start on life-threatening illness. Jul 31, 2019. Retrieved Jan 10, 2019 from https://deepmind.com/blog/article/predicting-patient-deterioration

[38] Tomašev, N., Glorot, X., Rae, J.W. et al. A clinically applicable approach to continuous prediction of future acute kidney injury. Nature 572, 116–119 (2019) doi:10.1038/s41586-019-1390-1

[39] Connell, A., Montgomery, H., Martin, P. et al. Evaluation of a digitally-enabled care pathway for acute kidney injury management in hospital emergency admissions. npj Digit. Med. 2, 67 (2019) doi:10.1038/s41746-019-0100-6

[40] Sauranbh Jha. The Rise and Rise of Quantitative Cassandras. Oct 7, 2019.Retrieved Jan 10, 2019 from https://thehealthcareblog.com/blog/2019/10/07/the-rise-and-rise-of-quantitative-cassandras/

[41] Lynne Shallcross.Artificial intelligence has come to medicine. Are patients being put at risk? Jan 3, 2020. Retrieved Jan 4, 2020 from https://www.latimes.com/business/story/2020-01-03/artificial-intelligence-healthcare

[42] 屈原.《楚辭⋅卜居》：詹尹乃釋策而謝曰：“夫尺有所短，寸有所長；物有所不足，智有所不明；數有所不逮，神有所不通。用君之心，行君之意。龜策誠不能知此事。”

相關文章