Root 發自 凹非寺
量子位 出品 | 公眾號 QbitAI

癌症的診斷特別累人。

取材切片固定染色都還好，最耗時費神的要數看片了。

病理學家們要想從一團密密麻麻的組織細胞裡，找到空間排列奇怪，細胞核形狀詭異的癌細胞，就得守在顯微鏡後頭，一張一張活檢切片看過去，看到天荒地老，海枯石爛。



雖說得益於AI近期的發展，已經有相應演算法可以快速處理切片的染色影像了。

但谷歌大腦團隊發現，AI技術下鋪到臨床醫院時還面臨一個麻煩：得先獲取切片的數字影像。

原來，醫生直接看切片就好了。給AI看反而還要多加一步：先拍下來，再傳給AI分析。這麼麻煩，醫生當然不樂意了。沒辦法，習慣的慣性就這樣拖慢了AI下沉的腳步。

是否有其他技術可以一步到位，將演算法的分析結果直接在顯微鏡裡？

有。AR，擴增實境。把計算的資訊疊加到真實的視覺資訊裡。



不僅可以直接投在目鏡上，速度上還快得讓人難以置信。

只要0.0758秒。就給你揪出來癌細胞。

谷歌AR顯微鏡

今天，在美國癌症研究協會年度會議（AACR）上，谷歌大腦團隊提交了一篇論文An Augmented Reality Microscope for Real-time Automated Detection of Cancer，提出了一個AR顯微鏡的原型。目前該論文還在待稽核中。

這套神奇的AR顯微鏡平臺是怎麼工作的？

首先，目鏡的影像會傳給帶深度學習模型的計算單元。然後AI模型將分析結果實時投到目鏡的視野裡。



該平臺原型長這樣。



出結果是挺快，但貴嗎？

要知道，鋪開技術的關鍵，是低成本。

好在這套AR顯微鏡適配性高，可直接加裝在一線醫院現有的顯微鏡上。只需購買帶得動AI演算法的AR裝置，就能升級醫院的癌症檢測技術。

實際診斷效果怎麼樣？

目前，谷歌大腦團隊已經成功地在這套AI+AR顯微鏡平臺原型系統裡執行了兩套不同的癌症檢測演算法。

一個是看淋巴結組織有沒有乳腺癌細胞；另外一個，是找前列腺組織裡的癌變區域。



△ 4倍鏡到40倍鏡下的影像feed，分析起來統統無壓力。

可疑的癌細胞，會被一個熒光綠圈框起來。

在定位、定性癌細胞的準確率方面，這套平臺都有相當優秀的表現。找出乳腺癌細胞的準確值可達0.96，位置判斷精準值可達0.98。



理論上，除了畫圈，AR技術可直接上文字標註，打箭頭，出熱點圖，給段動畫。只要覺得能幫助病理學家診斷，什麼方式打標記都行。除此之外，AR顯微鏡還完成做細胞計數，細胞分類等任務。

論文中還指出，這套AR顯微鏡的重新整理率是10FPS（幀每秒），基本上可以滿足病理學家看片的需求，不管是轉換40倍鏡還是上下移片子，都可以做到低時延輸出分析結果。時間上能做到0.0758秒，可以說是完美了。



更多應用等你開發

除了癌症診斷，這套AR顯微鏡裝置將來還可以分析CSI實驗室裡那些證據上沾了什麼型別的人體細胞，又或者可以看看培養皿裡的心肌細胞具體長了多少。

凡是原來和顯微鏡搭上邊的，都用得到這套神器。



△ 這下破案更快了

最後，附AI+AR顯微鏡研究論文：

http://sina.lt/fzhr

你可能感興趣

AI為癌細胞殺手“染色”，輔助醫生選擇治療方案 | 附論文

和免疫熒游標記說拜拜 | 谷歌Cell論文：DL模型預測熒光位置

FDA批准首個無需人類醫生指導的AI，可獨立診斷眼科疾病

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話介面，回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態