打造 AI “看牙”新體驗,當 Serverless 遇上口腔醫療

Serverless社区發表於2024-05-17

作者:姜偉,龔楊,周韜,王彬

客戶介紹和業務背景

領健成立於2015年,總部位於上海,並在全國設立了20餘家分支機構,擁有100項軟體著作權、91項註冊商標、35項發明專利,致力為口腔診所、醫美機構等消費醫療企業提供經營管理一體化解決方案。

領健擁有 ISO/IEC27001 國內國際雙認證、公安部等保三級認證及工信部通保三級認證,全面賦能消費醫療機構的數字化經營,助力機構完成開源、避險、節流、增效的健康經營閉環。

領健創新 SaaS + X 模式,旗下擁有 e 看牙軟體、e 看牙商城、領健悅見、領健悅容等品牌。e 看牙軟體為口腔機構提供單店/連鎖管理、電子病歷、客戶關係管理、進銷存管理、智慧營銷、BI 商業智慧分析、影像整合等覆蓋口腔機構業務全流程的 SaaS 軟體服務;e 看牙商城連結產業鏈上游1000+國內外知名耗材品牌,嚴選近2萬+耗材商品,為口腔機構提供一站式耗材採購服務;領健悅見以“精確診斷·精準正畸·精準監控”為理念,是新一代隱形正畸解決方案服務商,現已推出悅見成人矯治、悅芽兒童早期矯治等多個產品系列。

領健作為業界領先的口腔機構數智化服務平臺,在技術和服務上始終追求卓越。領健為口腔診所提供了影像智慧分析系統AI看牙,透過演算法可對消費者的全景片、口內照、側位片等影像資料進行分析,識別牙齒問題,醫生僅需簡單二次複合即可生成口腔檢查報告,讓患者全面瞭解口腔問題,牙齒檢查資料與賬單資料打通,及時瞭解商機的跟進速度與成交轉化效果。

平臺特點及業務痛點

口腔診所的上班時間比較固定,一般都在08:30~18:00,節假日會更加繁忙一點,時間拉長到一個月,可以看到明顯的波峰波谷。

領健早期在雲上購買了一波 GPU 機器用於演算法的部署,提供對外服務,但在使用過程中遇到了不少問題,主要有以下幾個:

  • 資源利用率低,成本浪費:採用按月持有機器,在下班時間沒有業務流量,由於考慮到可能的業務高峰,持有多臺 GPU 機器,平峰期利用率不高。總體資源利用率維持在5%左右。

  • 高峰期業務響應慢:應對突發流量能力不足,超出預期的流量會導致服務負載加大,請求響應時間變長,直接影響終端客戶的使用體驗,在業務最高峰,曾經出現單個請求排隊10分鐘的情況。

  • 監控和排查能力不足:正畸演算法在持續的迭代,在迭代部署的過程中,會出現請求偶發卡頓和程式報錯的情況,但由於本身監控和告警能力不足,沒法第一時間主動感知,常常需要終端使用門店反饋情況,降低了主動最佳化演算法的效率。

除此之外,頻繁的運維動作和持續的的平臺建設,也給運維同學帶來很多的日常工作,同時也加大了系統的不穩定因素,加上 GPU 技術在近年發展迅猛,領健技術同學也需要在這個領域持續投入不少精力,對於以上這些問題,領健技術同學開始在雲上尋求更好,更高效的解決方案。

解決方案

領健技術團隊一直在尋求更好的解決方案,期望在成本,服務體驗,運維效率上都能得到改善,在對比了阿里雲的多個雲產品之後,最終將重點放在了函式計算上。

阿里雲函式計算是事件驅動的全託管計算服務。透過函式計算,客戶無需管理伺服器等基礎設施,只需編寫程式碼並上傳。函式計算會準備好計算資源,以彈性、可靠的方式執行程式碼,並提供日誌查詢、效能監控、報警等功能。

函式計算除支援傳統的 CPU 算力,也支援 GPU 的算力,採用伺服器無感知計算的理念,透過提供一種按需分配的 GPU 計算資源,有效地解決原有 GPU 長駐使用方式導致的低資源利用率、高使用成本和低彈效能力等痛點問題。為客戶提供更加便捷、高效的 GPU 計算服務,有效承載 AI 模型推理、AI 模型訓練、音影片加速生產、圖形影像加速等加速工作負載。

函式計算 GPU 資源架構圖如下:
image.png

函式計算 GPU 採用虛擬化技術,做到算力,視訊記憶體,故障的強隔離,100%相容原生應用。函式計算透過兩級的資源池,保證算力的快速供給,函式計算 GPU 資源池平臺持有,客戶只需要按量使用,無需為閒置資源買單。

函式計算 GPU 資源請求模型如下:
image.png

當 GPU 函式部署完成後,客戶可以透過配置預留 GPU 例項的彈性伸縮策略開啟預留 GPU 例項,以提供實時推理應用場景所需的基礎設施能力。函式計算平臺將根據客戶配置的伸縮指標進行預留 GPU 例項的 HPA ,客戶請求將優先分配至預留 GPU 例項進行推理服務,平臺完全遮蔽冷啟動,業務保持低延遲響應。除此之外,平臺整合了可觀測,日誌,監控,告警等系統,以簡化問題的排查效率和日常的運維工作。

最終,領健技術團隊經過一系列驗證之後,在函式計算的最終架構圖如下:
lQDPJxzdfgudwK3NCrzNClCw3Aa6Ae5etiAGKwG9FmJlAA_2640_2748.jpg
架構圖非常簡單,業務流程如下:

  1. 客戶將正畸演算法做成標準映象放入阿里雲映象倉庫 ACR;
  2. 當前端有正畸的呼叫請求時,需要初始化例項時,FC 透過拉取 ACR 中映象以及底層 GPU 資源完成例項的初始化工作,完成演算法應用的部署;
  3. 正畸計算請求傳送至新建立的 GPU 應用上進行計算,並返回結果;

成果和優勢

透過將 GPU 計算負載放到函式計算,領健技術團隊很好的解決了先前遇到的使用問題:

  • 成本最佳化:函式計算按量付費的計費方式,真正做到了按照實際請求處理時間收費,最大限度的降低了資源持有的成本,相比早前的按月持有 GPU 資源,函式計算的費用降低了90%左右,達到了很好的降本效果。
  • 高峰期業務體驗:透過業務高峰期的提前資源拉起和突發資源的按量彈性,做到了後端資源及時的供給,採用函式計算部署後,門店再也沒有出現長時間排隊的情況,大大提升了使用體驗。
  • 高效運維:透過函式計算內建的監控,日誌和告警系統,可以實時關注業務的大盤執行情況,透過配置監控告警,在異常時,可以第一時間收到異常推送,並藉助完善的日誌系統和函式計算專業的技術團隊,及時定位並解決程式問題。

除此之外,採用函式計算部署,給了整個系統很好的伸縮性,對於將來業務的增長,也不必擔心核心的 GPU 資源規劃問題,這一點也為業務的持續發展打下了堅實的基礎。

總結&展望
透過將核心應用遷移到函式計算平臺,領健技術團隊不僅成功應對了業務增長帶來的挑戰,還顯著最佳化了成本結構,同時加速了開發和運維流程,實現了前所未有的敏捷性和效率。

展望未來,領健技術團隊將繼續深化與函式計算的合作。隨著公司業務版圖的不斷擴充套件,預見更多的應用場景將得益於函式計算的彈性伸縮、低成本及高效率的優勢。領健技術團隊計劃在新業務部署時,優先考慮採用函式計算架構,以期進一步縮短產品上市時間,提升使用者體驗,並持續降低運營成本。

阿里雲函式計算也期待與領健共同探索更高效、更智慧的醫療服務解決方案,助力醫療健康產業的數字化轉型。相信在雙方的緊密合作下,領健能夠更好地服務於患者與醫療從業者,推動行業向更加智慧化、高效化的方向邁進。

更多內容關注 Serverless 微信公眾號(ID:serverlessdevs),彙集 Serverless 技術最全內容,定期舉辦 Serverless 活動、直播,使用者最佳實踐。

相關文章