本文是 Ryght 團隊的客座博文。
Ryght 是何方神聖？
Ryght 的使命是構建一個專為醫療保健和生命科學領域量身定製的企業級生成式人工智慧平臺。最近，公司正式公開了 Ryght 預覽版 平臺。
當前，生命科學公司不斷地從各種不同來源 (實驗室資料、電子病歷、基因組學、保險索賠、藥學、臨床等) 收集大量資料，並期望從中獲取洞見。但他們分析這些資料的方法已經跟不上資料本身，目前典型的工作模式往往需要一個大型團隊來完成從簡單查詢到開發有用的機器學習模型的所有工作。這一模式已無法滿足藥物開發、臨床試驗以及商業活動對可操作知識的巨大需求，更別談精準醫學的興起所帶來的更大的需求了。
Ryght 的目標是讓生命科學專業人士能夠快速、安全地從資料中挖掘出他們所需的洞見。為此，其正在構建一個 SaaS 平臺，為本專業的人員和組織提供定製的 AI copilot 解決方案，以助力他們對各種複雜資料來源進行記錄、分析及研究。
Ryght 認識到 AI 領域節奏快速且多變的特點，因此一開始就加入 Hugging Face 專家支援計劃，將 Hugging Face 作為技術諮詢合作伙伴。
共同克服挑戰
我們與 Hugging Face 專家支援計劃的合作對加快我們生成式人工智慧平臺的開發起到了至關重要的作用。快速發展的人工智慧領域有可能徹底改變我們的行業，而 Hugging Face 的高效能、企業級的文字生成推理 (TGI) 和文字嵌入推理 (TEI) 服務本身就是遊戲規則的改寫者。 - Johnny Crupi，Ryght 技術長
在著手構建生成式人工智慧平臺的過程中，Ryght 面臨著多重挑戰。
1. 快速提升團隊技能並在多變的環境中隨時瞭解最新情況
隨著人工智慧和機器學習技術的快速發展，確保團隊及時瞭解最新的技術、工具以及最佳實踐至關重要。這一領域的學習曲線呈現出持續陡峭的特點，因此需要齊心協力才能及時跟上。
與 Hugging Face 的人工智慧生態系統核心專家團隊的合作，有助於 Ryght 跟上本垂直領域的最新發展以及最新模型。透過開放非同步的溝通渠道、定期的諮詢會以及專題技術研討會等多種形式，充分地保證了目的的實現。
2. 在眾多方案中找到最 [經濟] 的機器學習方案
人工智慧領域充滿了創新，催生了大量的工具、庫、模型及方法。對於像 Ryght 這樣的初創公司來說，必須消除這種噪聲並確定哪些機器學習策略最適合生命科學這一獨特場景。這不僅需要了解當前的技術水平，還需要對技術在未來的相關性和可擴充套件性有深刻的洞見。
Hugging Face 作為 Ryght 技術團隊的合作伙伴，在解決方案設計、概念驗證開發和生產工作負載最佳化全過程中提供了有力的協助，包括: 針對應用場景推薦最適合 Ryght 需求的庫、框架和模型，並提供瞭如何使用這些軟體和模型的示例。這些指導最終簡化了決策過程並縮短了開發時間。
3. 開發專注於安全性、隱私性及靈活性的高效能解決方案
鑑於其目標是企業級的解決方案，因此 Ryght 把安全、隱私和可治理性放在最重要的位置。因此在設計方案架構時，需要提供支援各種大語言模型 (LLM) 的靈活性，這是生命科學領域內容生成和查詢處理系統的關鍵訴求。
基於對開源社群的快速創新，特別是醫學 LLM 創新的理解，其最終採用了“即插即用”的 LLM 架構。這種設計使其能夠在新 LLM 出現時能無縫地評估並整合它們。
在 Ryght 的平臺中，每個 LLM 均可註冊並連結至一個或多個特定於客戶的推理端點。這種設計不僅可以保護各客戶的連線，還提供了在不同 LLM 之間切換的能力，提供了很好的靈活性。Ryght 透過採用 Hugging Face 的 文字生成推理 (TGI) 和 推理端點 實現了該設計。
除了 TGI 之外，Ryght 還將 文字嵌入推理 (TEI) 整合到其 ML 平臺中。使用 TEI 和開源嵌入模型提供服務，與僅依賴私有嵌入服務相比，可以使 Ryght 能夠享受更快的推理速度、免去對速率限制的擔憂，並得到可以為自己的微調模型提供服務的靈活性，而微調模型可以更好地滿足生命科學領域的獨特要求。
為了同時滿足多個客戶的需求，系統需要能處理大量併發請求，同時保持低延遲。因此，Ryght 的嵌入和推理服務不僅僅是簡單的模型呼叫，還需要支援包括組批、排隊和跨 GPU 分散式模型處理等高階特性。這些特性對於避免效能瓶頸並確保使用者不會遇到延遲，從而保持最佳的系統響應時間至關重要。
總結
Ryght 與 Hugging Face 在 ML 服務上的戰略合作伙伴關係以及深度整合凸顯了其致力於在醫療保健和生命科學領域提供尖端解決方案的承諾。透過採用靈活、安全和可擴充套件的架構，其確保自己的平臺始終處於創新前沿，為客戶提供無與倫比的服務和專業知識，以應對現代醫療領域的複雜性。
Ryght 預覽版 現已作為一個可輕鬆上手的、免費、安全的平臺向生命科學知識工作者公開，歡迎大家使用。Ryght 的 copilot 庫包含各種工具，可加速資訊檢索、複雜非結構化資料的綜合及結構化，以及文件構建等任務，把之前需要數週才能完成的工作縮短至數天或數小時。如你對定製方案及合作方案有興趣，請聯絡其 AI 專家團隊，以討論企業級 Ryght 服務。
如果你有興趣瞭解有關 Hugging Face 專家支援計劃的更多資訊，請 透過此處 聯絡我們，我們將聯絡你討論你的需求！
英文原文: https://huggingface.co/blog/ryght-case-study
原文作者: Andrew Reed，Johnny Crupi
譯者: Matrix Yao (姚偉峰)，英特爾深度學習工程師，工作方向為 transformer-family 模型在各模態資料上的應用及大規模模型的訓練推理。