昨日,網易有道宣佈將自研的知識庫問答引擎QAnything正式開源除了可以呼叫雲端大模型服務,還支援純本地部署,所有使用者可免費在開源社群Github內進行下載,一鍵部署即可使用。該系統目前支援word、ppt、excel、pdf、圖片等多種文件格式,直接匯入進去即可實現像”ChatGPT”一樣問答。

據瞭解,QAnything的主要原理是基於檢索增強的生成(Retrieval Augmented Generation,簡稱RAG),RAG是目前很火的一種技術框架,它能夠利用檢索外部內容的方式增強大語言模型的準確度、專業能力和個性化等各方面的效能。

目前,通用大模型能力很強,但無法使用使用者的私有資料,且存在胡亂編造的幻覺問題。QAnything作為有道自研的RAG引擎,則結合了使用者私有資料和大模型的優勢——使用者的任何內容,以任意的形式存在,比如各種格式的文件,音訊,資料庫等,都可以在QAnything的支援下,變成可以針對其內容進行問答的使用方式,透過這個技術框架使用者可以很方便地搭建自己的智慧知識助手。

(QAnything系統架構圖)

值得一提的是,本次開源的QAnything是一套完整的RAG系統,包括專門最佳化的自研的embedding和rerank模型,微調後的LLM,最佳化後的推理程式碼,向量資料庫,以及一個立即上手可用的前端。所有的演算法模型(包括7B大模型+embedding/rerank+OCR)佔用視訊記憶體不超過16G。

如今,QAnything已在有道的多個產品中應用,包括有道翻譯文件問答、有道速讀及有道內部業務的客服系統等。

以有道速讀為例,它是前不久子曰教育大模型最新發布的創新應用成果之一,目前上線在有道翻譯中。針對大家在日常生活中的閱讀文件需求,有道速讀內建了文件問答、文章摘要、要點解讀、引文口碑和領域綜述五大功能,能夠幫大家更快更準地獲得資訊和對文件的理解。而該功能背後的驅動就是QAnything,在大模型技術的加持下,使用者能夠實現快速理解文件、定位要點,實現1分鐘讀完萬字長文。

“目前,QAnything專案還在不斷迭代,歡迎大家參與開發,並給予我們更多反饋。我們希望能幫助有需要的開發者們,和更多夥伴一起推動大模型的落地。”網易有道首席科學家段亦濤介紹道。