AntSK:打造你的本地AI知識庫——離線執行詳細教程

许泽宇發表於2024-03-03

親愛的讀者朋友們,今天我要給大家介紹一個強大的開源工具——AntSK。這個工具能讓您在沒有Internet連線時依然能使用人工智慧知識庫對話和查詢,想象一下,即使在無網路的環境中,您也能與AI進行愉快的交流!

專案地址:

https://github.com/xuzeyu91/AntSK

AntSK不僅免費、開源,更妙的是它可以完全離線執行,不再依賴於OpenAI的API介面。它的核心是整合了LLamaSharp,讓我們可以在本地機器上執行gguf格式的模型。本次教程中,我們使用的是“tinyllama-1.1b-chat.gguf”模型來進行測試。

初探AntSK的配置世界

配置可能是很多人的噩夢,但AntSK的配置簡單明瞭。首先,看到配置檔案時,我們主要關注以下幾個要點:

"LLamaSharp": {
  "Chat": "D:\\Code\\AI\\AntBlazor\\model\\tinyllama-1.1b-chat.gguf",
  "Embedding": "D:\\Code\\AI\\AntBlazor\\model\\tinyllama-1.1b-chat.gguf"
},

在這裡,我的EmbeddingChat都是配置成相同的tinyllama模型。你可能會問,為什麼需要兩個相同的路徑?這是因為AntSK提供了聊天和語義嵌入兩種功能,二者可以使用同一個模型,也可以分別配置不同的模型以滿足不同的需求。

下一步,我們要模擬設定OpenAI的終端:

"OpenAIOption": {
  "EndPoint": "https://localhost:5001/llama/",
  "Key": "這個用本地可以隨便寫",
  "Model": "這個用本地可以隨便寫",
  "EmbeddingModel": "這個用本地可以隨便寫"
},

在實際本地執行時,上述的“EndPoint”將是服務的本地地址,而其他的Key、Model等欄位在本地執行時並不會被實際驗證,所以你可以隨意填寫。

激動人心的第一次啟動

當我們配置好所有必要的引數之後,就可以啟動程式,看看它第一次呼吸的樣子了:

你看,AI已經在本地執行起來了,一切準備就緒後,介面會展示給我們一個期待已久的聊天視窗。

知識庫文件的匯入與應用

AntSK支援匯入知識庫文件,這意味著你可以將專業知識、文件或是你日常積累的筆記嵌入到系統中:

有了這些定製化的文件後,AntSK的AI能針對特定的內容給出更為精準的反饋和答案。

實戰測試:和AI進行問答

終於到了最激動人心的時刻——我對AntSK進行了一系列的問答測試,看看它的表現如何:

備註:這個是離線執行效果,不依賴LLMAPI而是直接本地載入模型,並且我使用的是CPU進行的知識庫文件匯入和問答

從測試結果來看,AntSK回答問題流暢、準確,給人近乎實時聊天的體驗。可以想象,在沒有網路的情況下,這樣的工具將極大地方便我們的生活和工作。

加入我們的交流群,一起成長

學習新技術的路上,交流總是非常重要的。我在這裡誠邀各位感興趣的朋友,加入我們的交流群。在這裡,你可以和如我一樣熱愛.NET和AI技術的小夥伴們交流心得,分享經驗,互相解答疑惑。

最後,如果你對AntSK或LLamaSharp有任何疑問或想要了解更多細節,不妨訪問AntSK的GitHub專案頁面,那裡有更詳細的文件和指引。

親愛的朋友們,感謝你們閱讀這篇文章,希望對你們瞭解和使用AntSK帶來幫助。我將繼續關注.NET/AI技術領域的最新發展,為大家帶來更多優質的內容。記得關注、點贊和分享哦!我們下次見!

相關文章