在NextChat中接入SiliconCloud API 體驗不同的開源先進大語言模型

mingupupup發表於2024-08-26

NextChat介紹

One-Click to get a well-designed cross-platform ChatGPT web UI, with GPT3, GPT4 & Gemini Pro support.

一鍵免費部署你的跨平臺私人 ChatGPT 應用, 支援 GPT3, GPT4 & Gemini Pro 模型。

主要功能

  • 在 1 分鐘內使用 Vercel 免費一鍵部署
  • 提供體積極小(~5MB)的跨平臺客戶端(Linux/Windows/MacOS), 下載地址
  • 完整的 Markdown 支援:LaTex 公式、Mermaid 流程圖、程式碼高亮等等
  • 精心設計的 UI,響應式設計,支援深色模式,支援 PWA
  • 極快的首屏載入速度(~100kb),支援流式響應
  • 隱私安全,所有資料儲存在使用者瀏覽器本地
  • 預製角色功能(面具),方便地建立、分享和除錯你的個性化對話
  • 海量的內建 prompt 列表,來自中文英文
  • 自動壓縮上下文聊天記錄,在節省 Token 的同時支援超長對話
  • 多國語言支援:English, 簡體中文, 繁體中文, 日本語, Español, Italiano, Türkçe, Deutsch, Tiếng Việt, Русский, Čeština, 한국어, Indonesia
  • 擁有自己的域名?好上加好,繫結後即可在任何地方無障礙快速訪問

image-20240826092034449

GitHub地址:https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web

SiliconCloud介紹

SiliconCloud 基於優秀的開源基礎模型,提供高價效比的 GenAI 服務。

不同於多數大模型雲服務平臺只提供自家大模型 API,SiliconCloud上架了包括 Qwen、DeepSeek、GLM、Yi、Mistral、LLaMA 3、SDXL、InstantID 在內的多種開源大語言模型及圖片生成模型,使用者可自由切換適合不同應用場景的模型。

更重要的是,SiliconCloud 提供開箱即用的大模型推理加速服務,為您的 GenAI 應用帶來更高效的使用者體驗。

對開發者來說,透過 SiliconCloud 即可一鍵接入頂級開源大模型。擁有更好應用開發速度和體驗的同時,顯著降低應用開發的試錯成本。

image-20240822095915114

官網地址:https://siliconflow.cn/zh-cn/siliconcloud

在NextChat中接入SiliconCloud API

點選Releases:

image-20240826092224306

選擇對應作業系統的安裝包:

image-20240826092417980

安裝完成,開啟介面如下所示:

image-20240826092515357

點選設定,進行如下設定:

image-20240826092603207

由於SiliconCloud提供的API服務已經相容了OpenAI的格式,因此模型服務商可以不改,就把介面地址改成https://api.siliconflow.cn,填入API Key,填入模型名稱即可。

模型名稱可在SiliconCloud的文件中檢視怎麼寫:

image-20240816112338058

地址:https://docs.siliconflow.cn/reference/chat-completions-3

進行對話測試是否配置成功:

image-20240826093418970

配置已經成功。

SiliconCloud的好處就是提供了不同的先進開源大語言模型,針對一個特定的任務,或許收費低的模型與收費高的模型都能很好的完成,這時候換成收費低的模型,這樣就可以節省成本了。

接入SiliconCloud的API可以輕鬆地體驗不同的先進開源大語言模型。

比如我想使用meta-llama/Meta-Llama-3.1-405B-Instruct這個先進的開源模型,我只需更改一下模型名:

image-20240826094912309

體驗meta-llama/Meta-Llama-3.1-405B-Instruct的回答效果:

image-20240826095232351

透過以上簡單的幾個步驟,就實現在NextChat中接入SiliconCloud API了,接入之後,就可以開始體驗不同的開源先進大語言模型的回答效果了。

相關文章