家好呀,最近我在研究LLM
,即本地大語言模型。其中我主要使用的軟體是Ollama
。
Ollama
可以方便的下載及執行LLM
Ollama
提供了一套REST Api,並且已經有了ollama-js
這個庫,可以方便的呼叫介面,所以我們可以自己寫一套WebUI。
那麼為什麼不用別人寫好的呢?我找了些開源專案,但大多是python編寫的,且較重量。
實際上自己寫也不是特別麻煩,所以我花幾天時間實現了一個功能齊全的前端介面。
開源地址:ollama-chat-ui: vue3 ollama webUI
截圖如下。
介面
聊天
代理
系統提示詞
詳細說說
因為是專門設計於個人與LLM
的聊天的,所以整個專案只涉及前端。
專案所有資料都存放在本地儲存中,注意不要和其他專案混淆了。
其中的聊天記錄每個代理都是分開的,可以一定程度避免載入慢的問題。