JHipster快速生成大模型應用：Spring AI+Langchain

banq發表於2024-05-30
大模型SpringLangChain


這是JHipster / Spring Boot 應用程式適配到 LLM（大型語言模型）的藍圖

這是一個使用 LLM 快速輕鬆地生成 Spring Boot 應用程式程式碼的工具。對於程式碼生成，它利用JHipster，它可以輸出 Spring Boot 應用程式程式碼的各種變體。LLM 的程式碼生成是透過使用Blueprint功能實現的，該功能擴充套件了 JHipster 的程式碼生成功能。

此工具輸出以下程式碼：

  • Spring Boot 應用程式伺服器的程式碼，包括構建工具等開發環境（JHipster 的一個功能）
  • OpenAI API 相容伺服器的程式碼
    • 使用OpenAPI 規範和OpenAPI 生成器為[url=https://platform.openai.com/docs/api-reference/chat]OpenAI Chat Completions API[/url]編寫程式碼
      • 根據使用者選擇 Flux 還是 Spring MVC，它使用伺服器傳送事件輸出聊天響應的程式碼進行流式傳輸
  • 使用Spring AI和Langchain for Java支援的 LLM 庫進行編碼。目前，它支援以下內容：
    • Ollama
    • Llama.cpp 的 Java 繫結
  • 下載所選的 LLM 模型
  • 引入 Chat UI 客戶端
    • 安裝BetterChatGPT

先決條件

  • Java 17 或更高版本
  • Node.js 20 或更高版本
  • 執行 Ollama 需要 Docker

以下命令將安裝程式碼生成器：

npm install -g generator-jhipster-llm

用法
如果要建立最簡單的應用程式，請執行以下命令。執行該命令後，系統將提示您一系列問題，以配置啟用 LLM 的 Spring Boot 應用程式的程式碼生成。

mkdir myLlmApp
cd myLlmApp
jhipster-llm generate-sample sample.jdl # This is for maven. For gradle, please use 'sample_gradle.jdl' instead.

（注意：目前僅支援寫入的最小 JHipster 應用程式配置.blueprint/generate-sample/templates/samples/sample.jdl。我們計劃在未來支援其他各種配置。）

回答以下問題。預設情況下，選擇 Spring AI、llama.cpp 和 mistral 7B。

  • Which LLM framwork do you want to use?
  • Which LLM library do you want to use?
  • Which LLM model do you want to use?

執行以下操作啟動 Spring Boot。啟動時將下載必要的 LLM 模型。
./mvnw

啟動後，訪問以下 URL。將顯示聊天應用程式。http ://localhost:8080/chat-ui/index.html
當您開啟 BetterChatGPT 螢幕時，開啟 API 選單，檢查Use custom API endpoint，然後輸入http://localhost:8080/api/llm/v1/chat/completionsAPI 端點。
嘗試輸入一些內容。如果您收到回覆，恭喜您！享受使用 LLM 和 Java 構建應用程式的樂趣吧！

 

相關文章