Spring AI 更新：支援OpenAI的結構化輸出，增強對JSON響應的支援

程序猿DD發表於2024-08-10
SpringOpenAIJSON

就在昨晚，Spring AI發了個比較重要的更新。由於最近OpenAI推出了結構化輸出的功能，可確保 AI 生成的響應嚴格遵守預定義的 JSON 模式。此功能顯著提高了人工智慧生成內容在現實應用中的可靠性和可用性。Spring AI 緊隨其後，現在也可以對OpenAI的結構化輸出完美支援了。

下圖展示了本次擴充套件的實現結構，如果對於當前實現還不夠滿意，需要擴充套件的可以根據此圖來著手理解分析進行下一步擴充套件工作。

使用樣例

透過Spring AI，開發者可以很方便的來構建針對 OpenAI 結構化輸出的請求和解析：

String jsonSchema = """
  {
      "type": "object",
      "properties": {
          "steps": {
              "type": "array",
              "items": {
                  "type": "object",
                  "properties": {
                      "explanation": { "type": "string" },
                      "output": { "type": "string" }
                  },
                  "required": ["explanation", "output"],
                  "additionalProperties": false
              }
          },
          "final_answer": { "type": "string" }
      },
      "required": ["steps", "final_answer"],
      "additionalProperties": false
  }
  """;

Prompt prompt = new Prompt("how can I solve 8x + 7 = -23",
OpenAiChatOptions.builder()
    .withModel(ChatModel.GPT_4_O_MINI)
    .withResponseFormat(new ResponseFormat(ResponseFormat.Type.JSON_SCHEMA, jsonSchema))
    .build());

ChatResponse response = this.openAiChatModel.call(prompt);

透過 OpenAiChatOptions中指定ResponseFormat來讓OpenAI返回JSON格式。

Spring AI還提供了BeanOutputConverter來實現將JSON出轉換成Java Bean，比如下面這樣：

record MathReasoning(
  @JsonProperty(required = true, value = "steps") Steps steps,
  @JsonProperty(required = true, value = "final_answer") String finalAnswer) {

  record Steps(
    @JsonProperty(required = true, value = "items") Items[] items) {

    record Items(
      @JsonProperty(required = true, value = "explanation") String explanation,
      @JsonProperty(required = true, value = "output") String output) {}
  }
}

var outputConverter = new BeanOutputConverter<>(MathReasoning.class);

var jsonSchema = outputConverter.getJsonSchema();

Prompt prompt = new Prompt("how can I solve 8x + 7 = -23",
OpenAiChatOptions.builder()
    .withModel(ChatModel.GPT_4_O_MINI)
    .withResponseFormat(new ResponseFormat(ResponseFormat.Type.JSON_SCHEMA, jsonSchema))
    .build());

ChatResponse response = this.openAiChatModel.call(prompt);
String content = response.getResult().getOutput().getContent();

MathReasoning mathReasoning = outputConverter.convert(content);

如果你整合了Spring AI針對OpenAI的Spring Boot Starter模組，那麼也可以透過下面的方式來自動配置預設的JSON返回格式：

spring.ai.openai.api-key=YOUR_API_KEY
spring.ai.openai.chat.options.model=gpt-4o-mini

spring.ai.openai.chat.options.response-format.type=JSON_SCHEMA
spring.ai.openai.chat.options.response-format.name=MySchemaName
spring.ai.openai.chat.options.response-format.schema={"type":"object","properties":{"steps":{"type":"array","items":{"type":"object","properties":{"explanation":{"type":"string"},"output":{"type":"string"}},"required":["explanation","output"],"additionalProperties":false}},"final_answer":{"type":"string"}},"required":["steps","final_answer"],"additionalProperties":false}
spring.ai.openai.chat.options.response-format.strict=true

今天的分享就到這裡，感謝閱讀！碼字不易，點贊、關注、收藏支援一下！隨便轉載，標註下出處連結即可。

如果您學習過程中如遇困難？可以加入我們超高質量的Spring技術交流群，參與交流與討論，更好的學習與進步！更多Spring Boot教程可以點選直達！，歡迎收藏與轉發支援！

歡迎關注我的公眾號：程式猿DD。第一時間瞭解前沿行業訊息、分享深度技術乾貨、獲取優質學習資源

相關文章