JHipster快速生成大模型应用：Spring AI+Langchain

这是JHipster / Spring Boot 应用程序适配到 LLM（大型语言模型）的蓝图

这是一个使用 LLM 快速轻松地生成 Spring Boot 应用程序代码的工具。对于代码生成，它利用JHipster，它可以输出 Spring Boot 应用程序代码的各种变体。LLM 的代码生成是通过使用Blueprint功能实现的，该功能扩展了 JHipster 的代码生成功能。

此工具输出以下代码：

• Spring Boot 应用程序服务器的代码，包括构建工具等开发环境（JHipster 的一个功能）
• OpenAI API 兼容服务器的代码
  • 使用OpenAPI 规范和OpenAPI 生成器为[url=https://platform.openai.com/docs/api-reference/chat]OpenAI Chat Completions API[/url]编写代码
    • 根据用户选择 Flux 还是 Spring MVC，它使用服务器发送事件输出聊天响应的代码进行流式传输
• 使用Spring AI和Langchain for Java支持的 LLM 库进行编码。目前，它支持以下内容：
  • Ollama
  • Llama.cpp 的 Java 绑定
• 下载所选的 LLM 模型
• 引入 Chat UI 客户端
  • 安装BetterChatGPT

先决条件

• Java 17 或更高版本
• Node.js 20 或更高版本
• 运行 Ollama 需要 Docker

以下命令将安装代码生成器：

npm install -g generator-jhipster-llm

用法 如果要创建最简单的应用程序，请执行以下命令。执行该命令后，系统将提示您一系列问题，以配置启用 LLM 的 Spring Boot 应用程序的代码生成。

mkdir myLlmApp
cd myLlmApp
jhipster-llm generate-sample sample.jdl # This is for maven. For gradle, please use 'sample_gradle.jdl' instead.

（注意：目前仅支持写入的最小 JHipster 应用程序配置.blueprint/generate-sample/templates/samples/sample.jdl。我们计划在未来支持其他各种配置。）

回答以下问题。默认情况下，选择 Spring AI、llama.cpp 和 mistral 7B。

• Which LLM framwork do you want to use?
• Which LLM library do you want to use?
• Which LLM model do you want to use?

./mvnw

启动后，访问以下 URL。将显示聊天应用程序。http ://localhost:8080/chat-ui/index.html 当您打开 BetterChatGPT 屏幕时，打开 API 菜单，检查Use custom API endpoint，然后输入http://localhost:8080/api/llm/v1/chat/completionsAPI 端点。 尝试输入一些内容。如果您收到回复，恭喜您！享受使用 LLM 和 Java 构建应用程序的乐趣吧！