ollama：本地运行的大型语言模型
banq


可在在本地启动并运行 Llama 2 和其他大型语言模型。

Ollama的服务器端是用 Go 编写的，他们还提供了一个 Docker 实例以方便使用：Ollama Docker image 

Ollama 允许您从注册表下载模型并在本地运行：
curl https://ollama.ai/install.sh | sh

部署云中：
在 Clever Cloud 上部署 llama、mistral、openchat 或您自己的模型
在此GitHub 存储库中找到该项目所需的文件，并准备好导入环境变量 ( clever env import < .env)。

特点
是有大量围绕其建立的社区插件。
Mobile


Web & Desktop

。。。等等

Ollama 支持ollama.ai/library上提供的一系列开源模型

ollama4j：
用于与 Ollama API 交互的 Java 库。它允许您将其集成到您的 Java 应用

想要使用 Java 在本地运行大模型？有多种选择，但看起来Ollama也受到了很大的关注


<dependency>
    <groupId>io.github.amithkoujalgi</groupId>
    <artifactId>ollama4j</artifactId>
    <version>1.0-SNAPSHOT</version>
</dependency>

mvn clean install -U

然后，您可以通过导入来使用 Ollama Java API ollama4j：
import io.github.amithkoujalgi.ollama4j.core.OllamaAPI;

对于最简单的入门方法，我更喜欢使用 Ollama docker 设置。
启动 Ollama docker 容器：
docker run -v ~/ollama:/root/.ollama -p 11434:11434 ollama/ollama

public class Main {
    public static void main(String[] args) {
        String host = "http://localhost:11434/";
        OllamaAPI ollamaAPI = new OllamaAPI(host);

        // set verbose - true/false
        ollamaAPI.setVerbose(true);
    }
}

AI+Java+Quarkus+Langchain4j可以催生新的应用。