Docker Model Runner 通过消除复杂设置、处理依赖项和优化硬件，使运行大模型 LLM 变得毫不费力
为基于云的推理提供安全、低延迟的替代方案，所有这些都无缝集成到 Docker Desktop 中。
- 直接从 Docker Hub 提取 AI 模型
- 使用熟悉的 Docker CLI 命令在本地运行它们
- OpenAI 的 API 格式，方便应用程序集成
- 支持 Apple Silicon 和 NVIDIA GPU 的原生 GPU 加速
- 在 Docker 容器中安全地运行 AI 工作负载
- 针对 CI/CD 和生产用途进行了优化
网友：
1、除了使用 llama.cpp安装本地模型，现在真正做 IT 工作的人也可以用Docker了，这是本地模型安装和设置这一块的大变化。
2、本地模型Localllama这块 实际上是三个城市的故事：专业工程师、业余爱好者和自以为是的业余爱好者。
3、如果你是一个 Mac 用户并且想要使用 Docker，那么你就会面临以下情况：在 Mac 上，请将 Ollama 作为 Docker 容器之外的独立应用程序运行，因为 Docker Desktop 不支持 GPU。
4、这里有一个不同的项目，它想要建立自己的名声，而不是去帮助改进llamacpp服务器...
随着时间过去，我越来越清楚地看到了这对开源社区的影响：大家感觉不到团结，有些人只是为了出名或者达到自己的目的，就去搞一些表面的东西。
就拿ollama来说吧。
你想啊，如果一开始大家就把力量都用在llamacpp和它的服务器上，那该多好。真正的开源项目会变得更强大，而ollama呢，它不太理睬别人的建议和社区的希望，因为它不是真心做开源，它只是半开源的。
但是话说回来，如果ollama真的把它的成果都给了llamacpp服务器，那它怎么还能靠llamacpp的东西开公司呢？...
我觉得如果大家能更好地合作会更好，但是ollama和llamacpp的关系并不是这样的。而且，不管以后有什么新东西出现，情况可能还是老样子...
当然，Ollama是用Go语言写的，这个语言比C++简单多了，开发起来没那么费劲。而且，用Go语言写的程序更容易在不同的操作系统和电脑架构上运行。
我们不应该责怪开发这个工具的人或者团队，他们是免费提供这个工具的，让运行大型语言模型（LLM）变得更简单。
那时候，llama.cpp用起来可没那么方便（现在怎么样我就不清楚了）。你得下载正确格式的模型，有时候还得改改它，编译成能运行的程序，这意味着你得有一堆必需的软件支持。说明也不是很清楚。你还得为你的模型找到正确的系统提示，等等。
而Ollama呢，只需要一个命令就能安装，再一个命令就能运行模型。这真的是个大进步。
不过，我还是同意你的看法，llama.cpp确实值得更多的表扬。