法国顶级小模型Mistral Small 3.1发布,比肩阿里千问!

Mistral Small 3.1 是一个很厉害的、真正优秀的本地模型,用的是 Apache 2.0 许可证。现在的 AI 应用需要很多功能——比如处理文字、理解多种类型的输入(比如图片)、支持多种语言、还能处理很长的上下文内容,同时还要反应快、成本低。

Mistral Small 3.1 是第一个在这些方面不仅做得很好,而且比那些领先的小型专有模型还要强的开源模型。

Mistral Small 3.1特点:

  1. 在文本、视觉和多语言任务中的表现优于GPT-4o Mini、Claude-3.5 Haiku 等。
  2. 128k上下文窗口
  3. 惊人的150 个 token/秒速度,可在单个 RTX 4090或Mac(32GB RAM)上运行。
  4. Apache2.0 许可证: 免费使用、微调和部署。
  5. 处理聊天机器人、文档、图像和编码。

Mistral Small 3.1 有很多改进:它现在可以处理图片了,而且上下文长度增加到了 128,000 个 token(可以理解成它能记住更多内容),同时它还能“在量化后装进一个 RTX 4090 显卡或者 32GB 内存的 MacBook里”(这是根据它的型号卡说的)。

Mistral 自己的测试显示,它的表现比 Gemma 3 和 GPT-4o Mini 还要好,不过我还没看到其他外部的测试结果来确认这一点。

虽然他们提到了 32GB 的 MacBook,但我其实还没看到任何量化的 GGUF 或 MLX 版本发布,这有点奇怪,因为他们之前在发布 Mistral Small 3 的时候是和 Ollama 合作一起推出的。

我们应该很快就能看到社区发布的各种量化版本了。

Mistral Small 3.1 是在 Mistral Small 3 的基础上,这个新模型有了更好的文字处理能力、能理解多种类型的输入(比如图片),而且上下文窗口扩展到了 128k 个 token(能记住更多内容)。这个模型的表现比 Gemma 3 和 GPT-4o Mini 这些同类模型还要好,同时它的推理速度能达到每秒 150 个 token。

你可以通过 Huggingface 下载 Mistral Small 3.1 作为基础版指导版,也可以通过[url=https://mistral.ai/news/la-plateforme]Mistral AI API[/url]和在Google Cloud Vertex AI上使用它。

该公司计划在未来几周内将可用性扩展到 NVIDIA NIM 和 Microsoft Azure AI Foundry 平台。

网友:
1、这家公司每次发布新东西我都会心脏病发作

2、我非常期待这种规模(约 24B)的非常出色的多模态模型,因为它们比 32B 类能够提供更多的上下文。希望这能让我们更进一步。

3、公平地说,过去几周发布的每款车型(我注意到的)都使用了这种奇怪的精心挑选的竞争对手和基准。而在这里,Mistral 似乎完全忽略了中国DeepSeek的存在。

4、为什么基准测试中没有 Qwen2.5-32B 和 QwQ?因为稍微差一点?

Qwen 仍然表现优异,在数学方面仍然遥遥领先。
MATH 目前只是衡量合成训练数据质量的一个指标。Phi-4的 MATH 成绩为 80.4%,仅 14B

5、我更感兴趣的是它和 Qwen 的多语言基准测试:
多语言,尤其是语法结构不同的语言,是很多模型都难以应对的问题。
我仍然使用 Nemo 来学习日语,而 Qwen 声称支持日语,但它的词汇选择非常奇怪,有时语法也不太好,尤其是在描述某件事时。

6、我认为这不仅表明 Qwen2.5 非常棒,而且 Mistral Small 3.1 也非常出色,因为它支持文本和图像。而且它的参数减少了 8B,这实际上很多。

7、qwq 和他是两个完全不同的野兽:一个是一次性反应模型,另一个是“思想者”。不在同一级别。而且 Qwen 2.5 32B 仍然太大了——但是一个非常好的模型

8、Qwen 2.5 的 32B 尺寸让我印象深刻,然后 Gemma 3 27B 的尺寸也令人印象深刻,今天是 Mistral 3.1 Small 24B。
我想知道在接下来的几天里我们是否会看到一款 22B 型号再次击败它们。