Mistral Small 3.1 是第一个在这些方面不仅做得很好,而且比那些领先的小型专有模型还要强的开源模型。
Mistral Small 3.1特点:
- 在文本、视觉和多语言任务中的表现优于GPT-4o Mini、Claude-3.5 Haiku 等。
- 128k上下文窗口
- 惊人的150 个 token/秒速度,可在单个 RTX 4090或Mac(32GB RAM)上运行。
- Apache2.0 许可证: 免费使用、微调和部署。
- 处理聊天机器人、文档、图像和编码。
Mistral Small 3.1 有很多改进:它现在可以处理图片了,而且上下文长度增加到了 128,000 个 token(可以理解成它能记住更多内容),同时它还能“在量化后装进一个 RTX 4090 显卡或者 32GB 内存的 MacBook里”(这是根据它的型号卡说的)。
Mistral 自己的测试显示,它的表现比 Gemma 3 和 GPT-4o Mini 还要好,不过我还没看到其他外部的测试结果来确认这一点。
虽然他们提到了 32GB 的 MacBook,但我其实还没看到任何量化的 GGUF 或 MLX 版本发布,这有点奇怪,因为他们之前在发布 Mistral Small 3 的时候是和 Ollama 合作一起推出的。
我们应该很快就能看到社区发布的各种量化版本了。
Mistral Small 3.1 是在 Mistral Small 3 的基础上,这个新模型有了更好的文字处理能力、能理解多种类型的输入(比如图片),而且上下文窗口扩展到了 128k 个 token(能记住更多内容)。这个模型的表现比 Gemma 3 和 GPT-4o Mini 这些同类模型还要好,同时它的推理速度能达到每秒 150 个 token。
你可以通过 Huggingface 下载 Mistral Small 3.1 作为基础版和指导版,也可以通过[url=https://mistral.ai/news/la-plateforme]Mistral AI API[/url]和在Google Cloud Vertex AI上使用它。
该公司计划在未来几周内将可用性扩展到 NVIDIA NIM 和 Microsoft Azure AI Foundry 平台。
网友:
1、这家公司每次发布新东西我都会心脏病发作
2、我非常期待这种规模(约 24B)的非常出色的多模态模型,因为它们比 32B 类能够提供更多的上下文。希望这能让我们更进一步。
3、公平地说,过去几周发布的每款车型(我注意到的)都使用了这种奇怪的精心挑选的竞争对手和基准。而在这里,Mistral 似乎完全忽略了中国DeepSeek的存在。
4、为什么基准测试中没有 Qwen2.5-32B 和 QwQ?因为稍微差一点?
Qwen 仍然表现优异,在数学方面仍然遥遥领先。
MATH 目前只是衡量合成训练数据质量的一个指标。Phi-4的 MATH 成绩为 80.4%,仅 14B
5、我更感兴趣的是它和 Qwen 的多语言基准测试:
多语言,尤其是语法结构不同的语言,是很多模型都难以应对的问题。
我仍然使用 Nemo 来学习日语,而 Qwen 声称支持日语,但它的词汇选择非常奇怪,有时语法也不太好,尤其是在描述某件事时。
6、我认为这不仅表明 Qwen2.5 非常棒,而且 Mistral Small 3.1 也非常出色,因为它支持文本和图像。而且它的参数减少了 8B,这实际上很多。
7、qwq 和他是两个完全不同的野兽:一个是一次性反应模型,另一个是“思想者”。不在同一级别。而且 Qwen 2.5 32B 仍然太大了——但是一个非常好的模型
8、Qwen 2.5 的 32B 尺寸让我印象深刻,然后 Gemma 3 27B 的尺寸也令人印象深刻,今天是 Mistral 3.1 Small 24B。
我想知道在接下来的几天里我们是否会看到一款 22B 型号再次击败它们。