本地小语言模型

首个 Gemma 模型于去年年初发布，自此发展成为一个蓬勃发展的Gemma 生态系统，累计下载量超过 1.6 亿次。这个生态系统涵盖了我们十多个专业模型系列，涵盖从安保到医疗应用等各个领域，最令人鼓舞的是来自社区的无数创新。从像Roboflow这样构建企业计算机视觉的创新者，到东京科学研究所

我对在本地运行大型语言模型 (LLM) 的可能性感到兴奋。我决定为此买一张显卡，并想分享我使用 NVIDIA RTX 5060 Ti 16GB 的初步体验。简单来说，这是我的第一张专用显卡。我之前没有任何对比数据，所以一切对我来说都比较陌生。 我在

[基准测试] 在 Mac Studio M3 Ultra 512 GB (LM Studio) 上对 5 种型号进行快速测试 – Qwen3 表现优异。 我曾是一名大学物理讲师（教了五年书），在购买 Mac Studio（M3 Ultra、128 CPU/

Qwen3 是一个“推理”模型，所以它每个提示都以一个包含其思维链的区块开头。Qwen3就是个爱动脑筋的'小机灵鬼'！每次你问它问题，它都会先在心里默默嘀咕一阵（就是那个标签里的内容），把解题步骤都想明白了才回答你。 <

现在可以在本地设备上运行 DeepSeek-R1-0528！（至少 20GB RAM）大家好！2天前，DeepSeek对他们的R1模型进行了巨大的更新，使其性能与OpenAI的o3，o 4-mini-high和Google的Gemini 2.5 Pro相当。

最新消息！谷歌大叔刚刚在HuggingFace这个"程序员菜市场"挂出了Gemma 3的"试吃装"（预览版），看样子是专门给智能手表、智能家居这些"边缘设备"准备的。不过现在只能看宣传单（文件未发布），真正的"零食大礼包"还得再等等！ 它有个独门绝

使用RL可以很容易地微调小型模型，使其在垂直任务上优于基础模型。我们正在开源Osmosis-Apply-1.7B：一个比基础模型更好地合并代码的小模型（类似于Cursor的即时应用）。 Osmosis-Apply-1.7B就像个"代码拼图高手"，它

终于！谷歌现在有了一款官方开源应用，可以在手机上本地运行 AI 模型。 - 完全免费- 离线工作- 多式联运 这与新的 Gemma 3n 开源模型配合得很好。一切都发生在您的手机上。

Docker Model Runner 提供了一种开发者友好、注重隐私且经济高效的本地运行 LLM 解决方案，尤其适合在 Docker 生态系统中构建 GenAI 应用程序的用户。在本文中，我们探讨了 Docker Model Runner 的功能，并演示了它与 Spring AI 的集成。

手把手教你玩转AI模型微调！零基础也能秒懂 什么是微调？（给模型开小灶）想象GPT-4是个全能学霸，但OpenAI给它开了"家教课"专门练对话，这才有了我们现在用的ChatGPT！就像： 你

谷歌最近搞了个叫"Project Astra"的智能管家（就像钢铁侠的贾维斯），现在正偷偷给部分测试用户玩呢～这货能把你手机变成会读心术的自行车修理师傅！ 比如你满手油污修自行车时，只要喊一嗓子："Astra！帮我找修车手册！"它就能：

2025年量化大战：谁家的GGUF最香？ “万物背阴而抱阳……” ——《道德经》第42章（翻译：AI们一边藏着黑科技，一边奔向光明未来） 太长不看版： 问：现在谁家的GGUF量化模型最好？

有人昨日发帖，人说他刚刚和一家中型律师事务所签了一个35000美元的大单子。他们要为这家事务所搭建一个完全私密的人工智能系统，用的是LLAMA 3 70B这个模型，完全自己托管，不使用第三方API，还符合严格的法律数据政策。他们用n8n这个工具来把所有东西连接起来。

这个"SOLO Bench"测试有多变态！ 这玩意儿是个专门折磨AI的"造句地狱"——让AI用大约4000个单词的词库，硬憋出250个句子！每个句子必须严格4个单词，还得符合特定语法格式。最狠的是：每个单词全篇只能用一次！（比如"apple"用过一

【AI技术进化史：从训练卷到推理秀，现在玩的是速度与激情！】 （一）训练时代：AI的"高考备战期"以前大家聊AI就像讨论高考——天天比谁家模型刷题（训练）更狠！90年代到2010年代，LeCun、Krizh

微软刚刚在 HF 上发布了基于 Phi4 架构的推理模型plus版本（Phi-4-reasoning-plus ）