• 我对在本地运行大型语言模型 (LLM) 的可能性感到兴奋。我决定为此买一张显卡，并想分享我使用 NVIDIA RTX 5060 Ti 16GB 的初步体验。简单来说，这是我的第一张专用显卡。我之前没
  • 在各种硬件（3090、4090，以及几台 Mac）上进行了各种速度测试和基准测试，速度比较：4090 VLLM、3090 LCPP、M3Max MLX、M3Max LCPP 与 Qwen-30B-a3b MoE 观察 比较快速处理速度更有意思。Token 生成速度基本符合我的预期。 不确定为什么 V
  • Qwen3 现已在 Unsloth 中进行微调 - 速度提高 2 倍，VRAM 减少 70% 大家好！现在，您可以使用Unsloth 对 Qwen3进行适配器，设置上下文长度比所有使用FA2的设置（24G icon
  • [基准测试] 在 Mac Studio M3 Ultra 512 GB (LM Studio) 上对 5 种型号进行快速测试 – Qwen3 表现优异。 我曾是一名大学物理讲师（教了五年书），在购买 Mac Studio（M3 Ultra、128 CPU/80 GPU 核心、512 GB 统一 RA icon
  • 首个 Gemma 模型于去年年初发布，自此发展成为一个蓬勃发展的Gemma 生态系统，累计下载量超过 1.6 亿次。这个生态系统涵盖了我们十多个专业模型系列，涵盖从安保到医疗应用等各个领域，最令人鼓舞的是来自社区的无数创新。从像Roboflow这样 icon
  • 从今天起，LM Studio 在家和工作中均可免费使用。查看更新后的条款了解详情。我们的隐私政策保持不变，您可以在此处阅读。 < icon
  • 最新消息！谷歌大叔刚刚在HuggingFace这个"程序员菜市场"挂出了Gemma 3的"试吃装"（预览版），看样子是专门给智能手表、智能家居这些"边缘设备"准备的。不过现在只能看宣传单（文件未发布），真正的"零食大礼包"还得再等等！ 它有个独门绝技叫"选择 icon
  • Qwen3 是一个“推理”模型，所以它每个提示都以一个包含其思维链的区块开头。 Qwen3就是个爱动脑筋的'小机灵鬼'！每次你问它问题，它都会先在心里默默嘀咕一阵（就是那个标签里的内容），把解题步骤都想明白了才回答你。 我发现 Qwen3-8B 也出人意料地擅长做一些有用的事情： 它可以 icon
  • 现在可以在本地设备上运行 DeepSeek-R1-0528！（至少 20GB RAM） 大家好！2天前，DeepSeek对他们的R1模型进行了巨大的更新，使其性能与OpenAI的o3，o 4-mini-high和Google的Gemini 2.5 Pro相当。 早在一月份，你可能还记得我的帖子，关于 icon
  • 使用RL可以很容易地微调小型模型，使其在垂直任务上优于基础模型。我们正在开源Osmosis-Apply-1.7B：一个比基础模型更好地合并代码的小模型（类似于Cursor的即时应用）。 Osmosis-Apply-1.7B就像个"代码拼图高手"，它是在阿里千问Qwen3-1.7B这个大脑基础上特训出 icon
  • 终于！谷歌现在有了一款官方开源应用，可以在手机上本地运行 AI 模型。 - 完全免费 - 离线工作 - 多式联运 这与新的 Gemma 3n 开源模型配合得很好。一切都发生在您的手机上。 步骤和链接如下： 1. 下载 Google AI Edge G icon
  • 手把手教你玩转AI模型微调！零基础也能秒懂 [b]什么是微调？（给模型开小灶）[/b] 想象GPT-4是个全能学霸，但OpenAI给它开了"家教课"专门练对话，这才有了我们现在用的ChatGPT！就像： [list] [*]你给原版模型（比如Llama-3）喂专属资料补课 [ icon
  • 谷歌最近搞了个叫"Project Astra"的智能管家（就像钢铁侠的贾维斯），现在正偷偷给部分测试用户玩呢～ 这货能把你手机变成会读心术的自行车修理师傅！ 比如你满手油污修自行车时，只要喊一嗓子："Astra！帮我找修车手册！"它就能： 唰地搜到PDF手册，像打游戏时的悬浮精灵球一样飘在旁边 自动 icon
  • 2025年量化大战：谁家的GGUF最香？ “万物背阴而抱阳……” ——《道德经》第42章（翻译：AI们一边藏着黑科技，一边奔向光明未来） 太长不看版： 问：现在谁家的GGUF量化模型最好？ 答：都挺香的！ G icon
  • Docker Model Runner 提供了一种开发者友好、注重隐私且经济高效的本地运行 LLM 解决方案，尤其适合在 Docker 生态系统中构建 GenAI 应用程序的用户。在本文中，我们探讨了 Docker Model Runner 的功能，并演示了它与 Spring AI 的集成。 Doc icon
  • 有人昨日发帖，人说他刚刚和一家中型律师事务所签了一个35000美元的大单子。他们要为这家事务所搭建一个完全私密的人工智能系统，用的是LLAMA 3 70B这个模型，完全自己托管，不使用第三方API，还符合严格的法律数据政策。他们用n8n这个工具来把所有东西连接起来。 这个系统会是一个完整的内部系统， icon
  • 这个"SOLO Bench"测试有多变态！ 这玩意儿是个专门折磨AI的"造句地狱"——让AI用大约4000个单词的词库，硬憋出250个句子！每个句子必须严格4个单词，还得符合特定语法格式。最狠的是：每个单词全篇只能用一次！（比如"apple"用过一次后，其他249个句子都不准再出现） 而且AI必须纯 icon
  • 【AI技术进化史：从训练卷到推理秀，现在玩的是速度与激情！】 [b]（一）训练时代：AI的"高考备战期"[/b] 以前大家聊AI就像讨论高考——天天比谁家模型刷题（训练）更狠！90年代到2010年代，LeCun、Krizhevsky这些学霸用CNN证明：神经网络做题（处理任务）比传统方法强多了！但当 icon