本地小语言模型

BitNet b1.58 2B4T是微软研究院开发的第一个开源、纯1比特大语言模型（LLM），规模达到20亿参数。 它用4万亿个token训练而成，证明了纯1比特的大语言模型性能可以媲美同尺寸的主流开源全精度模型，同时在计算效率（内存占用、能耗、响应速度）上具有巨大优势。

阿里千问发布超强AI大脑全家桶——Qwen 3！这次一口气放了8个型号，从迷你款（0.6B）到巨无霸（235B）全都有！

Unsloth Dynamic v2.0 是一种超强AI模型压缩技术，专门用来让大语言模型（比如ChatGPT这类AI）变得更小、更快，但几乎不掉智商！ 减肥神器：原本几十GB的大模型，经过它压缩后可能只剩几GB，但性能几乎不降！ 加速神器：压缩后的模型跑得更快，普通电脑甚至手机都能流畅运行！ 智能

附完整测试数据+避坑指南 1️⃣ 量化王者： Unsloth版（0.371分）最接近原版BF16模型（0.375分） Bartowski Q4_0（0.352分）速度最快，性价比之选 2️⃣ 意外翻车： 官方QAT 4bit（0.333分）竟不如第三方量化版 困惑度(PPL)测试完全不可靠，出现过拟

Google新出的Gemma 3 QAT模型能让普通显卡用户也能用上顶级AI。这个经过特殊优化（QAT）的int4版本Gemma 3，把显存需求从54G

在开始用GeForce RTX 5090的计算性能做NVIDIA Blackwell Linux测试时，除了上周发布的所有CUDA/OpenCL/OptiX基准测试，很多读者还问了AI性能，特别是RTX 5090旗舰显卡在Llama.cpp里的表现。下面是一些初步的基准测试，比较了GeForce R

前几天我试用了新出的Qwen3-30B大模型，在Ollama上跑得跟蜗牛爬似的！气得我直接换了LM Studio这个软件，结果我的RTX4090显卡直接起飞了，每秒能处理100多个词，快得跟开了挂一样！ 经过一顿猛如虎的测试后，我激动得差点从椅子上摔下来——这简直就是我的梦中情模！不管是翻译外语、写

我们最初提供的是Deepseek-v3-03241.58 位版本，您仍然可以使用，但其输出效果不是最好的。因此，我们发现有必要通过增加向下项目大小来升级到 1.78 位，以实现更好的性能。 为了确保准确度和尺寸之间

Gemini 2.5-Pro最牛的不是写代码多厉害！是它能像吃了记忆面包一样——哪怕你哔哔叭叭说上三天三夜，它每个字都记得门儿清！说人话就是：终于不用像以前聊15分钟就失忆重启了，现在能像打游戏存

小语言模型本地AI能否干翻谷歌大模型Gemini 2.5？实测7款"野生学霸"表现！ 参赛选手小模型名单： [list] [*]通义千问Qwen 3 1.7B 小不点 [*]通义千问Qwen3 4B 三好生 [*]通义千问Qwen3 8B Q6 课代表 [*]通义千问Qwen 3 14B Q4 学霸

Phi-4-reasoning是一种最先进的开放权重推理模型，它是在Phi-4的基础上进行微调的，使用的是对思想链跟踪和强化学习数据集的监督微调。 Phi-4推理小能手就像你们班那个数学突然开窍的同学——本来是个普通学生（Phi-4基础版），但老师给他吃了小灶（微调），专门训练他"把解题步骤一步步写

微软研究人员表示，他们已经开发出一种可在 CPU 上运行的超高效 AI 模型 微软的研究人员说，他们造出了目前为止最大的“1比特”人工智能模

家人们！刷到个超硬核的招聘！MoAIJobs刚po的——惠普家的AI特种部队'HP IQ'在旧金山招人啦！ 重点来啦！招的是'机器学习特种兵'，专门研究怎么把[b]AI塞进手机电脑这些小设备[/b]里！ 简单说就是：让惠普打印机不用联网也能变天才！ [img]data:image/jpeg;base

随着训练数据增加，模型量化需更高精度（如2位→3位）。8位通常够用，但长训练可能饱和。[url= 3 QAT混合量化（如4位权重+8位缓存）是当前实用方案，未来需硬件算法协同优化。 模型精度的缩放定律与量化权衡：从理论到实践的深层解

我跟你们说个超神奇的事儿！Qwen3这回居然把AI乱编瞎话的老毛病给治了！我每次测试新AI都像老师抽查背书一样，专门让它背法语德语的名诗。结果你猜怎么着？这个2350亿参数的Qwen3明明个头不够大（要知道背欧洲诗歌起码得6000亿参数的大块头），还是个"偏科生"模型（MoE技术让它不能同时用全部脑

微软刚刚在 HF 上发布了基于 Phi4 架构的推理模型plus版本（Phi-4-reasoning-plus ）： Sebastien Bubeck 表示： <