DeepSeek搭载英特尔芯片性能狂飙28倍！

大家好，我们是 KTransformers 团队（以前因为做了一个叫 DeepSeek-V2 的本地 CPU/GPU 混合推理开源项目而挺有名的）。

我们听到了大家想要支持 DeepSeek-R1/V3 的请求——现在我们终于搞定了！

抱歉让大家等了这么久，但我们一直在准备一些特别厉害的东西。

今天，我们很自豪地宣布，我们不仅支持 DeepSeek-R1/V3，就像这个视频里展示的那样：https://github.com/kvcache-ai/ktransformers

而且我们还预览了一些即将推出的优化，包括 Intel AMX 加速内核和选择性专家激活方法，这些都会让性能大幅提升。

通过 v0.3-preview 版本，我们实现了高达 286 个 token/s 的预填充速度，这比 llama.cpp 的本地推理速度快了 28 倍。
现在已经有二进制分发了，源代码也会尽快发布！大家可以在这里查看详细信息：https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md

这背后有几个原因：

1. 为什么要做 CPU/GPU 混合推理？DeepSeek 的 MLA 运算符计算量非常大。虽然可以在 CPU 上运行所有内容，但把繁重的计算任务交给 GPU 可以大幅提升性能。
2. 加速是怎么来的？
   • 专家卸载：和传统的基于层或 KVCache 卸载（比如 llama.cpp 里用的）不同，我们把专家计算卸载到 CPU，把 MLA/KVCache 卸载到 GPU，这样和 DeepSeek 的架构完美匹配，效率最高。
   • Intel AMX 优化——我们的 AMX 加速内核经过精心调优，运行速度比现有的 llama.cpp 实现快好几倍。我们计划在整理好后开源这个内核，并且正在考虑把它贡献给 llama.cpp 的上游项目。