印度黑科技Kompact AI：CPU搞定大模型

banq

当我提到“大型语言模型”时，你首先想到的是什么？可能是像 ChatGPT、Gemini、Claude 或 Meta 的 LLaMA 这样的模型——对吧？如果我问你这些模型的驱动力是什么？答案几乎总是相同的——GPU 。昂贵、耗电的 GPU，通常都来自一家公司：NVIDIA。

但如果我告诉你有一个印度平台正在试图颠覆整个局面呢？

是的，你没听错。

我们谈论的是Kompact AI——一个由Ziroh Labs与印度理工学院马德拉斯分校 (IIT Madras)合作开发的 CPU 优先 AI 堆栈。它承诺完全在 CPU 上运行现代 AI 模型——从 LLaMA 3 到 BERT，甚至 RAG 流水线——而无需依赖 GPU 集群或云端基础设施。这将带来巨大的改变——不仅对印度，也对世界如何构建可访问、可负担且自主的 AI 产生了深远的影响。

Kompact AI 是什么？
Kompact AI 是一个创新的、CPU 优先的 AI 平台，由Ziroh Labs与印度理工学院马德拉斯分校 (IIT Madras)合作开发。

与严重依赖高功耗 GPU或云端基础设施的传统 AI 模型不同，Kompact AI 另辟蹊径——它旨在完全在 CPU 上运行大型语言模型 (LLM)和其他 AI 工作负载，且不影响性能。

事实上，该公司声称 Kompact AI 的架构旨在处理各种 AI 任务，包括推理、微调，甚至训练复杂模型，同时保持效率和可扩展性。

Kompact AI 能够支持各种工作流程，为希望大规模部署 AI 的开发人员和企业提供了多功能解决方案。

为什么 CPU 优先？相比 GPU 的优势
基于通用行业数据，CPU优先方法为Kompact AI带来了多种优势，尤其是成本效率、能源效率和可访问性方面。

注意：尽管与基于传统 GPU 的解决方案相比， Kompact AI的确切成本效益和能源效率的数据有限，但以下几点基于类似CPU和GPU 技术的通用数据，应视为粗略估计。

  1. 成本效益： CPU通常比GPU便宜得多，高性能英特尔至强处理器的价格在1,000 至 3,000 美元之间，而NVIDIA A100 GPU的价格则在10,000 至 15,000 美元之间。这使得Kompact AI成为企业的经济高效的解决方案，尤其适用于 GPU 资源有限或预算有限的地区。
  2. 能源效率： GPU 的功耗往往比CPU高得多。例如，NVIDIA A100 的功耗高达400 瓦，而英特尔至强处理器的功耗则在70 到 150 瓦之间。这意味着CPU 的功耗比GPU低约 50% 到 80%，从而显著节省运营成本，尤其是在能源效率至关重要的环境中，例如偏远地区或离网地区。
  3. 可访问性和可扩展性： CPU比GPU更广泛地普及，尤其是在高端 GPU 难以获得或价格过高的地区。Kompact AI允许各种规模的企业扩展其 AI 应用，而无需进行大量的基础设施投资，使其成为适用于各行各业的多功能且可扩展的解决方案。
  4. 推理和边缘应用的理想之选：GPU更适合大规模模型训练，而CPU则更适合推理和微调任务。这使得Kompact AI尤其适合实时 AI 应用和边缘设备，因为这些应用和设备对本地处理和低功耗至关重要。

Kompact AI 如何工作？
与严重依赖 GPU 的传统模型不同，Kompact AI 集成了多个层面的复杂优化，以确保其架构在 CPU 上既强大又节能。以下是推动该平台独特功能的一些关键创新：

同样，互联网上可用的数据非常少，但我已尝试整合我认为应该使用的数据和我发现的一些数据。

 1. 自定义内核级 CPU 优化
Kompact AI 超越了用户空间库，并利用操作系统/内核级优化来提升 CPU 性能。这种方法可能类似于LLVM 级调优，后者由谷歌的XLA （加速线性代数）为 TPU所推广。通过释放 CPU 的潜在性能潜能，Kompact AI 无需依赖 GPU 等专用硬件即可实现更高的吞吐量和更高效的处理。这种垂直的软硬件协同确保了从操作系统到应用程序的整个堆栈都得到优化，以实现最高效率。

 2. 混合模块化架构
与依赖单个大型模型（例如，单片 LLM）的传统 AI 模型不同，Kompact AI 的架构可能采用混合模块化方法，集成多个可并行运行或协作的小型模型。这种模块化设计可以支持执行特定任务（例如检索、推理或控制）的微代理系统。这些模型可以通过共享控制器进行交互，从而根据当前任务动态分配资源。这种方法在 CPU 上非常高效，因为它减少了大型单片模型通常所需的大量计算和内存资源。

3. 聚焦“小模型，大性能”
Kompact AI似乎并不专注于从零开始创建新的大规模模型，而是更注重对现有开放模型（例如Phi-3 mini）进行精简和量化。这种方法有助于优化小型模型的性能，同时仍能取得令人印象深刻的成果。该平台似乎专注于编译器式 AI 优化，对模型进行微调以便在 CPU 上高效部署。通过关注FLOPS/$（每秒每美元浮点运算次数），Kompact AI 可以为实际应用提供经济高效的解决方案，确保即使是规模较小、复杂程度较低的模型也能提供卓越的性能。

尽管 Kompact AI 优化过的 LLM 列表很长，但我还是在下面重点介绍了一些最著名且广为人知的模型：

  • DeepSeek-R1-Distill-Llama-8B：精细调整，针对大规模 NLP 任务、推理和微调进行了优化。
  • Llama 2 7B：专注于问答和文本生成等一般 NLP 任务。
  • Code Llama 7B：专门用于代码生成和编程相关任务。
  • Code Llama 13B：增强了复杂代码的生成和理解。
  • BERT：广泛用于分类、问答和基于文本的任务。
  • Llama 2 13B：适用于需要更大模型的更复杂的 NLP 任务。
  • Phi 3 -3.8B：针对各种 NLP 任务进行了优化，降低了计算成本。
完整列表请访问他们的网站 

结论：
Kompact AI 虽然前景光明，但其全部潜力仍有待检验。主要还是要观察其性能会受到怎样的影响。