英伟达华硕重磅推出本地部署AI电脑

两款支持大模型本地开发和云部署的新AI计算机发布:

  1. 华硕推出了Ascent GX10 AI超级计算机,搭载NVIDIA GB10 Grace Blackwell超级芯片,性能强大,支持高达1,000 TOPS的AI处理能力和128GB内存,适合处理大型AI模型。
  2. 英伟达还推出了DGX Spark个人AI计算机,同样基于GB10芯片,适合研究人员和学生使用。这些设备让AI开发更便捷高效。

华硕 AI超级计算机 华硕推出了一款超级厉害的电脑,叫做Ascent GX10 AI超级计算机。这台电脑用了NVIDIA最新的GB10 Grace Blackwell超级芯片,性能超强,体积却很小,能放在桌子上用。它特别适合做人工智能(AI)的研究和开发。

这台电脑有多厉害呢?它的AI处理能力高达1,000 TOPS(每秒一万亿次操作),还有128GB的内存,可以轻松处理超大的AI模型。它用了NVIDIA的Blackwell GPU和20核的Arm CPU,还有NVLink-C2C技术,让CPU和GPU之间的数据传输速度超快,比普通的PCIe 5.0快五倍!

  • 内存带宽是 PCIE 5.0 的 5 倍,即 ~320GB/s。

Ascent GX10不仅能单独用,还能通过ConnectX-7网卡把两台GX10连在一起,处理更大的AI模型。比如,它可以处理高达2000亿个参数的AI模型,像最新的Llama 3.1模型有4050亿个参数,它也能搞定。

这台电脑还特别适合本地开发,开发者可以在自己的桌面上做AI模型的实验和调试,不用占用大型服务器的资源。而且,用NVIDIA的AI软件,开发者可以轻松把模型从桌面搬到云上或者数据中心,继续做训练和部署。

英伟达 DGX Spark:内存带宽 273 GB/s 除了华硕的Ascent GX10,英伟达还推出了另一款叫DGX Spark的个人AI超级计算机。这是英伟达将digits specs更名为 DGX Spark。

  • 内存带宽 273 GB/s!也有人猜测带宽速度在 500GB/s 范围内。如果是真的,就它与英伟达 已在 Grace Hopper 中使用的内存总线(546GB/s)一致。
  • 5090 的 AI 性能为 3.3 倍五次浮点运算,拥有 32GB 的 vram,内存运行速度为 1792GB/s。

运行 70gb - 200 gb 型号比5090便宜得多。根据 英伟达的说法,成本为 3000 美元。此前 英伟达 声称将于 2025 年 5 月上市

它也是用GB10 Grace Blackwell超级芯片,性能同样强大,但体积更小,适合放在桌面上用。DGX Spark特别适合研究人员、数据科学家和学生,让他们能在本地做AI模型的开发和研究。

NVIDIA的CEO黄仁勋说,AI已经彻底改变了计算机的每一层,现在有了这些新的个人AI计算机,AI可以从云端扩展到桌面和边缘设备,让更多人能轻松使用AI技术。

总之,这些新电脑让AI开发变得更简单、更强大,不管是做研究还是开发应用,都能在桌面上搞定!

比较:

  • 英伟达的电脑和华硕的电脑在内存带宽上确实有差异。英伟达的DGX系列电脑配备了高带宽的内存技术,比如使用NVLink-C2C互连技术,带宽是PCIe 5.0的五倍。内存带宽 300 GB/s
  • 而华硕的Ascent GX10也用了NVIDIA的GB10 Grace Blackwell超级芯片。华硕的价格是 3000 美元,而且速度只够支持 70b 密集模型,内存带宽 300 GB/s
  • Framework Desktop 的速度为 256GB/s,价格只有 2000 美元……运行 70gb - 200gb 型号比 Spark 便宜得多。X86 更加实用。这些小型 AMD APU 在不使用 LLM 时非常适合用作控制台/多媒体盒。而英伟达 提供的是 ARM,因此只能用于 Linux,甚至不是 X86 Linux,因此几乎无法玩游戏。

性价比理想配置:

原因:使用 vLLM、SGLang进行批量推理,还使用 ​​ComfyUI + Hunyuan/WAN/SDXL/FLUX 进行图像和视频生成。所有这些基本上都需要 x86+CUDA 配置才能轻松启动