ChipNeMo 旨在探索大语言模型（LLM）在工业芯片设计中的应用。
今天发布的一篇研究论文描述了[url=https://www.nvidia.com/en-us/glossary/data-science/generative-ai/]生成式人工智能[/url]如何帮助最复杂的工程工作之一：设计半导体。 这项工作展示了高度专业化领域的公司如何利用其内部数据训练大型语言模型，以构建可提高生产力的助手。 在显微镜下，像NVIDIA H100 Tensor Core GPU（上图）这样最先进的芯片看起来就像一座精心规划的大都市，由数百亿个晶体管构建而成，连接在比人类头发细 10,000 倍的街道上。 多个工程团队协调长达两年的时间来建造这些数字大城市之一。 一些小组定义芯片的整体架构，一些小组制作并放置各种超小型电路，还有一些小组测试他们的工作。每项工作都需要专门的方法、软件程序和计算机语言。
原文摘要: 我们没有直接部署现成的商业或开源LLM，而是采用以下领域适应技术：自定义分词器、领域自适应持续预训练、具有特定领域指令的监督微调（SFT）以及领域-适应的检索模型。
我们在三个选定的芯片设计 LLM 应用程序上评估这些方法：工程助理聊天机器人、EDA 脚本生成以及错误总结和分析。
作为起点，该团队选择了一个基础模型，并使用NVIDIA NeMo对其进行了定制，这是一个用于构建、定制和部署生成式 AI 模型的框架，包含在NVIDIA AI Enterprise软件平台中。所选的 NeMo 模型拥有 430 亿个参数，这是对其理解模式能力的衡量标准。它使用超过一万亿个令牌、文本和软件中的单词和符号进行训练。
然后，该团队在两轮训练中完善了该模型，第一轮使用了价值约 240 亿令牌的内部设计数据，第二轮则混合了约 130,000 个对话和设计示例。
我们的结果表明，与三个评估的应用程序中的通用基础模型相比，这些领域适应技术能够显着提高 LLM 性能，从而使模型大小减少多达 5 倍，并且在一系列设计任务中具有相似或更好的性能。
NVIDIA基本上将其30年的企业内存压缩为13 B参数。ChipNeMo 加起来有24 B令牌，包括芯片设计、内部代码库和工程日志，如错误报告。
“ChipNeMo”模型是内部部署的，就像一个共享的精灵：
- - EDA脚本生成。EDA代表“电子设计自动化”，是设计下一代GPU的核心软件套件。这些脚本是关键的1万亿美元的市值;
- - GPU ASIC和架构工程师的工程助理聊天机器人，了解内部硬件设计规范，能够解释复杂的设计主题;
- - 缺陷总结和分析作为内部缺陷和问题跟踪系统的一部分;
- - 领域微调检索，实现更好的准确性超过内部知识。
芯片设计任务中，具有少至 130 亿个参数的定制 ChipNeMo 模型的性能可与甚至超过具有 700 亿个参数的 LLaMA2 等更大的通用 LLM 的性能相媲美或超过。在某些用例中，ChipNeMo 模型要好得多。
不知下一代gpu会按这种模式设计吗？ NVIDIA 研究总监兼该论文的主要作者 Mark Ren 表示：“我相信，随着时间的推移，大型语言模型将全面帮助所有流程。”
希望构建自己的定制 LLM 的企业现在就可以开始使用GitHub 和 NVIDIA NGC 目录中提供的NeMo 框架。