苹果开发出在iPhone上运行大模型的突破性方法

苹果 GPT大语言模型就在你的口袋里，这可能比你想象的更早成为现实。

苹果人工智能研究人员表示，通过发明创新的闪存利用技术，他们在iPhone和其他内存有限的苹果设备上部署大型语言模型( LLM )方面取得了关键突破。

ChatGPT和 Claude等基于 LLM 的聊天机器人非常需要大量数据和内存，通常需要大量内存才能运行，这对于iPhone等内存容量有限的设备来说是一个挑战。为了解决这个问题，苹果研究人员开发了一种新技术，使用闪存（应用程序和照片所在的内存）来存储人工智能模型的数据。

在一篇题为“闪存中的LLM ：有限内存下的高效大型语言模型推理”的新研究论文中，作者指出，移动设备中的闪存存储比传统上用于运行LLM 的RAM更丰富。他们的方法巧妙地绕过了限制，使用了两种关键技术，最大限度地减少数据传输并最大限度地提高闪存吞吐量：

1. 窗口化：将其视为一种回收方法。人工智能模型不会每次都加载新数据，而是重用一些已经处理过的数据。这减少了对持续内存获取的需求，使过程更快、更流畅。
2. 行列捆绑：这种技术就像分块阅读一本书，而不是一次读一个单词。通过更有效地对数据进行分组，可以更快地从闪存中读取数据，从而加快人工智能理解和生成语言的能力。

据该论文称，这些方法的结合使人工智能模型的运行速度可达iPhone可用内存的两倍。这意味着标准处理器 (CPU) 的速度提高了 4-5 倍，图形处理器( GPU ) 的速度提高了 20-25 倍，令人印象深刻。

据报道，苹果正在开发自己的生成式人工智能模型，称为“ Ajax ”。

• Ajax旨在与OpenAI 的 GPT-3和GPT-4 等产品相媲美，它可运行 2000 亿个参数，这表明语言理解和生成具有高水平的复杂性和能力。Ajax在内部被称为“ Apple GPT ”，旨在统一整个Apple 的机器学习开发，提出了将人工智能更深入地集成到Apple生态系统中的更广泛战略。

苹果将在 2024 年末左右在 iPhone和iPad上提供某种生成式 AI 功能，届时iOS 18 将会发布。苹果将在 2023 年建造数百台 AI 服务器，并在 2024 年建造更多服务器。据报道，苹果将提供基于云的人工智能和人工智能与设备上处理的结合。