如何将LLaMA 3部署到生产中以及硬件要求?

Meta 几天前发布了 LLaMA 3 生成式 AI 模型，它已经显示出令人印象深刻的功能。
通过此分步指南了解如何安装 LLaMA 3 并将其部署到生产环境中。从硬件要求到部署和扩展，我们涵盖了您顺利实施所需了解的一切。

什么是LLaMA 3？
Meta 推出了 Llama 3 开源 AI 模型的初始版本，可用于文本创建、编程或聊天机器人。此外，Meta 还宣布计划将 LLaMA 3 纳入其主要社交媒体应用程序。此举旨在与其他AI助手竞争，例如OpenAI的ChatGPT、微软的Copilot和谷歌的Gemini。

与 Llama 2 类似，Llama 3 是一个可免费访问的具有开放权重的大型语言模型，由一家领先的人工智能公司提供（尽管它不符合传统意义上的“开源”）。

目前，Llama 3可以从Meta网站免费下载，有两种不同的参数大小：80亿（8B）和700亿（70B）。用户可以注册来访问这些版本。 Llama 3 提供两种变体：预训练，这是下一个令牌预测的基本模型；指令调整，经过微调以遵守用户命令。两个版本的上下文限制均为 8,192 个令牌。

Meta 首席执行官马克·扎克伯格 (Mark Zuckerberg) 在接受 Dwarkesh Patel 采访时提到，他们使用 24,000 个 GPU 集群训练了两个定制模型。 70B 模型使用大约 15 万亿个代币的数据进行训练，并且从未达到饱和点或能力极限。随后，Meta 决定专注于训练其他模型。该公司还透露，他们目前正在开发 Llama 3 的 400B 参数版本，Nvidia 的 Jim Fan 等专家认为该版本在 MMLU、GPQA、HumanEval、和数学。

据 Meta 称，Llama 3 已使用各种基准进行评估，包括 MMLU（本科水平知识）、GSM-8K（小学数学）、HumanEval（编码）、GPQA（研究生水平问题）和 MATH（数学应用题））。这些基准测试表明，8B 模型的性能优于开放权重模型，例如 Google 的 Gemma 7B 和 Mistral 7B Instruct，而 70B 模型则与 Gemini Pro 1.5 和 Claude 3 Sonnet 具有竞争力。

Meta 报告称，Llama 3 模型在理解编码的能力方面得到了改进，与 Llama 2 类似，并且首次使用图像和文本进行训练。然而，它当前的输出仅限于文本。

LLaMA 3 硬件要求和在 AWS EC2 上选择正确的实例
由于许多组织使用 AWS 来处理其生产工作负载，让我们看看如何在 AWS EC2 上部署 LLaMA 3。

实现 LLM 时存在多个障碍，例如 VRAM（GPU 内存）消耗、推理速度、吞吐量和磁盘空间利用率。在这种情况下，我们必须确保在 AWS EC2 上分配具有足够 VRAM 容量的 GPU 实例来支持模型的执行。

LLaMA 3 8B 在 FP16 中需要大约 16GB 磁盘空间和 20GB VRAM（GPU 内存）。您当然可以在 CPU 上部署 LLaMA 3，但对于现实生产用例来说延迟太高。至于LLaMA 3 70B，它需要大约140GB的磁盘空间和160GB的FP16 VRAM。

获得 LLaMA 3 8B 的 20GB VRAM 相当容易。我建议您配置 NVIDIA A10 GPU：该 GPU 配备 24GB VRAM，是基于 Ampere 平台的快速 GPU。在 AWS EC2 上，您应该选择 G5 实例才能配置 A10 GPU。 g5.xlarge 就足够了。

不过，部署 LLaMA 3 70B 模型更具挑战性。没有 GPU 具有足够的 VRAM 用于此模型，因此您需要配置多 GPU 实例。如果您在 AWS 上配置 g5.48xlarge 实例，您将获得 192GB VRAM（8 个 A10 GPU），这对于 LLaMA 3 70B 来说足够了。

在此类配置中，您预计会出现以下延迟（响应时间）：LLaMA 3 8B 在 1 秒内生成 50 个令牌，对于 LLaMA 3 70B 在 5 秒内生成 50 个令牌。

为了降低这些模型的运营成本并增加延迟，您可以研究量化技术，但请注意，此类优化可能会损害模型的准确性。量化超出了本文的范围。

为了配置此类实例，请登录 AWS EC2 控制台，然后启动新实例：在 g5.xlarge 或 g5.48xlarge 实例上选择 NVIDIA 深度学习 AMI。不要忘记配置足够的磁盘空间。

使用 vLLM 进行生产推理
vLLM 是一个专为快速、轻松的 LLM 推理和部署而设计的库。其效率归功于各种复杂的方法，包括用于优化管理注意力键和值内存的分页注意力、批量传入查询的实时处理以及个性化的 CUDA 内核。

此外，vLLM 通过采用分布式计算（使用张量并行性）、实时流以及与 NVIDIA 和 AMD 显卡的兼容性，提供了高度的适应性。

具体来说，vLLM 将极大地帮助部署 LLaMA 3，使我们能够利用配备多个紧凑型 NVIDIA A10 GPU 的 AWS EC2 实例。这比使用单个大型 GPU（例如 NVIDIA A100 或 H100）更有优势。此外，vLLM 将通过连续批量推理显着提高我们模型的效率。

设置 vLLM 非常简单。让我们与最近创建的 AWS 实例建立 SSH 连接，并使用 pip 安装 vLLM：
pip install vllm

由于我们计划在 8 x A10 GPU 上使用 vLLM 执行分布式推理，因此还需要安装 Ray：
pip install ray

如果您在安装时遇到兼容性问题，从源代码编译 vLLM 或使用其 Docker 映像可能会更简单：查看 vLLM 安装说明。

启动推理服务器
现在让我们创建 Python 推理脚本：

from vllm import LLM

# Use LLaMA 3 8B on 1 GPU
llm = LLM("meta-llama/Meta-Llama-3-8B-Instruct")

# Use LLaMA 3 70B on 8 GPUs
# llm = LLM("meta-llama/Meta-Llama-3-70B-Instruct", tensor_parallel_size=8)

print(llm.generate("What are the most popular quantization techniques for LLMs?"))

您可以运行上面的脚本。如果这是您第一次运行此脚本，您将需要等待模型下载并加载到 GPU 上，然后您将收到如下内容：

The most popular quantization techniques for Large Language Models (LLMs) are:
1. Integer Quantization
2. Floating-Point Quantization
3. Mixed-Precision Training
4. Knowledge Distillation

这很容易理解。您只需根据您拥有的GPU数量调整tensor_parallel_size即可。

我们现在正在寻求启动一个适当的推理服务器，能够管理大量请求并执行同时推理。首先，启动服务器：

对于 LLaMA 3 8B：

python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-8B-Instruct

对于 LLaMA 3 70B：

python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct
--tensor-parallel-size 8

模型加载到 GPU 上最多需要 1 分钟。然后您可以启动第二个终端并开始发出一些请求：

curl http://localhost:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{
    "model": "meta-llama/Meta-Llama-3-8B-Instruct",
    "prompt": "What are the most popular quantization techniques for LLMs?"
}'

您现在拥有一个适合生产的推理服务器，由于连续批处理，它可以处理许多并行请求。在某些时候，如果请求数量过多，GPU 就会过载。在这种情况下，您将需要在多个 GPU 实例上复制模型并平衡您的请求（但这超出了本文的范围）。

结论
如您所见，借助 vLLM 等推理服务器，将 LLaMA 3 部署到生产中不需要任何复杂的代码。

然而，配置正确的硬件具有挑战性。首先是因为这些 GPU 非常昂贵，而且还因为目前全球 GPU 短缺。如果这是您第一次尝试在 AWS 上配置 GPU 服务器，您可能没有创建 GPU 服务器的权限。在这种情况下，您需要联系支持人员并解释您的用例。在本文中，我们使用了 AWS EC2，但当然也可以使用其他供应商（Azure、GCP、OVH、Scaleway...）。

部署 LLaMA 3 8B 相当容易，但 LLaMA 3 70B 则是另一头野兽。考虑到所需的 VRAM 量，您可能需要配置多个 GPU 并使用 vLLM 等专用推理服务器，以便将模型拆分到多个 GPU 上。

LLaMA 3 8B 在 FP16 中需要大约 16GB 磁盘空间和 20GB VRAM（GPU 内存）。至于LLaMA 3 70B，它需要大约140GB的磁盘空间和160GB的FP16 VRAM。