个人博客：https://liuqianglong.com
公众号：自刘地
本文介绍了AWS EC2 GPU实例的性能与费用对比，帮助大家选择适合自己需求的实例类型。文中对比了全球区和中国区的实例价格，并推荐了几种性价比较高的实例类型。还简要介绍了各类GPU实例的特点和性能差异，为需要在AWS上运行大模型的场景提供一些参考。
一、实例性能与费用对比
想要在本地运行大模型（LLM），一定少不了GPU，这里介绍一下目前在AWS上全球区和中国区所有带英伟达的 GPU EC2实例 [1]。
我整理了一张表格，用与对比各个实例的性能参数与价格。对于性能主要考虑显卡的型号、显卡数量、总GPU内存大小。
对于实例价格，AWS 全球区域选取了俄亥俄州区域（us-east-2）作为参考 [2]，表格展示了每小时的按需费用，以及按照汇率7.2折算成人民币的价格。中国区选取了宁夏区域（cn-northwest-1）作为参考 [3]，有些实例类型宁夏区域未上线，费用使用/表示。
从GPU大小和费用来看，下面几个实例类型是比较推荐的：
- g4dn.xlarge：配备1个NVIDIA T4显卡，共16GB GPU。是带有NVIDIA显卡最便宜的实例，适合运行小模型，如使用ollama init4量化的Qwen2-7B、Baichuan-13B。宁夏区域按需实例费用为
3.711元/小时。 - g4dn.12xlarge：配备4个NVIDIA T4显卡，共64GB GPU。适合需要更大GPU的模型，g4dn中间档的实例类型只是增加了CPU和内存，并没有增加GPU，g4dn类型如果需要更大的GPU向上只能选择12xlarge。宁夏区域按需实例
27.596元/小时。 - g5.xlarge：配备1个NVIDIA A10G显卡，共24GB GPU。这是我最常用的实例类型，适合需要大于16GB但小于24GB GPU的场景，例如Ollama运行Qwen1.5-32B init4版本，这个版本会消耗19GB GPU。宁夏区域按需实例费用为
6.701元/小时。 - g5.12xlarge：配备4个NVIDIA A10G显卡，共96GB GPU。适合运行更大模型，例如Qwen2-72B init4版本需要约43GB GPU。宁夏区域按需实例费用为
40.206元/小时。 - g6.xlarge：配备1个NVIDIA L4显卡，共24GB GPU。宁夏区域没有此实例类型，全球区目前上线的也较少，如果能启动此实例，相对g4dn.xlarge性价比更高。us-east-2按需实例费用折算成人民币为
5.796元/小时。
二、GPU实例类型特点简介
实例一般选新不选旧：最新实例通常配备更先进的硬件和技术，提供更高性能和更低成本。例如，P5实例相较于上一代P4实例在性能和成本上有明显优势。
- P5实例：使用NVIDIA H100 Tensor Core GPU，适用于深度学习和高性能计算（HPC）应用，具有Nitro架构，提供最高性能和40%的成本节约。
- P4实例：使用NVIDIA A100 GPU，适合大模型训练和HPC，支持400 Gbps网络。
- P3实例：使用NVIDIA V100 GPU，适用于机器学习和HPC，提供高达100 Gbps网络带宽，加快训练时间。
- P2实例：使用NVIDIA K80 GPU，提供强大并行计算性能，适用于机器学习和科学计算应用。
- G6实例：使用NVIDIA L4 GPU，适用于深度学习推理和图形密集型工作负载，比前代提升2倍性能。
- G5g实例：使用AWS Graviton2处理器和NVIDIA T4G GPU，适合Android游戏流和经济高效的机器学习推理，提供最佳性价比。
- G5实例：使用NVIDIA A10G GPU，提供图形密集型应用和机器学习推理的高性能，比前代提升3倍。
- G4实例：使用NVIDIA T4或AMD Radeon Pro V520 GPU，提供成本效益高的GPU性能，适用于机器学习推理和图形密集型应用，具有Nitro架构。
三、英伟达显卡型号对比
NVIDIA L4：最新发布，基于Ada Lovelace架构，具有高AI和图形处理性能，适用于视频处理、AI计算和图形工作负载。其24GB GDDR6显存和较低功耗在性能和能效方面表现出色 [4]。
NVIDIA A10G：基于Ampere架构，专为机器学习推理和图形密集型应用设计。拥有24GB显存和高计算能力，适合需要高性能计算和快速数据传输的任务，但其功耗较高 [5]。
NVIDIA T4：基于Turing架构，主要用于AI推理和多样化的云工作负载。尽管发布较早，但其良好的能效比和优化设计使其在许多场景下仍具竞争力 [6]。
四、文档链接
- [1] Amazon EC2实例类型：https://aws.amazon.com/cn/ec2/instance-types/
- [2] Amazon 俄亥俄州EC2按需实例价格：https://aws.amazon.com/cn/ec2/pricing/on-demand/
- [3] Amazon 宁夏区域EC2按需实例价格：https://www.amazonaws.cn/ec2/pricing/ec2-linux-pricing/
- [4] NVIDIA A10G 显卡：https://www.nvidia.com/en-us/data-center/products/a10-gpu/
- [5] NVIDIA A10G 显卡：https://www.nvidia.com/en-us/data-center/l4/
- [6] NVIDIA A10G 显卡：https://www.nvidia.com/en-us/data-center/tesla-t4/
