前不久 OpenAI 发布的人工智能文生视频大模型 Sora，让大家的关注点从 Vision Pro 回到了 AI 大模型上。在 AI 大模型和 AI 应用盛行的当下，即便是一些中小型团队，也希望通过开源项目训练出适合自身业务的 AI 大模型，而对于这些业务来讲，最重要的不仅仅是算法、参数，还有 GPU 。合适的 GPU 能让训练效率得到飞跃式的提升。
在 GPU 市场上，NVIDIA RTX A5000 和 GeForce RTX 4090 都是备受关注的产品，各自定位于不同的用户群体和应用场景。RTX A5000 作为专业市场的首选，致力于满足工作站用户对于高性能计算和图形处理的需求，而 GeForce RTX 4090 则专为游戏玩家和桌面用户设计，追求最佳的游戏性能和体验。本文会对比这两款 GPU 的关键特性、性能表现以及适用场景等方面，以帮助大家更好地理解它们在市场上的定位和价值。通过深入了解 A5000 和 4090 的差异和优势，大家将能够更准确地选择符合自身需求的 GPU。
Benchmark 测试
根据测试数据，RTX A5000 在 FP32（FLOPS）测试中得分为27770，而 GeForce RTX 4090 的得分则是 82580，显示出较高的性能差异。对于大规模、复杂的 AI 模型训练，尤其在训练的初期和调试阶段，FP32 性能越高，意味着它每秒可以完成的浮点运算次数越多，从而能够更快地处理训练数据，加速模型的训练过程。当然，FP32 并不是用来衡量 GPU 是否适合做 AI 模型训练的唯一指标，还要结合显存容量、显存带宽和CUDA核心数量等综合来看。
在 3DMark Time Spy 测试中，RTX A5000 的得分分别为 14471 和 135，而 GeForce RTX 4090 的得分则分别为 36516 和 280。尽管 RTX A5000 在某些场景下具有一定的优势，但总体来说，GeForce RTX 4090 的性能表现更为出色。
进一步观察其他实际应用场景中的测试数据，我们可以发现更多关于这两款显卡性能差异的有趣现象。在 Blender、OctaneBench、Shadow of the Tomb Raider 等测试中，RTX A5000 的帧数分别为 50、29、75，而 GeForce RTX 4090 的帧数则分别为 129、127、185。显然这意味着在游戏场景下，GeForce RTX 4090 的性能表现更加出色。
另外，A5000 和 4090 两款 GPU 在核心频率、内存、渲染配置、运算性能、板卡设计、图形处理器与特性等几个方面存在一些微妙的差异，具体如下所示。
| 一级指标 | 二级指标 | NVIDIA RTX A5000 | GeForce RTX 4090 |
|---|---|---|---|
| 核心频率 | Base Clock | 1170MHz | 2235MHz |
| Boost Clock | 1695MHz | 2520MHz | |
| Memory Clock | 2000MHz | 1313MHz | |
| 内存 | Memory Size | 24GB | 24GB |
| Memory Type | GDDR6 | GDDR6X | |
| Memory Bus | 384bit | 384bit | |
| Bandwidth | 768.0 GB/s | 1008 GB/s | |
| 渲染配置 | SM Count | 64 | 128 |
| Shading Units | 8192 | 16384 | |
| TMUs | 256 | 512 | |
| ROPs | 96 | 176 | |
| Tensor Cores | 256 | 512 | |
| RT Cores | 64 | 128 | |
| L1 Cache | 128 KB (per SM) | 128 KB (per SM) | |
| L2 Cache | 6MB | 72MB | |
| 运算性能 | Pixel Rate | 162.7 GPixel/s | 443.5 GPixel/s |
| Texture Rate | 433.9 GTexel/s | 1290 GTexel/s | |
| FP16 (half) | 27.77 TFLOPS | 82.58 TFLOPS | |
| FP32 (float) | 27.77 TFLOPS | 82.58 TFLOPS | |
| FP64 (double) | 433.9 GFLOPS | 1290 GFLOPS | |
| 板卡设计 | TDP | 230W | 450W |
| Suggested PSU | 550W | 850W | |
| Outputs | 4x DisplayPort 1.4a | 1x HDMI 2.1 3x DisplayPort 1.4a | |
| Power Connectors | 1x 8-pin | 1x 16-pin | |
| 图形处理与特性 | GPU Name | GA102 | AD102 |
| GPU Variant | – | AD102-300-A1 | |
| Architecture | Ampere | Ada Lovelace | |
| Foundry | Samsung | TSMC | |
| Process Size | 8 nm | 5 nm | |
| Transistors | 28,300 million | 76,300 million | |
| Die Size | 628mm² | 609mm² | |
| DirectX | 12 Ultimate (12_2) | 12 Ultimate (12_2) | |
| OpenGL | 4.6 | 4.6 | |
| OpenCL | 3.0 | 3.0 | |
| Vulkan | 1.3 | 1.3 | |
| CUDA | 8.6 | 8.9 | |
| Shader Model | 6.7 | 6.7 |
小结：A5000 和 4090 各有优势
虽然两者都提供了可观的计算能力，但它们各有所长。
RTX A5000 的优势：
RTX A5000 的主要优势之一在于其较低的热设计功耗（TDP），与 GeForce RTX 4090 相比。以 230W 的 TDP，RTX A5000 在能源消耗和热管理方面运行更为高效，使其成为需要持续性能而不牺牲过多能源的专业工作站的理想选择。
GeForce RTX 4090 的优势：
相比之下，GeForce RTX 4090 比 RTX A5000 具有几个优势。值得注意的是，它的发布时间比 RTX A5000 晚了大约一年半，在许多方面得到了优化。与 RTX A5000相比，GeForce RTX 4090 的加速频率显著提高了 49％，达到了 2520MHz（A5000 是 1695MHz）。核心频率的提升增强了整体性能，特别是在游戏和图形密集型应用中。
GeForce RTX 4090 具有更大的 VRAM 带宽，这是处理高分辨率纹理和复杂场景的关键组成部分。以 1008GB/s 的带宽，与 RTX A5000 的 768.0GB/s 相比，GeForce RTX 4090 在需要快速数据传输和处理的场景中能有更出色的表现。
此外，GeForce RTX 4090 拥有 8192 个额外的渲染核心，进一步增强了其计算能力和渲染能力。这些多余的核心使其在实时渲染和复杂视觉效果的情况下表现更加流畅和响应。
如果你觉得这还不够直观，那么我们通过下面这个跑分的数据可以直观看到它们各自的优势。
以上测试结果都是单一显卡的跑分。这两款显卡在不同场景下有着各自的优势。对于游戏玩家而言，如果他们更关注游戏的帧数和流畅度，那么GeForce RTX 4090可能更适合他们的需求。而对于那些需要进行图形设计、视频编辑等工作的用户来说，RTX A5000 的优秀功耗表现可能更符合他们的需求。
哪个 GPU 更适合 AI 模型训练？
最后，回答开篇的问题。如果你是希望训练 AI 模型，那必然不会只采用单卡，而是需要多张显卡。采用多张显卡时，4090 不支持NVIlink，服务器性能就会明显受到服务器内部多 GPU 点到点互联的影响。NVLink 的通信性能是传统 PCIe 链路的10倍以上。基于一项 pugetbench 的测试，7 张 4090 卡的性能只比 1 张 4090 提升 3 倍左右。因此，商用组件集群时，4090 性价较低。另外，正规云厂不提供 4090 ，小的云厂商也存在被诉讼，甚至跑路的风险。所以，更好的选择是采用 A5000。
不过，NVIDIA 的产品在中国地区很难买到，如果你需要高性能的 GPU 训练 AI 模型，那么购买搭载了相应 GPU 的云服务可能是更方便且划算的方式。在 DigitalOcean 旗下的 Paperspace 平台是专注 AI 模型训练的云 GPU 服务器租用平台，提供了包括 A5000、A6000、H100 等强大的 GPU 和 IPU 实例，以及透明的定价，可以比其他公共云节省高达70%的计算成本。如果你感兴趣，欢迎加入群聊（QQ群：611945524），与 DigitalOcean 中国工作人员咨询交流。