一张独立显卡就配备了 96GB 的纠错 GDDR7 显存,而且是在一台完全独立的物理机上安装的。我们目前安装的所有显卡中,没有哪一款的容量能超过它——即使是加速卡也不例外。为了获得如此大的容量,你需要牺牲内存读取速度和 NVLink 功能,这一点在本页的开头就已明确说明。
Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
Blackwell架构,第五代Tensor核心,第四代RT核心。数据来自NVIDIA工作站版产品页面,本页面来源已引用。
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
实话实说。这么贵的牌,选错的概率远大于选对的概率,而下面这四段话正是决定性的因素。
这张卡是 PCIe Gen 5 的,而我们用的平台都是 Gen 3 或 Gen 4,所以它始终无法达到设计时的全部带宽。这对某些工作有影响,对另一些工作则无关紧要,但这种差异远比静音更重要。
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — fits | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — fits | 38 GB — fits |
发票上,卡片和机器分别单独列一行。以下两部分均来自同一份订单目录,因此价格和旁边的规格始终相互对应。
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |