一张附加卡上装着九十六 GB 带纠错的 GDDR7,整台物理机只归你一人使用。我们安装的卡里没有哪张容量更大——连加速卡也比不上。要拿到这个容量,你放弃的是显存读取速率和 NVLink,而本页在说任何其他内容之前,先把这一点讲清楚。
Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
Blackwell,第五代 Tensor 核心,第四代 RT 核心。数据来自 NVIDIA 自己的工作站版产品页面,本页源码中已注明出处。
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
诚实版。这么贵的卡,选错的次数比选对的还多,下面四段就是决定对错的关键。
这张卡是 PCIe Gen 5 部件,而我们运行的每个平台都是 Gen 3 或 Gen 4,所以它从未得到设计时的完整总线。这对某些工作很重要,对另一些工作则完全无所谓,而这个差别值得说清楚,而不是保持沉默。
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — tight | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — tight | 38 GB — fits |
卡在账单上是单独一行,机器是另一行。下面两半都来自订单目录的同一次读取,所以价格和旁边的规格始终彼此对应。
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |