一张附加卡上搭载九十六 GB 带纠错的 GDDR7,整台物理机器上只有你一个人用。我们安装的任何卡都没有它容量大——连加速卡也比不上。要拿到这个容量,你放弃的是显存读取速率和 NVLink,而本页在说任何其他事情之前,先把这一点讲清楚。
机主在我们的市场上挂出他们的 RTX PRO 6000 机器,并自己定下每月价格。一张卡如果写明是通过我们的姊妹公司 Server Room 挂出的,就是在 serverroom.net 上出租,而不是在这里。
Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
Blackwell,第五代 Tensor 核心,第四代 RT 核心。数据来自 NVIDIA 自己的工作站版产品页面,本页源码中已注明出处。
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
诚实版。这么贵的卡,选错的次数往往比选对的多,下面四段就是决定性的内容。
这张卡是 PCIe Gen 5 部件,而我们运行的每个平台都是 Gen 3 或 Gen 4,所以它永远得不到为它设计的完整总线。这对某些工作有影响,对另一些工作毫无影响,而这个区别比沉默更值得说清楚。
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — tight | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — tight | 38 GB — fits |
卡在账单上是单独一行,机器是另一行。下面两部分都来自订单目录的同一次读取,所以价格和旁边的规格始终彼此对应。
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |