RTX PRO 6000 Blackwell · 96 GB GDDR7 带 ECC

RTX PRO 6000 装在一台按月租用的服务器里

一张附加卡上装着九十六 GB 带纠错的 GDDR7,整台物理机只归你一人使用。我们安装的卡里没有哪张容量更大——连加速卡也比不上。要拿到这个容量,你放弃的是显存读取速率和 NVLink,而本页在说任何其他内容之前,先把这一点讲清楚。

96 GB,ECC 四个编码器,AV1 直通,不切片

把你的 GPU 变成每月被动收入

有闲置的服务器或台式机 GPU 配置?今天就挂到 Primcast 市场上,从需要生产级算力的 AI 团队、开发者和企业那里赚取稳定的月租。

前往市场

这里最大的卡,以及它在账单上的位置

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

H100 是一张加速卡:它的存在是为了容纳模型并对其做运算,NVIDIA 也据此定价。RTX PRO 6000 是一张工作站显卡,碰巧被给了比加速卡更多的显存。如果你的问题仅仅是装得下吗,就把下面表格里的显存列和价格列对照着看——在这个货架上,两者并不朝同一个方向走,而这正是本页存在的原因。

它在我们安装的其他大显存卡中的位置

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

上面的每个数字都在本页被提供的那一刻,从结账计费所用的订单目录中读取。本页没有任何内容是手工输入的。

规格,按 NVIDIA 发布的内容

Blackwell,第五代 Tensor 核心,第四代 RT 核心。数据来自 NVIDIA 自己的工作站版产品页面,本页源码中已注明出处。

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

它擅长什么,不擅长什么

诚实版。这么贵的卡,选错的次数比选对的还多,下面四段就是决定对错的关键。

擅长:完整地装下大东西

九十六 GB 足够以八位精度装下一个七百亿参数的模型,还能给上下文窗口留出余量;也足够以完整十六位精度装下一个三百亿参数的模型。一张卡,一个地址空间,不用分片,也不用第二台机器来保持同步。

擅长:图形与运算兼做的工作

四个硬件编码器和四个解码器,支持 AV1,外加第四代光线追踪核心。它在同一块板上渲染、转码和推理。这个货架上的加速卡前两样一样都做不了——它们根本没有视频编码器。

不擅长:大规模显存带宽受限的工作

GDDR7 很快,但它不是堆叠式显存。A100 和 H100 每秒读取权重的速度比这张卡更快,而对于大批量 token 生成来说,那个读取速率才是上限,而不是算力。如果你的瓶颈是带宽而非容量,较小的加速卡反而胜出。

不擅长:与第二张卡组成池

这个部件上没有 NVLink。一台机器里装两张,就是两个独立的 96 GB 池,通过插槽通信,而不是一个 192 GB 的池。当你真的需要在一个地址空间里超过 96 GB 时,这张卡无法带你到那里。

它装进哪台机器,以及在那里得到什么链路

这张卡是 PCIe Gen 5 部件,而我们运行的每个平台都是 Gen 3 或 Gen 4,所以它从未得到设计时的完整总线。这对某些工作很重要,对另一些工作则完全无所谓,而这个差别值得说清楚,而不是保持沉默。

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

一旦权重驻留在卡上,插槽就闲置了,代际也不再重要——大多数推理、大多数渲染和所有转码都是如此。它只对每一步都要跨插槽传输新批次的训练循环有影响。如果你不确定自己属于哪一种,就问一下;答案决定的是机器,而不是卡。

96 GB 里实际装得下什么

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

板卡功耗是另一个天花板,而且是真实存在的:这张卡的工作站版单独就能拉到 600 W,而 Max-Q 版是同一块硅片、同样的 96 GB,功耗 300 W。某个机箱能装哪一种,取决于机箱本身,所以下单前先问,而不是下单后。

那张表回答的是“这张卡里装得下什么”。反过来问——一个模型需要多少显存,哪张卡能满足——另有专页

连同它所在的整机,价格是多少

卡在账单上是单独一行,机器是另一行。下面两半都来自订单目录的同一次读取,所以价格和旁边的规格始终彼此对应。

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

带宽双向都不计量,无出口费用,包含一个 IPv4 地址,无合同,默认期限为一个月。关于我们安装的其他每一张卡,以及它们全部的同款数据,请阅读完整目录及价格。要今天已上架就绪而非按单定制的机器,看 /instant

人们实际会问的关于这张卡的问题

这张卡和 RTX 6000 Ada 是同一张吗?

不是,而名字确实容易让人搞混。RTX 6000 Ada Generation 是上一代专业旗舰:Ada Lovelace 架构上 48 GB 带 ECC 的 GDDR6。RTX PRO 6000 Blackwell 有 96 GB 带 ECC 的 GDDR7,显存翻倍,硅片更新。我们两种都装,它们在上面的阶梯里并排出现,所以两者之间的差距是一个数字,而不是一句说辞。

96 GB 对 H100 的 80 GB——那 H100 是干什么用的?

你花钱买的是不同的东西。H100 的钱花在堆叠式显存及其带来的读取速率上,外加用于把多张卡组成一个地址空间的 NVLink。RTX PRO 6000 的钱花在容量、光线追踪和四个视频编码器上。如果问题是模型装得下吗,这张卡用更充裕的余量来回答。如果问题是大批量下每秒多少 token,加速卡回答得更好,而上面的阶梯显示了那要花多少钱。

这张卡会和别人共享吗?

不会。一台物理机一个租户,卡直接直通到你自己的操作系统——没有 hypervisor,没有 MIG 分区,没有 vGPU 配置文件,没有时间切片。你安装并固定自己的驱动和 CUDA 版本,底层不会有任何东西替你升级。你第一个下午测到的,就是你一直拥有的。

一台机器里能装两张吗?

这是我们报价的定制配置,而不是你勾选的选项,因为答案取决于机箱、卡的物理宽度和功耗预算——而每张最高 600 W 时,功耗预算通常是决定因素。问一下,回复会写明机箱、数量和交期。注意,两张卡在这里是两个独立的显存池:这个部件没有 NVLink。

多久能拿到一张?

取决于卡是已经装好、已经在我们的货架上,还是需要采购——而且你在付款之前就会被告知,而不是付款之后。/instant 列出此刻已上架就绪的机器。其他任何配置都会连同真实交期一起报价。