Noventa e seis gigabytes de GDDR7 com correção de erros em uma única placa de expansão, em uma máquina física inteira sem mais ninguém nela. Nenhuma placa que instalamos comporta mais — nem mesmo as aceleradoras. O que você abre mão para obter essa capacidade é a taxa de leitura de memória e o NVLink, e esta página diz isso antes de dizer qualquer outra coisa.
Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
Blackwell, núcleos Tensor de quinta geração, núcleos RT de quarta geração. Números da própria página de produto da NVIDIA para a Workstation Edition, citados no código-fonte desta página.
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
A versão honesta. Uma placa tão cara é a placa errada com mais frequência do que é a certa, e os quatro parágrafos abaixo são os que decidem isso.
Esta placa é uma peça PCIe Gen 5 e toda plataforma que rodamos é Gen 3 ou Gen 4, então ela nunca recebe o barramento completo para o qual foi projetada. Isso importa para alguns trabalhos e para outros não importa nada, e a diferença vale mais do que o silêncio.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — tight | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — tight | 38 GB — fits |
A placa é uma linha separada na fatura e a máquina é outra. As duas metades abaixo vêm de uma única leitura do catálogo de pedidos, então o preço e a especificação ao lado sempre pertencem um ao outro.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |