Noventa e seis gigabytes de GDDR7 com correção de erros em uma única placa de expansão, em uma máquina física completa, sem nenhum outro componente conectado. Nenhuma placa que instalamos suporta mais memória — nem mesmo os aceleradores. O que você sacrifica para obter essa capacidade é a taxa de leitura da memória e o NVLink, e esta página deixa isso bem claro antes de qualquer outra coisa.
Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
Blackwell, núcleos Tensor de quinta geração, núcleos RT de quarta geração. Dados da página do produto Workstation Edition da NVIDIA, citada na fonte desta página.
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
A versão honesta. Um cartão tão caro é, na maioria das vezes, o cartão errado em vez do certo, e os quatro parágrafos abaixo são os que decidem isso.
Esta placa é PCIe Gen 5 e todas as plataformas que utilizamos são Gen 3 ou Gen 4, portanto, ela nunca utiliza todo o potencial do barramento para o qual foi projetada. Isso faz diferença para alguns trabalhos e não faz diferença alguma para outros, e essa diferença vale mais do que o silêncio.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — fits | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — fits | 38 GB — fits |
O cartão é uma linha separada na fatura e a máquina é outra. Ambas as metades abaixo provêm de uma única leitura do catálogo de pedidos, portanto, o preço e a especificação ao lado sempre pertencem um ao outro.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |