Novantasei gigabyte di GDDR7 con correzione d'errore su una singola scheda aggiuntiva, in un'intera macchina fisica senza nessun altro sopra. Nessuna scheda che montiamo ne contiene di più — nemmeno gli acceleratori. Ciò a cui rinunci per ottenere quella capacità è la velocità di lettura della memoria e NVLink, e questa pagina lo dice prima di ogni altra cosa.
Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
Blackwell, core Tensor di quinta generazione, core RT di quarta generazione. Dati tratti dalla pagina prodotto di NVIDIA per la Workstation Edition, citati nel sorgente di questa pagina.
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
La versione onesta. Una scheda così costosa è la scheda sbagliata più spesso di quanto sia quella giusta, e i quattro paragrafi qui sotto sono quelli che lo decidono.
Questa scheda è un componente PCIe Gen 5 e ogni piattaforma che gestiamo è Gen 3 o Gen 4, quindi non ottiene mai il bus completo per cui è stata progettata. Questo conta per alcuni lavori e per altri per niente, e la differenza vale più del silenzio.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — tight | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — tight | 38 GB — fits |
La scheda è una riga separata in fattura e la macchina è un'altra. Entrambe le metà qui sotto provengono da un'unica lettura del catalogo ordini, quindi il prezzo e la specifica accanto appartengono sempre l'uno all'altra.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |