RTX PRO 6000 Blackwell · 96 GB GDDR7 con ECC

RTX PRO 6000 in un server che noleggi a canone mensile

Novantasei gigabyte di GDDR7 con correzione d'errore su una singola scheda aggiuntiva, in un'intera macchina fisica senza nessun altro sopra. Nessuna scheda che montiamo ne contiene di più — nemmeno gli acceleratori. Ciò a cui rinunci per ottenere quella capacità è la velocità di lettura della memoria e NVLink, e questa pagina lo dice prima di ogni altra cosa.

96 GB, ECC Quattro encoder, AV1 Passata attraverso, non suddivisa

Trasforma le tue GPU in un ricavo mensile passivo

Hai configurazioni GPU server o desktop inattive? Mettile in vendita oggi sul marketplace Primcast e guadagna affitti mensili costanti da team AI, sviluppatori e aziende che necessitano di potenza di calcolo di livello produttivo.

Vai al Marketplace

La scheda più grande qui, e dove si colloca in fattura

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Un H100 è un acceleratore: esiste per contenere un modello ed eseguirvi operazioni aritmetiche, e NVIDIA lo prezza di conseguenza. La RTX PRO 6000 è una scheda da workstation a cui è capitato di ricevere più memoria dell'acceleratore. Se la tua unica domanda è ci starà, leggi la colonna della memoria e quella del denaro nella tabella sottostante l'una contro l'altra — su questo scaffale non corrono nella stessa direzione, ed è questo il motivo per cui questa pagina esiste.

Dove si colloca rispetto alle altre schede ad alta memoria che montiamo

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Ogni cifra qui sopra è letta dal catalogo ordini su cui fattura il checkout, nel momento in cui questa pagina è stata servita. Nulla in questa pagina è digitato a mano.

La specifica, come la pubblica NVIDIA

Blackwell, core Tensor di quinta generazione, core RT di quarta generazione. Dati tratti dalla pagina prodotto di NVIDIA per la Workstation Edition, citati nel sorgente di questa pagina.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

In cosa è brava, e in cosa non lo è

La versione onesta. Una scheda così costosa è la scheda sbagliata più spesso di quanto sia quella giusta, e i quattro paragrafi qui sotto sono quelli che lo decidono.

Brava a: contenere qualcosa di grande, per intero

Novantasei gigabyte sono sufficienti per un modello da settanta miliardi di parametri a precisione a otto bit con margine residuo per la finestra di contesto, e sufficienti per un modello da trenta miliardi a sedici bit pieni. Una scheda, uno spazio di indirizzamento, nessuno sharding e nessuna seconda macchina da tenere al passo.

Brava a: lavoro che è grafica E aritmetica

Quattro encoder hardware e quattro decoder con AV1, più core di ray tracing di quarta generazione. Renderizza, transcodifica e inferisce sulla stessa scheda. Gli acceleratori su questo scaffale non fanno nulla delle prime due cose — non hanno alcun encoder video.

Scarsa a: lavoro vincolato alla memoria su larga scala

La GDDR7 è veloce, ma non è memoria impilata. L'A100 e l'H100 leggono i loro pesi più velocemente al secondo di quanto faccia questa scheda, e per la generazione di token in grandi batch quella velocità di lettura è il tetto, non l'aritmetica. Se il tuo collo di bottiglia è la larghezza di banda piuttosto che la capacità, vince l'acceleratore più piccolo.

Scarsa a: aggregarsi con una seconda scheda

Non c'è NVLink su questo componente. Due di esse in una macchina sono due pool separati da 96 GB che comunicano attraverso lo slot, non un pool da 192 GB. Quando hai davvero bisogno di più di 96 GB in un unico spazio di indirizzamento, questa non è la scheda che ti ci porta.

In quale macchina va, e quale collegamento riceve lì

Questa scheda è un componente PCIe Gen 5 e ogni piattaforma che gestiamo è Gen 3 o Gen 4, quindi non ottiene mai il bus completo per cui è stata progettata. Questo conta per alcuni lavori e per altri per niente, e la differenza vale più del silenzio.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Una volta che i pesi sono residenti sulla scheda, lo slot è inattivo e la generazione smette di contare — il che vale per la maggior parte dell'inferenza, la maggior parte del rendering e tutta la transcodifica. Conta per un ciclo di addestramento che trasferisce un nuovo batch attraverso lo slot a ogni passo. Chiedi se non sei sicuro di quale dei due sei; la risposta decide la macchina, non la scheda.

Cosa ci sta davvero in 96 GB

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

La potenza della scheda è l'altro tetto ed è reale: la Workstation Edition di questa scheda assorbe fino a 600 W da sola, e l'edizione Max-Q è lo stesso silicio e gli stessi 96 GB a 300 W. Quale delle due un dato chassis accetti dipende dallo chassis, quindi chiedi prima di ordinare piuttosto che dopo.

Quella tabella risponde a “cosa ci sta in questa scheda”. La domanda al contrario — quanta memoria serve a un modello, e quale scheda la soddisfa — è una pagina a sé.

Quanto costa, con la macchina in cui va

La scheda è una riga separata in fattura e la macchina è un'altra. Entrambe le metà qui sotto provengono da un'unica lettura del catalogo ordini, quindi il prezzo e la specifica accanto appartengono sempre l'uno all'altra.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

La larghezza di banda non è misurata in entrambe le direzioni senza costi di uscita, un indirizzo IPv4 è incluso, non c'è contratto e un mese è la durata predefinita. Per ogni altra scheda che montiamo, e le stesse cifre per tutte, leggi l'intero catalogo, con prezzi. Per macchine già montate e pronte oggi invece che costruite su ordinazione, /instant.

Domande che le persone fanno davvero su questa scheda

È la stessa scheda della RTX 6000 Ada?

No, e i nomi invitano all'errore. La RTX 6000 Ada Generation è la precedente ammiraglia professionale: 48 GB di GDDR6 con ECC sull'architettura Ada Lovelace. La RTX PRO 6000 Blackwell ha 96 GB di GDDR7 con ECC, il doppio della memoria, su silicio più recente. Montiamo entrambe, e appaiono fianco a fianco nella scala qui sopra così che il passo tra loro sia una cifra piuttosto che un'affermazione.

96 GB contro gli 80 GB dell'H100 — quindi a cosa serve l'H100?

Stai pagando per cose diverse. Il denaro dell'H100 è nella memoria impilata e nella velocità di lettura che ne deriva, più NVLink per aggregare più schede in un unico spazio di indirizzamento. Il denaro della RTX PRO 6000 è nella capacità, nel ray tracing e nei quattro encoder video. Se la domanda è il modello ci starà, questa scheda risponde con più margine. Se la domanda è quanti token al secondo con un batch grande, l'acceleratore risponde meglio e la scala qui sopra mostra quanto costa.

La scheda è condivisa con qualcun altro?

No. Un solo locatario per macchina fisica, e la scheda è passata direttamente al tuo sistema operativo — nessun hypervisor, nessuna partizione MIG, nessun profilo vGPU, nessun time-slicing. Installi e blocchi il tuo driver e la tua release CUDA, e nulla si aggiorna sotto di te. Ciò che misuri il primo pomeriggio è ciò che mantieni.

Posso averne due in una macchina?

È una configurazione che quotiamo piuttosto che una casella da spuntare, perché la risposta dipende dallo chassis, dalla larghezza fisica della scheda e dal budget di potenza — e fino a 600 W ciascuna, il budget di potenza è di solito ciò che lo decide. Chiedi, e la risposta indica lo chassis, il numero e i tempi di consegna. Nota che due schede qui sono due pool di memoria separati: questo componente non ha NVLink.

Quanto presto posso averne una?

Dipende se la scheda è già montata, già sul nostro scaffale, o deve essere acquistata — e ti viene detto prima di pagare, non dopo. /instant elenca macchine montate e pronte adesso. Qualsiasi altra cosa viene quotata con i suoi tempi di consegna reali.