Is the RTX PRO 6000 Blackwell the same card as the RTX 6000 Ada?

No, and the names invite the mistake. The RTX 6000 Ada Generation is the previous professional flagship: 48 GB of GDDR6 with ECC on the Ada Lovelace architecture. The RTX PRO 6000 Blackwell has 96 GB of GDDR7 with ECC, twice the memory, on newer silicon. Primcast fits both, and both appear on the page with their own prices so the step between them is a figure rather than a claim.

Why does the RTX PRO 6000 have more memory than an H100 but cost less per month?

Because you are paying for different things. The H100's money is in stacked memory and the read rate that comes with it, plus NVLink for pooling several cards. The RTX PRO 6000's money is in capacity, ray tracing and four video encoders. If the question is whether the model will fit, the cheaper card answers it better. If the question is how many tokens a second at a large batch size, it does not.

Is the graphics card shared with anyone else?

No. One tenant per physical machine, and the card is passed straight through to your own operating system -- no hypervisor, no MIG partition, no vGPU profile, no time-slicing. You install and pin your own driver and CUDA release, and nothing upgrades underneath you.

Can I have two RTX PRO 6000 cards in one machine?

It is a build quoted rather than a checkout option, because the answer depends on the chassis, the physical width of the card and the power budget -- and at up to 600 W each, the power budget is usually what decides it. Note that two cards are two separate memory pools: this part has no NVLink.

How soon can I have an RTX PRO 6000 server?

It depends on whether the card is already fitted, already on the shelf, or has to be bought in, and you are told which before you pay rather than after. Machines racked and ready right now are listed at https://primcast.com/instant.

RTX PRO 6000 Blackwell · 96 GB GDDR7 con ECC

RTX PRO 6000 in un server che noleggi mensilmente.

Novantasei gigabyte di GDDR7 con correzione degli errori su una singola scheda aggiuntiva, all'interno di un'intera macchina fisica senza altre schede attive. Nessuna delle schede che abbiamo installato ne contiene di più, nemmeno gli acceleratori. Ciò a cui si rinuncia per ottenere tale capacità è la velocità di lettura della memoria e la compatibilità con NVLink, e questa pagina lo specifica chiaramente prima di qualsiasi altra informazione.

96 GB, ECC Quattro encoder, AV1 Passato attraverso, non affettato

Quanto costa, con la macchina

La carta più importante qui, e la sua posizione sulla fattura

Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Un H100 è un acceleratore: serve a memorizzare un modello ed eseguire calcoli aritmetici su di esso, e NVIDIA ne fissa il prezzo di conseguenza. La RTX PRO 6000 è una scheda per workstation a cui è stata assegnata più memoria rispetto all'acceleratore. Se la tua domanda principale è se ci starà , confronta la colonna della memoria e quella del prezzo nella tabella sottostante: su questo scaffale non vanno nella stessa direzione, ed è per questo che esiste questa pagina.

Dove si posiziona rispetto alle altre schede di memoria di grandi dimensioni che abbiamo installato

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 80GB	80 GB HBM2e	$899	$972.47
RTX PRO 6000 Blackwell 96GB	96 GB GDDR7 ECC	$1,299	$1,382.67
H100 80GB	80 GB HBM2e	$1,599	$1,682.67

Ogni cifra sopra riportata è stata letta dal catalogo degli ordini da cui è stato emesso lo scontrino al momento della visualizzazione di questa pagina. Nulla in questa pagina è stato digitato a mano.

La specifica, così come pubblicata da NVIDIA

Blackwell, core Tensor di quinta generazione, core RT di quarta generazione. Dati tratti dalla pagina prodotto di NVIDIA per la Workstation Edition, citata nella fonte di questa pagina.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

In cosa eccelle e in cosa non eccelle

La versione onesta. Una carta così costosa è più spesso la scelta sbagliata che quella giusta, e i quattro paragrafi seguenti sono quelli che lo dimostrano.

Bravo a: tenere qualcosa di grande, intero

Novantasei gigabyte sono sufficienti per un modello con settanta miliardi di parametri a otto bit di precisione, con margine sufficiente per la finestra di contesto, e sufficienti per un modello con trenta miliardi di parametri a sedici bit completi. Una scheda, un unico spazio di indirizzamento, nessuna suddivisione in shard e nessuna seconda macchina da sincronizzare.

Bravo/a in: lavori che combinano grafica e aritmetica

Quattro encoder hardware e quattro decoder con AV1, oltre a core di ray tracing di quarta generazione. Esegue il rendering, la transcodifica e l'inferenza sulla stessa scheda. Gli acceleratori presenti su questo scaffale non svolgono nessuna delle prime due funzioni: non dispongono affatto di un encoder video.

Scarso in: lavori su larga scala che richiedono un'elevata capacità di memoria

La GDDR7 è veloce, ma non è una memoria impilata. L'A100 e l'H100 leggono i loro pesi più velocemente al secondo rispetto a questa scheda e, per la generazione di grandi quantità di token, quella velocità di lettura rappresenta il limite massimo, non il risultato aritmetico. Se il collo di bottiglia è la larghezza di banda piuttosto che la capacità, l'acceleratore più piccolo è la scelta migliore.

Scarso in: fare pool con una seconda carta

Questa scheda non supporta NVLink. Due schede di questo tipo in una singola macchina sono costituite da due pool separati da 96 GB che comunicano tramite lo slot, non da un unico pool da 192 GB. Se hai effettivamente bisogno di più di 96 GB in un singolo spazio di indirizzamento, questa non è la scheda adatta.

In quale macchina va inserito e a quale collegamento arriva.

Questa scheda è un componente PCIe di quinta generazione (Gen 5) e tutte le piattaforme che utilizziamo sono di terza o quarta generazione (Gen 3 o Gen 4), quindi non sfrutta mai appieno la larghezza di banda del bus per cui è stata progettata. Questo può essere rilevante per alcuni progetti, ma non per altri, e la differenza di prestazioni è più importante del silenzio.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Una volta che i pesi risiedono sulla scheda, lo slot è inattivo e la generazione smette di essere rilevante, ovvero la maggior parte dell'inferenza, del rendering e della transcodifica. È rilevante invece per un ciclo di addestramento che invia un nuovo batch attraverso lo slot a ogni passaggio. Se non sei sicuro di quale delle due situazioni ti riguardi, chiediti quale sia la macchina più adatta, non la scheda.

Cosa entra davvero in 96 GB?

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 96 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — fits	34 GB — fits	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — fits	38 GB — fits

L'alimentazione della scheda madre rappresenta un altro limite, e si tratta di un limite reale: la Workstation Edition di questa scheda assorbe fino a 600 W, mentre la versione Max-Q, con lo stesso chip e gli stessi 96 GB, assorbe 300 W. La scelta della versione compatibile con un determinato chassis dipende dal case stesso, quindi è consigliabile informarsi prima di effettuare l'ordine.

Quanto costa, con la macchina in cui entra

La scheda è una riga separata sulla fattura e la macchina un'altra ancora. Entrambe le parti sottostanti derivano da una singola lettura del catalogo ordini, quindi il prezzo e le specifiche accanto ad esso si riferiscono sempre l'uno all'altro.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
RTX PRO 6000 Blackwell 96GB	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$1,299	$1,382.67 Configure this build →
RTX PRO 6000 Blackwell 96GB	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$1,299	$1,516.59 Configure this build →

La larghezza di banda è illimitata in entrambe le direzioni senza costi in uscita, è incluso un indirizzo IPv4, non c'è contratto e la durata predefinita è di un mese. Per tutte le altre schede che installiamo, e le stesse cifre per tutte, consultare il catalogo completo, prezzi inclusi . Per macchine installate e pronte oggi stesso anziché costruite su ordinazione, /instant .

Domande che le persone si pongono realmente su questa carta

Si tratta della stessa scheda video della RTX 6000 Ada?

No, e i nomi possono indurre in errore. La RTX 6000 Ada Generation è la precedente ammiraglia professionale: 48 GB di GDDR6 con ECC sull'architettura Ada Lovelace. La RTX PRO 6000 Blackwell ha 96 GB di GDDR7 con ECC, il doppio della memoria, su un chip più recente. Le abbiamo montate entrambe e appaiono una accanto all'altra nella tabella qui sopra, quindi la differenza tra di loro è un valore numerico e non un'affermazione.

96 GB contro gli 80 GB dell'H100: a cosa serve quindi l'H100?

State pagando per cose diverse. Il prezzo dell'H100 è nella memoria impilata e nella velocità di lettura che ne deriva, oltre a NVLink per raggruppare più schede in un unico spazio di indirizzamento. Il prezzo della RTX PRO 6000 è nella capacità, nel ray tracing e nei quattro encoder video. Se la domanda è se il modello ci starà , questa scheda risponde con più margine di sicurezza. Se la domanda è quanti token al secondo con una dimensione del batch elevata , l'acceleratore risponde meglio e il grafico sopra mostra quanto costa.

La carta è condivisa con qualcun altro?

No. Un solo tenant per macchina fisica e la scheda viene passata direttamente al tuo sistema operativo: nessun hypervisor, nessuna partizione MIG, nessun profilo vGPU, nessun time-slicing. Installi e configuri il tuo driver e la tua versione CUDA, e nulla viene aggiornato automaticamente. Ciò che misuri il primo pomeriggio è ciò che conservi.

Posso averne due in una sola macchina?

Si tratta di una configurazione che preventiviamo, non di una semplice casella da spuntare, perché la risposta dipende dallo chassis, dalla larghezza fisica della scheda e dal budget energetico — e con un consumo fino a 600 W ciascuna, è solitamente il fattore determinante. Chiedete e vi risponderemo indicando lo chassis, il numero di schede e i tempi di consegna. Si noti che in questo caso le due schede corrispondono a due pool di memoria separati: questa parte non supporta NVLink.

Quando potrò averne uno?

Dipende se la scheda è già installata, già disponibile a magazzino, oppure se deve essere ordinata; in tal caso, la risposta viene comunicata prima del pagamento, non dopo. L'elenco immediato mostra le macchine installate e pronte all'uso. Per qualsiasi altra richiesta, viene indicato il tempo di consegna effettivo.