Is the RTX PRO 6000 Blackwell the same card as the RTX 6000 Ada?

No, and the names invite the mistake. The RTX 6000 Ada Generation is the previous professional flagship: 48 GB of GDDR6 with ECC on the Ada Lovelace architecture. The RTX PRO 6000 Blackwell has 96 GB of GDDR7 with ECC, twice the memory, on newer silicon. Primcast fits both, and both appear on the page with their own prices so the step between them is a figure rather than a claim.

Why does the RTX PRO 6000 have more memory than an H100 but cost less per month?

Because you are paying for different things. The H100's money is in stacked memory and the read rate that comes with it, plus NVLink for pooling several cards. The RTX PRO 6000's money is in capacity, ray tracing and four video encoders. If the question is whether the model will fit, the cheaper card answers it better. If the question is how many tokens a second at a large batch size, it does not.

Is the graphics card shared with anyone else?

No. One tenant per physical machine, and the card is passed straight through to your own operating system -- no hypervisor, no MIG partition, no vGPU profile, no time-slicing. You install and pin your own driver and CUDA release, and nothing upgrades underneath you.

Can I have two RTX PRO 6000 cards in one machine?

It is a build quoted rather than a checkout option, because the answer depends on the chassis, the physical width of the card and the power budget -- and at up to 600 W each, the power budget is usually what decides it. Note that two cards are two separate memory pools: this part has no NVLink.

How soon can I have an RTX PRO 6000 server?

It depends on whether the card is already fitted, already on the shelf, or has to be bought in, and you are told which before you pay rather than after. Machines racked and ready right now are listed at https://primcast.com/instant.

RTX PRO 6000 Blackwell · 96 Go GDDR7 avec ECC

RTX PRO 6000 dans un serveur loué au mois

Quatre-vingt-seize gigaoctets de GDDR7 corrigée d'erreurs sur une seule carte d'extension, dans une machine entièrement dédiée. Aucune autre carte compatible n'offre une capacité supérieure, pas même les accélérateurs. Cette capacité se traduit par une baisse du taux de lecture de la mémoire et des performances de NVLink, comme indiqué clairement sur cette page.

96 Go, ECC Quatre encodeurs, AV1 Passé à travers, non tranché

Ce que cela coûte, avec la machine

L'élément le plus important ici, et sa place sur la facture

Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Un H100 est un accélérateur : il sert à gérer un modèle et à effectuer des calculs, et NVIDIA le tarifie en conséquence. La RTX PRO 6000 est une carte graphique pour station de travail dotée de plus de mémoire que l'accélérateur. Si votre seule question est : « Est-ce compatible ? » , comparez les colonnes « Mémoire » et « Prix » du tableau ci-dessous ; sur cette configuration, ces deux éléments ne sont pas compatibles, et c'est la raison d'être de cette page.

Où se situe-t-elle par rapport aux autres cartes à grande capacité de mémoire que nous adaptons ?

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 80GB	80 GB HBM2e	$899	$972.47
RTX PRO 6000 Blackwell 96GB	96 GB GDDR7 ECC	$1,299	$1,382.67
H100 80GB	80 GB HBM2e	$1,599	$1,682.67

Tous les chiffres ci-dessus proviennent du catalogue de commandes figurant sur les factures de caisse au moment de l'affichage de cette page. Aucun élément de cette page n'a été saisi manuellement.

La spécification, telle que publiée par NVIDIA

Processeurs Blackwell, cœurs Tensor de cinquième génération, cœurs RT de quatrième génération. Données issues de la page produit NVIDIA dédiée à la Workstation Edition, citée dans la source de cette page.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

Ses points forts et ses points faibles

La version honnête. Une carte aussi chère est plus souvent la mauvaise carte que la bonne, et les quatre paragraphes ci-dessous vous l'expliquent.

Bon pour : tenir quelque chose de grand, entier

Quatre-vingt-seize gigaoctets suffisent pour un modèle à soixante-dix milliards de paramètres avec une précision de huit bits, en laissant de la marge pour la fenêtre de contexte, et pour un modèle à trente milliards de paramètres avec une précision de seize bits. Une seule carte, un seul espace d'adressage, pas de partitionnement ni de machine supplémentaire à synchroniser.

Apte à : travailler dans le domaine du graphisme ET des calculs

Quatre encodeurs matériels et quatre décodeurs compatibles AV1, ainsi que des cœurs de ray tracing de quatrième génération. Le rendu, le transcodage et l'inférence sont effectués sur une seule et même carte. Les accélérateurs de cette plateforme ne prennent en charge aucune des deux premières opérations : ils ne possèdent aucun encodeur vidéo.

Mauvais pour : les tâches à grande échelle nécessitant une mémoire limitée

La GDDR7 est rapide, mais il ne s'agit pas de mémoire empilée. Les processeurs A100 et H100 lisent leurs poids par seconde plus rapidement que cette carte, et pour la génération de jetons par lots importants, ce débit de lecture représente la limite, et non la capacité de calcul. Si votre goulot d'étranglement est la bande passante plutôt que la capacité, l'accélérateur moins puissant est plus performant.

Mauvais en : mise en commun avec une deuxième carte

Ce composant ne prend pas en charge NVLink. Deux barrettes de ce type, installées dans une même machine, correspondent à deux pools de 96 Go distincts communiquant via le même emplacement, et non à un seul pool de 192 Go. Si vous avez réellement besoin de plus de 96 Go dans un espace d'adressage unique, cette carte ne répondra pas à vos besoins.

Dans quelle machine cela se branche-t-il, et quel lien cela établit-il ?

Cette carte est compatible PCIe Gen 5, or toutes nos plateformes sont en Gen 3 ou Gen 4. Elle n'exploite donc jamais pleinement le bus pour lequel elle a été conçue. Cela a une incidence sur certaines tâches et aucune sur d'autres, et la différence est plus significative que le simple fait de gagner du temps.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Une fois les poids chargés sur la carte, le slot est inactif et la génération n'a plus d'importance — ce qui concerne la majeure partie de l'inférence, du rendu et du transcodage. Elle est cruciale pour une boucle d'entraînement qui traite un nouveau lot de données via le slot à chaque étape. En cas de doute, demandez-vous quelle est la machine, et non la carte ; la réponse déterminera la machine.

Que peut-on réellement contenir dans 96 Go ?

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 96 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — fits	34 GB — fits	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — fits	38 GB — fits

La consommation électrique de la carte mère représente l'autre limite, et elle est de taille : la version Workstation consomme jusqu'à 600 W, tandis que la version Max-Q, avec la même puce et les mêmes 96 Go de mémoire, consomme 300 W. La version compatible avec un boîtier donné dépend de ce dernier ; il est donc conseillé de se renseigner avant de commander.

Ce que ça coûte, avec la machine dans laquelle ça entre

La carte figure sur une ligne distincte de la facture, et la machine sur une autre. Les deux parties ci-dessous proviennent d'une même lecture du catalogue de commande ; le prix et les spécifications qui l'accompagnent sont donc toujours liés.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
RTX PRO 6000 Blackwell 96GB	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$1,299	$1,382.67 Configure this build →
RTX PRO 6000 Blackwell 96GB	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$1,299	$1,516.59 Configure this build →

La bande passante est illimitée dans les deux sens, sans frais de sortie. Une adresse IPv4 est incluse. Il n'y a pas d'engagement et la durée par défaut est d'un mois. Pour chaque carte supplémentaire installée (les mêmes caractéristiques s'appliquent), consultez le catalogue complet . Pour les machines prêtes à l'emploi immédiatement (et non sur commande), veuillez consulter la section /instant .

Questions que les gens se posent réellement à propos de cette carte

S'agit-il de la même carte que la RTX 6000 Ada ?

Non, et leurs noms prêtent à confusion. La RTX 6000 Ada Generation est l'ancien modèle phare professionnel : 48 Go de GDDR6 avec ECC sur l'architecture Ada Lovelace. La RTX PRO 6000 Blackwell dispose de 96 Go de GDDR7 avec ECC, soit deux fois plus de mémoire, sur une puce plus récente. Nous les avons comparées, et elles apparaissent côte à côte dans le tableau ci-dessus ; l'écart entre elles est donc une donnée chiffrée et non une affirmation.

96 Go contre 80 Go pour le H100 — alors à quoi sert le H100 ?

Vous payez pour des choses différentes. Le prix du H100 réside dans la mémoire empilée et le taux de lecture associé, ainsi que dans NVLink permettant de regrouper plusieurs cartes dans un seul espace d'adressage. Le prix du RTX PRO 6000 réside dans sa capacité, le ray tracing et ses quatre encodeurs vidéo. Si la question est de savoir si le modèle est compatible , cette carte répond avec une marge confortable. Si la question est de savoir combien de jetons par seconde traitent avec une grande taille de lot , l'accélérateur y répond mieux et le tableau ci-dessus illustre le coût de cette solution.

Cette carte est-elle partagée avec quelqu'un d'autre ?

Non. Un seul locataire par machine physique, et la carte est directement gérée par votre système d'exploitation : pas d'hyperviseur, pas de partition MIG, pas de profil vGPU, pas de partage de temps. Vous installez et fixez votre propre pilote et votre version CUDA, et aucune mise à jour n'est effectuée en arrière-plan. Ce que vous mesurez le premier après-midi est ce que vous conservez.

Puis-je en avoir deux dans une seule machine ?

Il s'agit d'une configuration personnalisée, et non d'une simple case à cocher, car la réponse dépend du châssis, de la largeur physique de la carte et de sa consommation électrique. Avec une consommation pouvant atteindre 600 W par carte, c'est généralement cette dernière qui est déterminante. Demandez un devis, et nous vous indiquerons le châssis, le nombre de cartes et le délai de livraison. Veuillez noter que les deux cartes correspondent ici à deux pools de mémoire distincts : ce composant ne prend pas en charge NVLink.

Dans combien de temps puis-je en avoir un ?

Cela dépend de la disponibilité de la carte : déjà installée, en stock, ou à commander. Cette information vous est communiquée avant le paiement. /instant affiche les machines immédiatement disponibles. Pour les autres, le délai de livraison réel est indiqué.