RTX PRO 6000 Blackwell · 96 Go GDDR7 avec ECC

RTX PRO 6000 dans un serveur loué au mois

Quatre-vingt-seize gigaoctets de GDDR7 à correction d’erreurs sur une seule carte d’extension, dans une machine physique entièrement dédiée, sans aucun autre locataire. Aucune carte que nous installons n’en contient davantage — pas même les accélérateurs. Ce que vous sacrifiez pour obtenir cette capacité, c’est le débit de lecture mémoire et le NVLink, et cette page le dit avant toute autre chose.

96 Go, ECC Quatre encodeurs, AV1 Pass-through intégral, pas de découpage

Transformez vos GPU en revenu mensuel passif

Vous avez des configurations GPU serveur ou de bureau inutilisées ? Mettez-les en ligne dès aujourd’hui sur la place de marché Primcast et percevez des loyers mensuels réguliers de la part d’équipes d’IA, de développeurs et d’entreprises qui ont besoin de puissance de calcul de qualité production.

Accéder à la place de marché

La plus grande carte de notre catalogue, et sa place sur la facture

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Une H100 est un accélérateur : elle existe pour héberger un modèle et effectuer des calculs dessus, et NVIDIA la facture en conséquence. La RTX PRO 6000 est une carte de station de travail qui s’est vu attribuer plus de mémoire que l’accélérateur. Si toute votre question se résume à est-ce que ça rentre, comparez la colonne mémoire et la colonne prix du tableau ci-dessous — sur cette étagère, elles ne vont pas dans le même sens, et c’est la raison d’être de cette page.

Sa position face aux autres cartes à grande mémoire que nous installons

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Chaque chiffre ci-dessus est lu dans le catalogue de commandes utilisé par le paiement, au moment où cette page a été servie. Rien sur cette page n’est saisi à la main.

La fiche technique, telle que NVIDIA la publie

Blackwell, cœurs Tensor de cinquième génération, cœurs RT de quatrième génération. Chiffres issus de la page produit officielle de NVIDIA pour l’édition Workstation, cités dans la source de cette page.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

Ce dans quoi elle excelle, et ce dans quoi elle échoue

La version honnête. Une carte aussi coûteuse est plus souvent le mauvais choix que le bon, et les quatre paragraphes ci-dessous sont ceux qui tranchent.

Point fort : héberger un modèle volumineux, en entier

Quatre-vingt-seize gigaoctets suffisent pour un modèle de soixante-dix milliards de paramètres en précision huit bits, avec de la marge pour la fenêtre de contexte, et pour un modèle de trente milliards en seize bits complets. Une seule carte, un seul espace d’adressage, pas de partitionnement ni de seconde machine à synchroniser.

Point fort : les charges qui mêlent graphisme ET calcul

Quatre encodeurs et quatre décodeurs matériels avec AV1, plus des cœurs de ray tracing de quatrième génération. Elle rend, elle transcode et elle infère sur la même carte. Les accélérateurs de cette étagère ne font ni l’un ni l’autre — ils n’ont aucun encodeur vidéo.

Point faible : les charges limitées par la mémoire à grande échelle

La GDDR7 est rapide, mais ce n’est pas de la mémoire empilée. L’A100 et la H100 lisent leurs poids plus vite par seconde que cette carte, et pour la génération de tokens en grands lots, ce débit de lecture est le plafond, pas le calcul. Si votre goulot d’étranglement est la bande passante plutôt que la capacité, l’accélérateur plus petit l’emporte.

Point faible : le couplage avec une seconde carte

Il n’y a pas de NVLink sur ce modèle. Deux exemplaires dans une même machine forment deux pools séparés de 96 Go qui communiquent via le slot, pas un pool unique de 192 Go. Lorsque vous avez réellement besoin de plus de 96 Go dans un seul espace d’adressage, ce n’est pas cette carte qui vous y mènera.

Dans quelle machine elle s’installe, et quelle liaison elle y obtient

Cette carte est un composant PCIe Gen 5 et toutes les plateformes que nous exploitons sont en Gen 3 ou Gen 4 : elle n’obtient donc jamais le bus complet pour lequel elle a été conçue. Cela compte pour certaines charges et pas du tout pour d’autres, et la différence mérite mieux que le silence.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Une fois les poids résidents sur la carte, le slot est inactif et la génération cesse d’importer — c’est le cas de la plupart des inférences, de la plupart des rendus et de tous les transcodages. Cela importe en revanche pour une boucle d’entraînement qui fait transiter un nouveau lot par le slot à chaque pas. Demandez si vous ne savez pas auquel des deux cas vous appartenez ; la réponse détermine la machine, pas la carte.

Ce qui tient réellement dans 96 Go

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

La puissance de la carte est l’autre plafond, et il est bien réel : l’édition Workstation de cette carte consomme jusqu’à 600 W à elle seule, tandis que l’édition Max-Q est le même silicium et les mêmes 96 Go à 300 W. Le choix entre les deux dépend du châssis, alors renseignez-vous avant de commander plutôt qu’après.

Ce tableau répond à la question « qu’est-ce qui tient dans cette carte ». La question inverse — combien de mémoire un modèle exige, et quelle carte la lui fournit — fait l’objet d’une page dédiée.

Ce que cela coûte, avec la machine qui l’accueille

La carte est une ligne distincte sur la facture, et la machine en est une autre. Les deux moitiés ci-dessous proviennent d’une seule lecture du catalogue de commandes : le prix et la fiche technique qui l’accompagne correspondent donc toujours l’un à l’autre.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

La bande passante est non mesurée dans les deux sens, sans frais de sortie, une adresse IPv4 est incluse, il n’y a pas de contrat et un mois est la durée par défaut. Pour toutes les autres cartes que nous installons, et les mêmes chiffres pour chacune, consultez le catalogue complet, avec les prix. Pour les machines déjà en baie et prêtes aujourd’hui plutôt que montées à la commande, /instant.

Les questions que l’on nous pose vraiment sur cette carte

Est-ce la même carte que la RTX 6000 Ada ?

Non, et les noms prêtent à confusion. La RTX 6000 Ada Generation est le précédent fleuron professionnel : 48 Go de GDDR6 avec ECC sur l’architecture Ada Lovelace. La RTX PRO 6000 Blackwell dispose de 96 Go de GDDR7 avec ECC, soit le double de mémoire, sur un silicium plus récent. Nous installons les deux, et elles figurent côte à côte dans le classement ci-dessus afin que l’écart entre elles soit un chiffre plutôt qu’une affirmation.

96 Go face aux 80 Go de la H100 — alors à quoi sert la H100 ?

Vous ne payez pas pour la même chose. L’argent investi dans la H100 va dans la mémoire empilée et le débit de lecture qui l’accompagne, plus le NVLink pour regrouper plusieurs cartes dans un seul espace d’adressage. L’argent investi dans la RTX PRO 6000 va dans la capacité, le ray tracing et quatre encodeurs vidéo. Si la question est est-ce que le modèle rentre, cette carte y répond avec plus de marge. Si la question est combien de tokens par seconde en grands lots, l’accélérateur y répond mieux, et le classement ci-dessus montre ce que cela coûte.

La carte est-elle partagée avec quelqu’un d’autre ?

Non. Un seul locataire par machine physique, et la carte est transmise directement à votre propre système d’exploitation — pas d’hyperviseur, pas de partition MIG, pas de profil vGPU, pas de découpage temporel. Vous installez et épinglez votre propre pilote et votre propre version de CUDA, et rien ne se met à jour sous vos pieds. Ce que vous mesurez le premier après-midi est ce que vous conservez.

Puis-je en avoir deux dans une même machine ?

C’est une configuration que nous chiffrons plutôt qu’une case à cocher, car la réponse dépend du châssis, de la largeur physique de la carte et du budget énergétique — et à jusqu’à 600 W chacune, c’est généralement le budget énergétique qui tranche. Demandez, et la réponse indiquera le châssis, le nombre de cartes et le délai de livraison. Notez que deux cartes constituent ici deux pools de mémoire distincts : ce modèle n’a pas de NVLink.

Dans combien de temps puis-je en avoir une ?

Cela dépend si la carte est déjà installée, déjà sur notre étagère, ou doit être achetée — et vous le savez avant de payer, pas après. /instant répertorie les machines en baie et prêtes immédiatement. Tout le reste est chiffré avec son délai réel.