RTX PRO 6000 Blackwell · 96 Go GDDR7 avec ECC

RTX PRO 6000 dans un serveur loué au mois

Quatre-vingt-seize gigaoctets de GDDR7 à correction d’erreurs sur une seule carte d’extension, dans une machine physique entière sans aucun autre locataire. Aucune carte que nous installons n’en contient davantage — pas même les accélérateurs. Ce que vous sacrifiez pour obtenir cette capacité, c’est le débit de lecture mémoire et le NVLink, et cette page le dit avant toute autre chose.

96 Go, ECC Quatre encodeurs, AV1 Pass-through, pas de découpage

Transformez vos GPU en revenu mensuel passif

Vous avez des configurations GPU serveur ou de bureau inutilisées ? Mettez-les en ligne dès aujourd’hui sur la marketplace Primcast et percevez des loyers mensuels réguliers de la part d’équipes d’IA, de développeurs et d’entreprises qui ont besoin de calcul de qualité production.

Aller à la Marketplace

La plus grande carte ici, et sa place sur la facture

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Une H100 est un accélérateur : elle existe pour héberger un modèle et faire des calculs dessus, et NVIDIA la facture en conséquence. La RTX PRO 6000 est une carte de station de travail qui se trouve avoir reçu plus de mémoire que l’accélérateur. Si toute votre question est est-ce que ça rentre, lisez la colonne mémoire et la colonne prix du tableau ci-dessous l’une contre l’autre — sur cette étagère, elles ne vont pas dans le même sens, et c’est la raison d’être de cette page.

Sa position face aux autres cartes à grande mémoire que nous installons

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Chaque chiffre ci-dessus est lu dans le catalogue de commandes que la caisse facture, au moment où cette page a été servie. Rien sur cette page n’est saisi à la main.

La spécification, telle que NVIDIA la publie

Blackwell, cœurs Tensor de cinquième génération, cœurs RT de quatrième génération. Chiffres tirés de la page produit de NVIDIA pour l’édition Workstation, cités dans la source de cette page.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

Ce pour quoi elle est douée, et ce pour quoi elle ne l’est pas

La version honnête. Une carte aussi chère est plus souvent la mauvaise carte que la bonne, et les quatre paragraphes ci-dessous sont ceux qui tranchent.

Douée pour : héberger quelque chose de volumineux, en entier

Quatre-vingt-seize gigaoctets suffisent pour un modèle de soixante-dix milliards de paramètres en précision huit bits, avec de la marge pour la fenêtre de contexte, et pour un modèle de trente milliards en seize bits complet. Une carte, un espace d’adressage, pas de partitionnement et pas de seconde machine à synchroniser.

Douée pour : les travaux à la fois graphiques ET arithmétiques

Quatre encodeurs matériels et quatre décodeurs avec AV1, plus des cœurs de ray tracing de quatrième génération. Elle rend, elle transcode et elle infère sur la même carte. Les accélérateurs de cette étagère ne font ni l’un ni l’autre des deux premiers — ils n’ont aucun encodeur vidéo.

Mauvaise pour : les travaux limités par la mémoire à grande échelle

La GDDR7 est rapide, mais ce n’est pas de la mémoire empilée. L’A100 et la H100 lisent leurs poids plus vite par seconde que cette carte, et pour la génération de tokens en grands lots, ce débit de lecture est le plafond, pas l’arithmétique. Si votre goulot d’étranglement est la bande passante plutôt que la capacité, le plus petit accélérateur gagne.

Mauvaise pour : le regroupement avec une seconde carte

Il n’y a pas de NVLink sur cette pièce. Deux d’entre elles dans une même machine forment deux pools séparés de 96 Go qui communiquent par le slot, pas un pool unique de 192 Go. Lorsque vous avez réellement besoin de plus de 96 Go dans un seul espace d’adressage, ce n’est pas cette carte qui vous y mènera.

Dans quelle machine elle va, et quelle liaison elle y obtient

Cette carte est une pièce PCIe Gen 5 et toutes les plateformes que nous exploitons sont Gen 3 ou Gen 4, donc elle n’obtient jamais le bus complet pour lequel elle a été conçue. Cela compte pour certains travaux et pas du tout pour d’autres, et la différence mérite mieux que le silence.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Une fois les poids résidents sur la carte, le slot est inactif et la génération cesse d’importer — c’est le cas de la plupart des inférences, de la plupart des rendus et de tout le transcodage. Cela importe pour une boucle d’entraînement qui fait transiter un nouveau lot par le slot à chaque étape. Demandez si vous ne savez pas auquel des deux vous appartenez ; la réponse décide de la machine, pas de la carte.

Ce qui tient réellement dans 96 Go

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

La puissance de la carte est l’autre plafond, et c’en est un vrai : l’édition Workstation de cette carte consomme jusqu’à 600 W à elle seule, et l’édition Max-Q est le même silicium et les mêmes 96 Go à 300 W. Lequel des deux un châssis donné accepte dépend du châssis, alors demandez avant de commander plutôt qu’après.

Ce tableau répond à « ce qui tient dans cette carte ». La question dans l’autre sens — combien de mémoire un modèle exige, et quelle carte la satisfait — a sa propre page.

Ce qu’elle coûte, avec la machine dans laquelle elle va

La carte est une ligne distincte sur la facture et la machine en est une autre. Les deux moitiés ci-dessous proviennent d’une seule lecture du catalogue de commandes, de sorte que le prix et la spécification qui l’accompagne vont toujours ensemble.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

La bande passante est non mesurée dans les deux sens, sans frais de sortie, une adresse IPv4 est incluse, il n’y a pas de contrat et un mois est la durée par défaut. Pour toutes les autres cartes que nous installons, et les mêmes chiffres pour chacune, lisez le catalogue complet, avec prix. Pour les machines en rack prêtes aujourd’hui plutôt que construites à la commande, /instant.

Les questions que les gens posent vraiment sur cette carte

Est-ce la même carte que la RTX 6000 Ada ?

Non, et les noms invitent à l’erreur. La RTX 6000 Ada Generation est le précédent fleuron professionnel : 48 Go de GDDR6 avec ECC sur l’architecture Ada Lovelace. La RTX PRO 6000 Blackwell a 96 Go de GDDR7 avec ECC, le double de mémoire, sur un silicium plus récent. Nous installons les deux, et elles apparaissent côte à côte dans le classement ci-dessus afin que l’écart entre elles soit un chiffre plutôt qu’une affirmation.

96 Go contre les 80 Go de la H100 — alors à quoi sert la H100 ?

Vous payez pour des choses différentes. L’argent de la H100 est dans la mémoire empilée et le débit de lecture qui l’accompagne, plus le NVLink pour regrouper plusieurs cartes en un seul espace d’adressage. L’argent de la RTX PRO 6000 est dans la capacité, le ray tracing et quatre encodeurs vidéo. Si la question est est-ce que le modèle rentre, cette carte y répond avec plus de marge. Si la question est combien de tokens par seconde à grande taille de lot, l’accélérateur y répond mieux et le classement ci-dessus montre ce que cela coûte.

La carte est-elle partagée avec quelqu’un d’autre ?

Non. Un locataire par machine physique, et la carte est transmise directement à votre propre système d’exploitation — pas d’hyperviseur, pas de partition MIG, pas de profil vGPU, pas de découpage temporel. Vous installez et épinglez votre propre pilote et votre version de CUDA, et rien ne se met à jour sous vos pieds. Ce que vous mesurez le premier après-midi est ce que vous conservez.

Puis-je en avoir deux dans une même machine ?

C’est une configuration que nous chiffrons plutôt qu’une case à cocher, car la réponse dépend du châssis, de la largeur physique de la carte et du budget d’alimentation — et à jusqu’à 600 W chacune, c’est généralement le budget d’alimentation qui tranche. Demandez, et la réponse indique le châssis, le nombre et le délai. Notez que deux cartes forment ici deux pools de mémoire distincts : cette pièce n’a pas de NVLink.

Dans combien de temps puis-je en avoir une ?

Cela dépend si la carte est déjà installée, déjà sur notre étagère, ou doit être achetée — et vous êtes informé avant de payer, pas après. /instant liste les machines en rack prêtes immédiatement. Tout le reste est chiffré avec son délai réel.