Is the RTX PRO 6000 Blackwell the same card as the RTX 6000 Ada?

No, and the names invite the mistake. The RTX 6000 Ada Generation is the previous professional flagship: 48 GB of GDDR6 with ECC on the Ada Lovelace architecture. The RTX PRO 6000 Blackwell has 96 GB of GDDR7 with ECC, twice the memory, on newer silicon. Primcast fits both, and both appear on the page with their own prices so the step between them is a figure rather than a claim.

Why does the RTX PRO 6000 have more memory than an H100 but cost less per month?

Because you are paying for different things. The H100's money is in stacked memory and the read rate that comes with it, plus NVLink for pooling several cards. The RTX PRO 6000's money is in capacity, ray tracing and four video encoders. If the question is whether the model will fit, the cheaper card answers it better. If the question is how many tokens a second at a large batch size, it does not.

Is the graphics card shared with anyone else?

No. One tenant per physical machine, and the card is passed straight through to your own operating system -- no hypervisor, no MIG partition, no vGPU profile, no time-slicing. You install and pin your own driver and CUDA release, and nothing upgrades underneath you.

Can I have two RTX PRO 6000 cards in one machine?

It is a build quoted rather than a checkout option, because the answer depends on the chassis, the physical width of the card and the power budget -- and at up to 600 W each, the power budget is usually what decides it. Note that two cards are two separate memory pools: this part has no NVLink.

How soon can I have an RTX PRO 6000 server?

It depends on whether the card is already fitted, already on the shelf, or has to be bought in, and you are told which before you pay rather than after. Machines racked and ready right now are listed at https://primcast.com/instant.

RTX PRO 6000 Blackwell · 96 GB GDDR7 mit ECC

RTX PRO 6000 in einem Server, den Sie monatlich mieten

96 Gigabyte fehlerkorrigierter GDDR7-Speicher auf einer einzigen Erweiterungskarte – in einem kompletten, unbestückten Rechner. Keine andere von uns verbaute Karte bietet mehr Speicherkapazität, nicht einmal die Beschleuniger. Um diese Kapazität zu erreichen, müssen Sie Abstriche bei der Speicherlesegeschwindigkeit und NVLink machen. Genau das wird hier als Erstes erklärt.

96 GB, ECC Vier Encoder, AV1 Durchgestrichen, nicht geschnitten

Was es kostet, mit der Maschine

Die wichtigste Karte hier und ihre Position auf der Rechnung

Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Ein H100 ist ein Beschleuniger: Er dient dazu, ein Modell aufzunehmen und Berechnungen durchzuführen, und NVIDIA legt den Preis entsprechend fest. Die RTX PRO 6000 ist eine Workstation-Grafikkarte, die zufällig über mehr Speicher als der Beschleuniger verfügt. Falls Ihre Frage lediglich lautet, ob die Karte passt , vergleichen Sie die Spalte „Speicher“ und die Spalte „Preis“ in der untenstehenden Tabelle – in diesem Fall sind sie nicht miteinander verwandt, und genau deshalb gibt es diese Seite.

Wo sie im Vergleich zu den anderen Speicherkarten mit großem Speicherplatz Platz findet

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 80GB	80 GB HBM2e	$899	$972.47
RTX PRO 6000 Blackwell 96GB	96 GB GDDR7 ECC	$1,299	$1,382.67
H100 80GB	80 GB HBM2e	$1,599	$1,682.67

Alle oben stehenden Zahlen stammen aus dem Bestellkatalog und den Kassenbons, die zum Zeitpunkt der Seitenaufrufe angezeigt wurden. Nichts auf dieser Seite wurde manuell eingegeben.

Die Spezifikation, wie sie von NVIDIA veröffentlicht wird

Blackwell-Prozessoren, Tensor-Kerne der fünften Generation, RT-Kerne der vierten Generation. Die Angaben stammen von der Produktseite von NVIDIA für die Workstation Edition und sind in der Quelle dieser Seite angegeben.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

Was es gut kann und was es nicht kann.

Die ehrliche Version. Eine so teure Karte ist öfter die falsche als die richtige, und die vier folgenden Absätze entscheiden darüber.

Gut darin: etwas Großes, Ganzes halten

96 Gigabyte reichen für ein Modell mit 70 Milliarden Parametern bei 8-Bit-Genauigkeit und ausreichend Spielraum für das Kontextfenster sowie für ein Modell mit 30 Milliarden Parametern bei voller 16-Bit-Genauigkeit. Eine Karte, ein Adressraum, kein Sharding und keine zweite Maschine, die synchron laufen muss.

Gut in: Arbeiten, die Grafik UND Arithmetik umfassen

Vier Hardware-Encoder und vier Decoder mit AV1 sowie Raytracing-Kerne der vierten Generation. Rendern, Transkodieren und Inferieren erfolgen auf derselben Platine. Die Beschleuniger in diesem Regal beherrschen die ersten beiden Funktionen nicht – sie verfügen über keinen Video-Encoder.

Ungeeignet für: speicherintensive Aufgaben in großem Umfang

GDDR7 ist zwar schnell, aber kein gestapelter Speicher. Die A100 und die H100 lesen ihre Gewichte schneller pro Sekunde als diese Karte, und bei der Generierung großer Token-Batches ist diese Lesegeschwindigkeit der limitierende Faktor, nicht die Rechenleistung. Wenn die Bandbreite und nicht die Speicherkapazität der Flaschenhals ist, ist der kleinere Beschleuniger im Vorteil.

Schlecht in: Pooling mit einer zweiten Karte

Dieses Bauteil verfügt über kein NVLink. Zwei dieser Karten in einem Gerät bilden zwei separate 96-GB-Speicherpools, die über den Steckplatz kommunizieren, nicht einen einzigen 192-GB-Pool. Wenn Sie tatsächlich mehr als 96 GB in einem Adressraum benötigen, ist diese Karte nicht die richtige Wahl.

In welche Maschine es eingeht und welche Verbindung es dorthin herstellt.

Diese Karte ist eine PCIe-Gen-5-Karte, während alle von uns verwendeten Plattformen Gen 3 oder Gen 4 unterstützen. Daher steht ihr nie die volle Bandbreite des vorgesehenen Busses zur Verfügung. Für manche Anwendungen spielt das eine Rolle, für andere überhaupt nicht, und der Unterschied wiegt schwerer als die dadurch entstehende Geräuschlosigkeit.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Sobald die Gewichte auf der Karte gespeichert sind, ist der Speicherslot ungenutzt und die Datengenerierung spielt keine Rolle mehr – was für den Großteil der Inferenz, des Renderings und der Transkodierung relevant ist. Sie ist jedoch für eine Trainingsschleife wichtig, die in jedem Schritt einen neuen Batch über den Speicherslot streamt. Wenn Sie sich nicht sicher sind, zu welcher der beiden Gruppen Sie gehören, fragen Sie sich, welche der beiden Gruppen Sie verwenden; die Antwort entscheidet über die Maschine, nicht über die Karte.

Was passt tatsächlich in 96 GB?

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 96 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — fits	34 GB — fits	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — fits	38 GB — fits

Die Leistungsaufnahme der Grafikkarte ist ein weiterer limitierender Faktor: Die Workstation Edition verbraucht bis zu 600 W, während die Max-Q Edition mit demselben Chip und denselben 96 GB Speicher 300 W benötigt. Welche der beiden Versionen in ein bestimmtes Gehäuse passt, hängt vom Gehäuse ab. Fragen Sie daher vor der Bestellung nach.

Was es kostet, inklusive der Maschine, in die es hineinpasst

Die Karte wird auf der Rechnung separat aufgeführt, die Maschine auf einer weiteren Zeile. Beide Hälften stammen aus demselben Bestellkatalog, daher gehören Preis und zugehörige Spezifikation immer zusammen.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
RTX PRO 6000 Blackwell 96GB	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$1,299	$1,382.67 Configure this build →
RTX PRO 6000 Blackwell 96GB	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$1,299	$1,516.59 Configure this build →

Die Bandbreite ist in beide Richtungen unbegrenzt, es fallen keine Gebühren für ausgehende Verbindungen an, eine IPv4-Adresse ist inklusive, es gibt keine Vertragsbindung und die Standardlaufzeit beträgt einen Monat. Informationen zu allen anderen von uns verbauten Karten sowie zu den gleichen Konditionen finden Sie im vollständigen Katalog . Für sofort einsatzbereite, im Rack montierte Geräte (statt auf Bestellung gefertigte) kontaktieren Sie uns bitte.

Fragen, die Leute tatsächlich zu dieser Karte stellen

Ist das die gleiche Karte wie die RTX 6000 Ada?

Nein, und die Bezeichnungen laden geradezu zu Verwechslungen ein. Die RTX 6000 Ada Generation ist das vorherige professionelle Flaggschiff: 48 GB GDDR6 mit ECC auf der Ada-Lovelace-Architektur. Die RTX PRO 6000 Blackwell verfügt über 96 GB GDDR7 mit ECC, also doppelt so viel Speicher, auf einem neueren Chip. Wir haben beide getestet, und sie erscheinen in der obigen Rangliste nebeneinander. Der Unterschied ist also eine tatsächliche Zahl und keine Behauptung.

96 GB gegenüber den 80 GB des H100 – wozu dient also der H100?

Sie bezahlen für unterschiedliche Dinge. Die H100 punktet mit gestapeltem Speicher und der damit verbundenen Lesegeschwindigkeit sowie NVLink, um mehrere Karten in einem gemeinsamen Adressraum zu bündeln. Die RTX PRO 6000 hingegen bietet mehr Speicherkapazität, Raytracing und vier Video-Encoder. Wenn es um die Frage geht, ob das Modell passt , bietet diese Karte deutlich mehr Spielraum. Geht es hingegen um die Anzahl der Token pro Sekunde bei großen Batchgrößen , ist der Beschleuniger die bessere Wahl; die obige Tabelle zeigt die damit verbundenen Kosten.

Wird die Karte mit anderen Personen geteilt?

Nein. Ein Mandant pro physischer Maschine, und die Grafikkarte wird direkt an Ihr Betriebssystem durchgereicht – kein Hypervisor, keine MIG-Partition, kein vGPU-Profil, kein Time-Slicing. Sie installieren und fixieren Ihren eigenen Treiber und Ihre eigene CUDA-Version, und es werden keine Systemaktualisierungen durchgeführt. Die am ersten Nachmittag gemessenen Werte bleiben erhalten.

Kann ich zwei davon in einem Gerät haben?

Es handelt sich um eine individuelle Konfiguration, die wir Ihnen anbieten, nicht um eine Standardkonfiguration, da die genaue Anzahl vom Gehäuse, der physischen Breite der Karte und dem Leistungsbedarf abhängt – und bei bis zu 600 W pro Karte ist der Leistungsbedarf meist ausschlaggebend. Fragen Sie einfach an, und wir nennen Ihnen das Gehäuse, die Anzahl der Karten und die Lieferzeit. Beachten Sie, dass zwei Karten hier zwei separate Speicherpools bilden: Diese Komponente verfügt über kein NVLink.

Wie schnell kann ich eins bekommen?

Es hängt davon ab, ob die Karte bereits eingebaut, auf Lager oder erst bestellt werden muss – dies wird Ihnen vor der Bezahlung mitgeteilt, nicht erst danach. /instant listet sofort verfügbare Geräte auf. Alle anderen Angebote enthalten die tatsächliche Lieferzeit.