RTX PRO 6000 Blackwell · 96 GB GDDR7 mit ECC

RTX PRO 6000 in einem Server, den Sie monatlich mieten

Sechsundneunzig Gigabyte fehlerkorrigierter GDDR7 auf einer einzigen Add-in-Karte, in einer kompletten physischen Maschine, auf der niemand sonst läuft. Keine Karte, die wir einbauen, fasst mehr — nicht einmal die Beschleuniger. Was Sie für diese Kapazität aufgeben, ist die Speicherleserate und NVLink, und diese Seite sagt das, bevor sie irgendetwas anderes sagt.

96 GB, ECC Vier Encoder, AV1 Durchgereicht, nicht zerteilt

Verwandeln Sie Ihre GPUs in passives monatliches Einkommen

Haben Sie ungenutzte Server- oder Desktop-GPU-Setups? Listen Sie sie noch heute auf dem Primcast-Marktplatz und erzielen Sie stetige monatliche Mieteinnahmen von KI-Teams, Entwicklern und Unternehmen, die produktionsreife Rechenleistung benötigen.

Zum Marktplatz

Die größte Karte hier und wo sie auf der Rechnung steht

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Eine H100 ist ein Beschleuniger: Sie existiert, um ein Modell zu halten und darauf zu rechnen, und NVIDIA bepreist sie entsprechend. Die RTX PRO 6000 ist eine Workstation-Karte, der zufällig mehr Speicher gegeben wurde als dem Beschleuniger. Wenn Ihre ganze Frage passt es hinein lautet, lesen Sie die Speicherspalte und die Geldspalte in der Tabelle unten gegeneinander — in diesem Regal laufen sie nicht in dieselbe Richtung, und das ist der Grund, warum diese Seite existiert.

Wo sie im Vergleich zu den anderen Karten mit großem Speicher steht, die wir einbauen

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Jede Zahl oben wird aus dem Bestellkatalog gelesen, aus dem die Kasse abrechnet, in dem Moment, in dem diese Seite ausgeliefert wurde. Nichts auf dieser Seite ist von Hand getippt.

Die Spezifikation, wie NVIDIA sie veröffentlicht

Blackwell, Tensor-Kerne der fünften Generation, RT-Kerne der vierten Generation. Zahlen von NVIDIAs eigener Produktseite für die Workstation Edition, zitiert im Quelltext dieser Seite.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

Worin sie gut ist und worin nicht

Die ehrliche Version. Eine so teure Karte ist öfter die falsche Karte als die richtige, und die vier Absätze unten sind die, die darüber entscheiden.

Gut darin: etwas Großes als Ganzes zu halten

Sechsundneunzig Gigabyte reichen für ein Modell mit siebzig Milliarden Parametern bei Acht-Bit-Präzision, mit Spielraum für das Kontextfenster, und für ein Modell mit dreißig Milliarden bei voller Sechzehn-Bit-Präzision. Eine Karte, ein Adressraum, kein Sharding und keine zweite Maschine, die im Gleichschritt gehalten werden muss.

Gut darin: Arbeit, die Grafik UND Rechnen ist

Vier Hardware-Encoder und vier Decoder mit AV1, dazu Raytracing-Kerne der vierten Generation. Sie rendert, transkodiert und inferiert auf derselben Platine. Die Beschleuniger in diesem Regal können von den ersten beiden nichts — sie haben überhaupt keinen Video-Encoder.

Schlecht darin: speichergebundene Arbeit im großen Maßstab

GDDR7 ist schnell, aber es ist kein gestapelter Speicher. Die A100 und die H100 lesen ihre Gewichte pro Sekunde schneller als diese Karte, und bei der Token-Generierung mit großen Batches ist diese Leserate die Obergrenze, nicht das Rechnen. Wenn Ihr Engpass die Bandbreite ist und nicht die Kapazität, gewinnt der kleinere Beschleuniger.

Schlecht darin: sich mit einer zweiten Karte zusammenzuschließen

Bei diesem Teil gibt es kein NVLink. Zwei davon in einer Maschine sind zwei getrennte 96-GB-Pools, die über den Steckplatz kommunizieren, nicht ein 192-GB-Pool. Wenn Sie wirklich mehr als 96 GB in einem Adressraum brauchen, ist dies nicht die Karte, die Sie dorthin bringt.

In welche Maschine sie kommt und welche Anbindung sie dort bekommt

Diese Karte ist ein PCIe-Gen-5-Teil, und jede Plattform, die wir betreiben, ist Gen 3 oder Gen 4, sodass sie nie den vollen Bus bekommt, für den sie entworfen wurde. Das ist für manche Arbeit von Bedeutung und für andere überhaupt nicht, und der Unterschied ist mehr wert als das Schweigen.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Sobald die Gewichte auf der Karte resident sind, ist der Steckplatz im Leerlauf und die Generation spielt keine Rolle mehr — das gilt für die meisten Inferenzen, das meiste Rendering und alles Transkodieren. Es spielt eine Rolle für eine Trainingsschleife, die bei jedem Schritt einen frischen Batch über den Steckplatz streamt. Fragen Sie, wenn Sie unsicher sind, welcher der beiden Fälle auf Sie zutrifft; die Antwort entscheidet über die Maschine, nicht über die Karte.

Was tatsächlich in 96 GB passt

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

Die Leistungsaufnahme der Platine ist die andere Obergrenze, und sie ist real: Die Workstation Edition dieser Karte zieht allein bis zu 600 W, und die Max-Q-Edition ist dasselbe Silizium und dieselben 96 GB bei 300 W. Welche der beiden in ein bestimmtes Gehäuse passt, hängt vom Gehäuse ab, also fragen Sie vor der Bestellung und nicht danach.

Diese Tabelle beantwortet „was passt in diese Karte“. Die Frage in die andere Richtung — wie viel Speicher ein Modell braucht und welche Karte das schafft — ist eine eigene Seite.

Was es kostet, mit der Maschine, in die es kommt

Die Karte ist eine separate Position auf der Rechnung und die Maschine eine weitere. Beide Hälften unten stammen aus einer einzigen Ablesung des Bestellkatalogs, sodass der Preis und die Spezifikation daneben immer zueinander gehören.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Die Bandbreite ist in beide Richtungen ungedrosselt und ohne Egress-Gebühr, eine IPv4-Adresse ist enthalten, es gibt keinen Vertrag und ein Monat ist die Standardlaufzeit. Für jede andere Karte, die wir einbauen, und dieselben Zahlen für alle, lesen Sie den gesamten Katalog mit Preisen. Für Maschinen, die heute bereits gerackt und bereit sind statt auf Bestellung gebaut zu werden, /instant.

Fragen, die Leute zu dieser Karte tatsächlich stellen

Ist das dieselbe Karte wie die RTX 6000 Ada?

Nein, und die Namen laden zu dem Fehler ein. Die RTX 6000 Ada Generation ist das vorherige professionelle Flaggschiff: 48 GB GDDR6 mit ECC auf der Ada-Lovelace-Architektur. Die RTX PRO 6000 Blackwell hat 96 GB GDDR7 mit ECC, doppelt so viel Speicher, auf neuerem Silizium. Wir bauen beide ein, und sie erscheinen oben in der Rangfolge nebeneinander, sodass der Schritt zwischen ihnen eine Zahl ist und keine Behauptung.

96 GB gegen die 80 GB der H100 — wofür ist die H100 dann da?

Sie bezahlen für unterschiedliche Dinge. Das Geld der H100 steckt in gestapeltem Speicher und der damit verbundenen Leserate, plus NVLink, um mehrere Karten zu einem Adressraum zusammenzufassen. Das Geld der RTX PRO 6000 steckt in Kapazität, Raytracing und vier Video-Encodern. Wenn die Frage passt das Modell hinein lautet, beantwortet diese Karte sie mit mehr Spielraum. Wenn die Frage wie viele Token pro Sekunde bei großer Batch-Größe lautet, beantwortet der Beschleuniger sie besser, und die Rangfolge oben zeigt, was das kostet.

Wird die Karte mit jemand anderem geteilt?

Nein. Ein Mieter pro physischer Maschine, und die Karte wird direkt an Ihr eigenes Betriebssystem durchgereicht — kein Hypervisor, keine MIG-Partition, kein vGPU-Profil, kein Time-Slicing. Sie installieren und pinnen Ihren eigenen Treiber und Ihre eigene CUDA-Version, und nichts wird unter Ihnen aktualisiert. Was Sie am ersten Nachmittag messen, ist das, was Sie behalten.

Kann ich zwei davon in einer Maschine haben?

Es ist ein Build, den wir anbieten, und kein Kästchen, das Sie ankreuzen, denn die Antwort hängt vom Gehäuse, der physischen Breite der Karte und dem Leistungsbudget ab — und bei bis zu 600 W pro Karte ist es meist das Leistungsbudget, das entscheidet. Fragen Sie, und die Antwort nennt das Gehäuse, die Anzahl und die Lieferzeit. Beachten Sie, dass zwei Karten hier zwei getrennte Speicherpools sind: Dieses Teil hat kein NVLink.

Wie schnell kann ich eine haben?

Das hängt davon ab, ob die Karte bereits eingebaut ist, bereits in unserem Regal liegt oder erst beschafft werden muss — und das erfahren Sie, bevor Sie bezahlen, nicht danach. /instant listet Maschinen, die jetzt sofort gerackt und bereit sind. Alles andere wird mit seiner tatsächlichen Lieferzeit angeboten.