GPU-Server · NVIDIA Blackwell
RTX PRO 6000 Dedicated Server mit den vollen 96 GB GPU-Speicher
Ein RTX PRO 6000 Dedicated Server von uns ist eine komplette Maschine mit einer NVIDIA RTX PRO 6000 Blackwell, die direkt an Ihr eigenes Betriebssystem durchgereicht wird: 96 GB GDDR7 mit ECC, mehr als die 80 GB einer A100 oder H100. Sie mieten sie monatlich, niemand sonst nutzt sie, und der Port ist unlimitiert, sodass große Modelle und Videos ohne Zusatzkosten ein- und ausgehen.
- CUDA-Kerne
- 24.064
- Speichergeschwindigkeit
- 1.792 GB/s
- Video-Encoder
- 4 × AV1
- Leistungsaufnahme
- 600 W
Tensor-Kerne der fünften Generation. RT-Kerne der vierten Generation.
Haben Sie eine RTX PRO 6000, die gerade nicht ausgelastet ist?
Stellen Sie die Maschine auf den Primcast-Marktplatz und verdienen Sie eine monatliche Miete von Leuten, die die Rechenleistung brauchen.
00Marktplatz
Oder mieten Sie eine RTX PRO 6000 von ihrem Besitzer
Besitzer listen ihre Maschinen auf unserem Marktplatz und legen den monatlichen Preis selbst fest. Ein Angebot unserer Schwesterfirma Server Room wird auf serverroom.net vermietet, nicht hier.
01Wofür er gedacht ist
Ein 96-GB-GPU-Server für Modelle, Rendering und Video
Sie mieten die RTX PRO 6000, wenn die Aufgabe viel Speicher auf einer GPU braucht und außerdem zeichnen oder encodieren muss. So sieht das in der Praxis aus.
01Kapazität
Ein großes Modell auf einer GPU
Ein Modell mit 70 Milliarden Parametern passt mit 4-Bit-Quantisierung und Platz für seinen Kontext, und ein Modell mit 30 Milliarden Parametern passt mit 8-Bit. Alles liegt in einem Adressraum, Sie sparen sich also das Sharding und die zweite Maschine.
02Video
Vier AV1-Encoder an Bord
Vier NVENC- und vier NVDEC-Engines, alle mit AV1. Sie können viele Live-Kanäle in Hardware transcodieren und den Prozessor frei halten. Die A100 und die H100 haben überhaupt keinen Video-Encoder.
03Rendering
Raytracing mit Platz für große Szenen
RT-Kerne der vierten Generation rendern, und 96 GB fassen Szenen und Texturen, die eine 48 GB-GPU sprengen würden. Sie können auf derselben Karte rendern, encodieren und ein Modell ausführen.
04Ein Mieter
Die volle GPU, auf Ihrem eigenen System
Kein vGPU-Profil, kein Time-Sharing, kein anderer Kunde auf der Maschine. Manche Cloud-Angebote für diese GPU sind eine virtuelle Maschine auf einem geteilten Host – vergleichen Sie also Gleiches mit Gleichem, bevor Sie Preise vergleichen.
02Bevor Sie bestellen
Mehr Speicher als eine H100. Hier ist, worauf Sie verzichten
Die RTX PRO 6000 hat mehr Speicher als die Data-Center-Beschleuniger, die wir einbauen. Zwei Dinge unterscheiden sie von ihnen, und eines davon könnte für Sie entscheidend sein.
Kein NVLink
Diese GPU hat keine NVLink-Brücke. Zwei davon in einer Maschine sind zwei getrennte 96 GB-Pools, die über den PCIe-Slot kommunizieren, nicht ein 192 GB-Pool. Wenn Ihr Modell mehr als 96 GB in einem Adressraum braucht, sehen Sie sich die A100 und H100 an, die über NVLink zusammengefasst werden.
GDDR7, kein gestapeltes HBM
GDDR7 ist schnell, 1.792 GB/s, das ist mehr als die A100 40 GB und doppelt so viel wie die L40S. Die A100 80 GB liest mit 1.935 GB/s immer noch etwas schneller. Wenn Sie viele Nutzer mit großer Batch-Größe bedienen, gibt die Lesegeschwindigkeit das Tempo vor – prüfen Sie also diese Spalte, wenn Durchsatz Ihr Ziel ist.
Wenn Ihre Frage lautet: „Passt das Modell auf eine GPU?“, antwortet die RTX PRO 6000 mit dem meisten Platz. Wenn sie lautet: „Wie viele Tokens pro Sekunde für Hunderte Nutzer?“, könnte ein Beschleuniger einen Blick wert sein. Die Vergleichstabelle stellt Speicher und monatliche Kosten nebeneinander.
03Technische Daten
RTX PRO 6000 Blackwell – Daten: GDDR7, Tensor- und RT-Kerne
Zahlen von NVIDIAs Produktseite für die Workstation Edition. Die Max-Q Edition ist derselbe Chip mit denselben 96 GB bei 300 W.
RTX PRO 6000 Blackwell 96GB
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
- 125 TFLOPS FP32
- 380 TFLOPS RT
- Tensor-Kerne mit FP4
- MIG, bis zu 4 Instanzen
04Auswahl
RTX PRO 6000 vs. H100, A100 und RTX 6000 Ada
Die GPUs mit großem Speicher, die wir einbauen, mit Speicher und monatlichen Kosten nebeneinander. Speicher und Preis steigen in diesem Regal nicht gemeinsam – genau deshalb lohnt sich der Blick.
57 GPU models in the catalogue today · none holds more than 96 GB
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
Die RTX 6000 Ada ist die vorherige Profi-GPU mit 48 GB GDDR6. Die RTX PRO 6000 verdoppelt das auf neuerem Silizium. Wenn 48 GB für Ihre Arbeit reichen, ist die Ada der günstigere Einstieg. Alle GPUs, die wir einbauen, zum gleichen Preisverfahren finden Sie unter alle GPU-Server mit Preisen.
05Die Maschine
In welchen Server sie kommt und welche PCIe-Anbindung sie bekommt
Die RTX PRO 6000 ist eine PCIe-Gen-5-GPU. Jede Maschine unten zeigt die Anbindung, die ihr Slot ihr gibt, damit Sie vor der Auswahl sehen, was Sie bekommen.
Intel Xeon Silver / Gold
AMD EPYC
Sobald die Gewichte auf der GPU geladen sind, bleibt der Slot meist weitgehend untätig – das gilt für die meisten Inferenz-Workloads, die meisten Renderings und sämtliches Transcoding. Eine Trainingsschleife, die bei jedem Schritt einen neuen Batch über den Slot schickt, ist die Aufgabe, die das merkt. Sagen Sie uns, was Sie ausführen möchten, und wir zeigen Ihnen die richtige Maschine.
06Dimensionierung
Was in 96 GB GPU-Speicher passt
Nur Gewichte. Lassen Sie Platz für das Kontextfenster und die Laufzeitumgebung obendrauf.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — tight | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — tight | 38 GB — fits |
Ein Modell mit 70 Milliarden Parametern lädt mit 8-Bit, lässt aber wenig Raum für einen langen Kontext oder einen zweiten Nutzer. Mit 4-Bit passt es bequem. Um es von Ihrem Modell auf die GPU zu übertragen, nutzen Sie die LLM-Speicher-Dimensionierungsseite.
07Preise
Eine RTX PRO 6000 mieten: Preise mit der Maschine
Die GPU ist eine Position auf Ihrer Rechnung, der Server eine andere. Beide stammen aus dem Bestellkatalog, den der Checkout verwendet, daher gehört jeder Preis unten zu der Maschine daneben.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |
Der Port ist in beide Richtungen unlimitiert, ohne Egress-Gebühr. Eine IPv4- und eine IPv6-Adresse gehören zum Server, Sie zahlen jeweils einen Monat, und es gibt keinen Vertrag. Für eine Konfiguration fällt eine einmalige Einrichtungsgebühr an, die vor der Zahlung auf der Bestellung ausgewiesen wird.
08Lieferung und Hilfe
Wie schnell Sie sie bekommen und wer antwortet
Das hängt davon ab, wo die GPU gerade ist. Sie erfahren vor der Zahlung, welche der folgenden Optionen zutrifft.
- Etwa 30 Minuten
Bereits im Rack
Eine Maschine mit eingebauter GPU steht im Rack und gehört Ihnen etwa 30 Minuten nach Bestellfreigabe.
- 4 bis 24 Stunden
Auf unserem Regal
Wir bauen eine GPU, die wir bereits vorrätig haben, in den von Ihnen gewählten Server ein.
- 5 bis 10 Werktage
Zugekauft
Wir bestellen die GPU bei einem Distributor und bauen sie dann in Ihren Server ein.
- 10 bis 15 Werktage
Auf Zuteilung
Wenn Distributoren eine GPU rationieren, nennen wir Ihnen das Datum, bevor Sie sich festlegen.
Fragen richten Sie an unseren Chat. Ein KI-Assistent antwortet in Sekunden und kann Ihr Konto und Ihren Server prüfen, und eine Person aus unserem Team kommt jederzeit dazu, wenn Sie es wünschen. Maschinen, die jetzt gerackt und bereit sind, finden Sie unter Sofort-Server.
09Fragen
Fragen zum Mieten einer RTX PRO 6000
01Ist die RTX PRO 6000 Blackwell dasselbe wie die RTX 6000 Ada?
Nein, auch wenn die Namen ähnlich sind. Die RTX 6000 Ada Generation ist die frühere professionelle GPU mit 48 GB GDDR6 und ECC. Die RTX PRO 6000 Blackwell, manchmal auch als RTX 6000 Pro gesucht, hat 96 GB GDDR7 mit ECC auf dem neueren Blackwell-Chip. Wir verbauen beide, und die Vergleichstabelle zeigt jede mit ihrer Maschine und dem jeweiligen Preis.
02Unterstützt die RTX PRO 6000 NVLink?
Nein. Diese GPU hat keinen NVLink-Anschluss, daher arbeiten zwei davon in einem Server als zwei getrennte 96 GB-Pools, die über PCIe verbunden sind. Wenn Sie mehr als 96 GB zusammengefasst benötigen, unterstützen die A100 und H100 NVLink.
03Wie viel kostet es, eine RTX PRO 6000 zu mieten?
Der günstigste Komplettaufbau, GPU und Server zusammen, kostet heute $1,382.67 pro Monat. Die Preistabelle auf dieser Seite listet jede Maschine, in die die GPU passt, live aus dem Bestellkatalog, mit einem Link zur Konfiguration. Es gibt keinen Vertrag und der Port ist ungedrosselt.
04Sollte ich eine RTX PRO 6000 oder eine H100 mieten?
Mieten Sie die RTX PRO 6000, wenn das Modell auf eine einzelne GPU passen muss oder wenn die Arbeit auch rendert oder Videos kodiert. Mieten Sie eine H100, wenn Sie NVLink brauchen, um mehrere GPUs zu bündeln, oder HBM-Speicher für das Serving mit großen Batch-Größen. Die Vergleichstabelle zeigt den Speicher und die monatlichen Kosten beider Optionen.
05Wird die GPU geteilt oder in virtuelle GPUs aufgeteilt?
Nein. Sie erhalten die vollständige GPU, durchgereicht an Ihr eigenes Betriebssystem, auf einer Maschine, die niemand sonst nutzt: kein Hypervisor, kein vGPU-Profil, kein Time-Sharing. Die GPU unterstützt MIG mit bis zu vier Instanzen, sodass Sie sie selbst aufteilen können, wenn Ihre Arbeit das erfordert.
06Welche NVIDIA-Treiber- und CUDA-Version erhalte ich?
Die, die Sie wählen. Der Server kommt mit einem sauberen Betriebssystem und Root-Zugriff, und Sie installieren und fixieren die Treiber-, CUDA- und Framework-Versionen, die Ihr Code benötigt. Es wird nichts ohne Ihr Zutun aktualisiert.
07Kann ich zwei RTX PRO 6000 GPUs in einem Server haben?
Ja, als individuell kalkuliertes Angebot statt als Checkout-Option. Bei bis zu 600 W pro GPU entscheiden Gehäuse und Leistungsbudget, wie viele hineinpassen und welche Edition verbaut wird. Sagen Sie uns, was Sie betreiben möchten, und wir antworten mit Gehäuse, Anzahl und Lieferzeit. Für größere Setups siehe Multi-GPU- und Multi-Node-Server.
08Wie schnell kann ich einen Server mit RTX PRO 6000 haben?
Etwa 30 Minuten nach Freigabe, wenn eine gerackte Maschine die GPU bereits trägt, 4 bis 24 Stunden, wenn wir eine vorrätig haben, 5 bis 10 Werktage, wenn wir sie beschaffen, und 10 bis 15 Werktage bei Zuteilung. Sie erfahren vor der Zahlung, welcher Fall zutrifft. Gerackte Maschinen finden Sie unter Sofort-Server.
Wählen Sie Ihre Maschine und fügen Sie dann die GPU hinzu
Jeder RTX PRO 6000 Aufbau ist oben mit seinem Server bepreist. Wählen Sie einen aus, konfigurieren Sie ihn, und die Bestellung zeigt die vollständige monatliche Summe, bevor Sie zahlen.