RTX PRO 6000 Blackwell · 96 GB GDDR7 cu ECC

RTX PRO 6000 într-un server pe care îl închiriezi lunar

Nouăzeci și șase de gigaocteți de GDDR7 cu corecție de erori pe o singură placă adițională, într-o mașină fizică întreagă, fără nimeni altcineva pe ea. Nicio placă pe care o montăm nu oferă mai mult — nici măcar acceleratoarele. Ce sacrifici pentru a obține această capacitate este rata de citire a memoriei și NVLink, iar această pagină o spune înainte de orice altceva.

96 GB, ECC Patru encodere, AV1 Pasat direct, nu partiționat

Transformă-ți GPU-urile în venit lunar pasiv

Ai configurații de server sau desktop cu GPU-uri nefolosite? Listează-le astăzi pe piața Primcast și câștigă chirii lunare constante de la echipe de AI, dezvoltatori și întreprinderi care au nevoie de putere de calcul de nivel de producție.

Mergi la Marketplace

Cea mai mare placă de aici și unde se situează pe factură

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Un H100 este un accelerator: există pentru a ține un model și a face calcule pe el, iar NVIDIA îl prețuiește în consecință. RTX PRO 6000 este o placă de stație de lucru căreia i s-a întâmplat să i se ofere mai multă memorie decât acceleratorului. Dacă întreaga ta întrebare este va încăpea, citește coloana de memorie și coloana de bani din tabelul de mai jos una față de cealaltă — pe acest raft ele nu merg în aceeași direcție, iar acesta este motivul pentru care există această pagină.

Unde se situează față de celelalte plăci cu memorie mare pe care le montăm

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Fiecare cifră de mai sus este citită din catalogul de comenzi din care facturează checkout-ul, în momentul în care a fost servită această pagină. Nimic de pe această pagină nu este tastat manual.

Specificația, așa cum o publică NVIDIA

Blackwell, nuclee Tensor de a cincea generație, nuclee RT de a patra generație. Cifre din pagina de produs a NVIDIA pentru Ediția Workstation, citate în sursa acestei pagini.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

La ce este bună și la ce nu este

Versiunea sinceră. O placă atât de scumpă este mai des placa greșită decât cea potrivită, iar cele patru paragrafe de mai jos sunt cele care decid.

Bună la: a ține ceva mare, întreg

Nouăzeci și șase de gigaocteți sunt suficienți pentru un model de șaptezeci de miliarde de parametri la precizie de opt biți, cu spațiu rămas pentru fereastra de context, și suficienți pentru un model de treizeci de miliarde la șaisprezece biți complet. O singură placă, un singur spațiu de adrese, fără fragmentare și fără o a doua mașină de ținut în sincron.

Bună la: lucru care este grafică ȘI aritmetică

Patru encodere hardware și patru decodere cu AV1, plus nuclee de ray tracing de a patra generație. Randări, transcodări și inferențe pe aceeași placă. Acceleratoarele de pe acest raft nu fac nimic din primele două — nu au deloc encoder video.

Proastă la: lucru limitat de memorie la scară

GDDR7 este rapid, dar nu este memorie stivuită. A100 și H100 își citesc ponderile mai repede pe secundă decât această placă, iar pentru generarea de tokenuri în loturi mari, acea rată de citire este plafonul, nu aritmetica. Dacă blocajul tău este lățimea de bandă, nu capacitatea, acceleratorul mai mic câștigă.

Proastă la: combinarea cu o a doua placă

Nu există NVLink pe această componentă. Două dintre ele într-o singură mașină sunt două pool-uri separate de 96 GB care comunică prin slot, nu un singur pool de 192 GB. Când ai nevoie cu adevărat de mai mult de 96 GB într-un singur spațiu de adrese, aceasta nu este placa care te duce acolo.

În ce mașină intră și ce legătură primește acolo

Această placă este o componentă PCIe Gen 5, iar fiecare platformă pe care o rulăm este Gen 3 sau Gen 4, așa că nu primește niciodată magistrala completă pentru care a fost proiectată. Asta contează pentru unele lucrări și deloc pentru altele, iar diferența merită mai mult decât tăcerea.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Odată ce ponderile sunt rezidente pe placă, slotul este inactiv și generația nu mai contează — ceea ce înseamnă majoritatea inferențelor, majoritatea randărilor și toate transcodările. Contează pentru o buclă de antrenament care transmite un lot nou prin slot la fiecare pas. Întreabă dacă nu ești sigur care dintre cele două ești; răspunsul decide mașina, nu placa.

Ce încape de fapt în 96 GB

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

Puterea plăcii este celălalt plafon și este unul real: Ediția Workstation a acestei plăci consumă până la 600 W de una singură, iar ediția Max-Q este același siliciu și aceiași 96 GB la 300 W. Care dintre cele două o acceptă un anumit șasiu depinde de șasiu, așa că întreabă înainte de a comanda, nu după.

Acest tabel răspunde la „ce încape în această placă”. Întrebarea inversă — de câtă memorie are nevoie un model și care placă o acoperă — este o pagină separată.

Cât costă, împreună cu mașina în care intră

Placa este o linie separată pe factură, iar mașina este alta. Ambele jumătăți de mai jos provin dintr-o singură citire a catalogului de comenzi, astfel încât prețul și specificația de lângă el își aparțin întotdeauna.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Lățimea de bandă este nemăsurată în ambele direcții, fără taxă de ieșire, este inclusă o adresă IPv4, nu există contract, iar o lună este termenul implicit. Pentru fiecare altă placă pe care o montăm și aceleași cifre pentru toate, citește întregul catalog, cu prețuri. Pentru mașini deja montate în rack și gata astăzi, nu construite la comandă, /instant.

Întrebări pe care oamenii le pun de fapt despre această placă

Este aceeași placă cu RTX 6000 Ada?

Nu, iar numele invită la greșeală. RTX 6000 Ada Generation este precedentul flagship profesional: 48 GB de GDDR6 cu ECC pe arhitectura Ada Lovelace. RTX PRO 6000 Blackwell are 96 GB de GDDR7 cu ECC, de două ori mai multă memorie, pe siliciu mai nou. Le montăm pe ambele și apar una lângă alta în ierarhia de mai sus, astfel încât pasul dintre ele este o cifră, nu o afirmație.

96 GB față de cei 80 GB ai H100 — deci pentru ce este H100?

Plătești pentru lucruri diferite. Banii pentru H100 sunt în memoria stivuită și rata de citire care vine cu ea, plus NVLink pentru a combina mai multe plăci într-un singur spațiu de adrese. Banii pentru RTX PRO 6000 sunt în capacitate, ray tracing și patru encodere video. Dacă întrebarea este va încăpea modelul, această placă răspunde cu mai mult spațiu de rezervă. Dacă întrebarea este câte tokenuri pe secundă la o dimensiune mare a lotului, acceleratorul răspunde mai bine, iar ierarhia de mai sus arată cât costă asta.

Este placa partajată cu altcineva?

Nu. Un singur chiriaș pe mașină fizică, iar placa este pasată direct către propriul tău sistem de operare — fără hypervisor, fără partiție MIG, fără profil vGPU, fără time-slicing. Îți instalezi și fixezi propriul driver și versiunea CUDA, iar nimic nu se actualizează sub tine. Ce măsori în prima după-amiază este ceea ce păstrezi.

Pot avea două dintre ele într-o singură mașină?

Este o configurație pe care o cotăm, nu o bifă pe care o bifezi, pentru că răspunsul depinde de șasiu, de lățimea fizică a plăcii și de bugetul de putere — iar la până la 600 W fiecare, bugetul de putere este de obicei cel care decide. Întreabă, iar răspunsul numește șasiul, numărul și timpul de livrare. Reține că două plăci sunt două pool-uri de memorie separate aici: această componentă nu are NVLink.

Cât de repede pot avea una?

Depinde dacă placa este deja montată, deja pe raftul nostru sau trebuie achiziționată — și ți se spune care înainte de a plăti, nu după. /instant listează mașini montate în rack și gata chiar acum. Orice altceva este cotat cu timpul său real de livrare.