RTX PRO 6000 Blackwell · 96 GB GDDR7 cu ECC

RTX PRO 6000 într-un server pe care îl închiriezi lunar

Nouăzeci și șase de gigaocteți de GDDR7 cu corecție de erori pe o singură placă adițională, într-o mașină fizică întreagă, fără nimeni altcineva pe ea. Nicio placă pe care o montăm nu oferă mai mult — nici măcar acceleratoarele. Ce sacrifici pentru această capacitate este rata de citire a memoriei și NVLink, iar această pagină spune asta înainte de orice altceva.

96 GB, ECC Patru encodere, AV1 Pasat direct, nu partiționat

Transformă-ți GPU-urile în venit lunar pasiv

Ai configurații de server sau desktop cu GPU-uri nefolosite? Listează-le astăzi pe piața Primcast și câștigă chirii lunare constante de la echipe de AI, dezvoltatori și întreprinderi care au nevoie de putere de calcul de calitate pentru producție.

Mergi la Marketplace

Cea mai mare placă de aici și unde se situează pe factură

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Un H100 este un accelerator: există pentru a ține un model și a face calcule pe el, iar NVIDIA îl tarifează în consecință. RTX PRO 6000 este o placă de stație de lucru căreia i s-a întâmplat să primească mai multă memorie decât acceleratorul. Dacă întreaga ta întrebare este încape, compară coloana de memorie cu cea de bani din tabelul de mai jos — pe acest raft ele nu merg în aceeași direcție, iar acesta este motivul pentru care există această pagină.

Unde se situează față de celelalte plăci cu memorie mare pe care le montăm

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Fiecare cifră de mai sus este citită din catalogul de comenzi pe care se bazează facturarea, în momentul în care a fost servită această pagină. Nimic de pe această pagină nu este tastat manual.

Specificația, așa cum o publică NVIDIA

Blackwell, nuclee Tensor de a cincea generație, nuclee RT de a patra generație. Cifre din pagina de produs a NVIDIA pentru Ediția Workstation, citate în sursa acestei pagini.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

La ce este bună și la ce nu este

Versiunea sinceră. O placă atât de scumpă este mai des placa greșită decât cea potrivită, iar cele patru paragrafe de mai jos sunt cele care decid.

Bună la: a ține ceva mare, întreg

Nouăzeci și șase de gigaocteți sunt suficienți pentru un model de șaptezeci de miliarde de parametri la precizie de opt biți, cu spațiu rămas pentru fereastra de context, și suficienți pentru un model de treizeci de miliarde la șaisprezece biți complet. O singură placă, un singur spațiu de adrese, fără fragmentare și fără o a doua mașină de ținut sincronizată.

Bună la: lucru care este grafică ȘI aritmetică

Patru encodere hardware și patru decodere cu AV1, plus nuclee de ray tracing de a patra generație. Randează, transcodifică și face inferență pe aceeași placă. Acceleratoarele de pe acest raft nu fac nimic din primele două — nu au deloc encoder video.

Proastă la: lucru limitat de memorie la scară

GDDR7 este rapidă, dar nu este memorie stivuită. A100 și H100 își citesc ponderile mai repede pe secundă decât această placă, iar pentru generarea de tokenuri în loturi mari acea rată de citire este plafonul, nu aritmetica. Dacă blocajul tău este lățimea de bandă, nu capacitatea, acceleratorul mai mic câștigă.

Proastă la: combinarea cu o a doua placă

Nu există NVLink pe această componentă. Două dintre ele într-o mașină sunt două grupuri separate de 96 GB care comunică prin slot, nu un singur grup de 192 GB. Când ai nevoie cu adevărat de mai mult de 96 GB într-un singur spațiu de adrese, aceasta nu este placa care te duce acolo.

În ce mașină intră și ce legătură primește acolo

Această placă este o componentă PCIe Gen 5, iar fiecare platformă pe care o rulăm este Gen 3 sau Gen 4, așa că nu primește niciodată magistrala completă pentru care a fost proiectată. Asta contează pentru unele lucrări și deloc pentru altele, iar diferența merită mai mult decât tăcerea.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Odată ce ponderile sunt rezidente pe placă, slotul este inactiv și generația nu mai contează — ceea ce înseamnă majoritatea inferenței, majoritatea randării și toată transcodificarea. Contează pentru o buclă de antrenare care transmite un lot nou prin slot la fiecare pas. Întreabă dacă nu ești sigur care dintre cele două ești; răspunsul decide mașina, nu placa.

Ce încape de fapt în 96 GB

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

Puterea plăcii este celălalt plafon și este unul real: Ediția Workstation a acestei plăci consumă până la 600 W singură, iar ediția Max-Q este același siliciu și aceiași 96 GB la 300 W. Care dintre cele două încape într-un anumit șasiu depinde de șasiu, așa că întreabă înainte de a comanda, nu după.

Acest tabel răspunde la „ce încape pe această placă”. Întrebarea pusă invers — câtă memorie are nevoie un model și ce placă o acoperă — are o pagină proprie.

Cât costă, împreună cu mașina în care intră

Placa este o linie separată pe factură, iar mașina este alta. Ambele jumătăți de mai jos provin dintr-o singură citire a catalogului de comenzi, astfel încât prețul și specificația de lângă el își aparțin întotdeauna unul altuia.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Lățimea de bandă este nemăsurată în ambele direcții, fără taxă de ieșire, este inclusă o adresă IPv4, nu există contract, iar o lună este termenul implicit. Pentru fiecare altă placă pe care o montăm și aceleași cifre pentru toate, citește întregul catalog, cu prețuri. Pentru mașini deja montate în rack și gata astăzi, nu construite la comandă, /instant.

Întrebări pe care oamenii chiar le pun despre această placă

Este aceeași placă cu RTX 6000 Ada?

Nu, iar numele invită la confuzie. RTX 6000 Ada Generation este precedentul vârf de gamă profesional: 48 GB de GDDR6 cu ECC pe arhitectura Ada Lovelace. RTX PRO 6000 Blackwell are 96 GB de GDDR7 cu ECC, dublul memoriei, pe siliciu mai nou. Montăm ambele, iar ele apar una lângă alta în ierarhia de mai sus, astfel încât pasul dintre ele este o cifră, nu o afirmație.

96 GB față de cei 80 GB ai H100 — deci pentru ce este H100?

Plătești pentru lucruri diferite. Banii pentru H100 sunt în memoria stivuită și rata de citire care vine cu ea, plus NVLink pentru a combina mai multe plăci într-un singur spațiu de adrese. Banii pentru RTX PRO 6000 sunt în capacitate, ray tracing și patru encodere video. Dacă întrebarea este încape modelul, această placă răspunde cu mai mult spațiu de rezervă. Dacă întrebarea este câte tokenuri pe secundă la un lot mare, acceleratorul răspunde mai bine, iar ierarhia de mai sus arată cât costă asta.

Este placa partajată cu altcineva?

Nu. Un singur chiriaș pe mașină fizică, iar placa este pasată direct către propriul tău sistem de operare — fără hypervisor, fără partiție MIG, fără profil vGPU, fără partajare în timp. Îți instalezi și fixezi propriul driver și versiunea CUDA, iar nimic nu se actualizează pe sub tine. Ce măsori în prima după-amiază este ce păstrezi.

Pot avea două dintre ele într-o singură mașină?

Este o configurație pe care o cotăm, nu o bifă pe care o bifezi, pentru că răspunsul depinde de șasiu, de lățimea fizică a plăcii și de bugetul de putere — iar la până la 600 W fiecare, bugetul de putere este de obicei cel care decide. Întreabă, iar răspunsul va numi șasiul, numărul și termenul de livrare. Reține că două plăci înseamnă două grupuri de memorie separate aici: această componentă nu are NVLink.

Cât de repede pot avea una?

Depinde dacă placa este deja montată, deja pe raftul nostru sau trebuie achiziționată — și ți se spune înainte să plătești, nu după. /instant listează mașinile montate în rack și gata chiar acum. Orice altceva este cotat cu termenul său real de livrare.