RTX PRO 6000 Blackwell · 96 GB GDDR7 cu ECC

RTX PRO 6000 într-un server pe care îl închiriezi lunar

Nouăzeci și șase de gigaocteți de memorie GDDR7 corectată cu erori pe o singură placă de extensie, într-o mașină fizică întreagă, fără nimeni altcineva pe ea. Nicio placă pe care o instalăm nu are mai multă memorie - nici măcar acceleratoarele. Ceea ce renunți pentru a obține această capacitate este rata de citire a memoriei și NVLink, iar această pagină spune asta înainte de a spune orice altceva.

96 GB, ECC Patru encodere, AV1 Trecut prin el, nu feliat

Cel mai mare card de aici și unde se află pe factură

Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Un H100 este un accelerator: există pentru a ține un model și a face calcule aritmetice pe el, iar NVIDIA îi stabilește prețul în consecință. RTX PRO 6000 este o placă de stație de lucru căreia i s-a alocat mai multă memorie decât acceleratorul. Dacă întreaga întrebare este dacă se potrivește , citește coloana memorie și coloana bani din tabelul de mai jos una față de cealaltă - pe acest raft nu merg în aceeași direcție și acesta este motivul pentru care există această pagină.

Unde se află lângă celelalte carduri de memorie mari pe care le încadrăm

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Fiecare cifră de mai sus este citită din catalogul de comenzi, facturile de la finalizarea comenzii, în momentul în care a fost livrată această pagină. Nimic de pe această pagină nu este dactilografiat manual.

Specificațiile, așa cum le publică NVIDIA

Blackwell, nuclee Tensor de a cincea generație, nuclee RT de a patra generație. Cifrele sunt extrase de pe pagina de produs proprie a NVIDIA pentru Workstation Edition, citate în sursa acestei pagini.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

La ce este bun și la ce nu este

Versiunea sinceră. O carte atât de scumpă este mai des greșită decât cea corectă, iar cele patru paragrafe de mai jos sunt cele care decid acest lucru.

Bun la: ținerea a ceva mare, întreg

Nouăzeci și șase de gigaocteți sunt suficienți pentru un model de șaptezeci de miliarde de parametri la o precizie de opt biți, cu spațiu liber pentru fereastra contextuală, și suficienți pentru un model de treizeci de miliarde la o precizie de șaisprezece biți. O placă de memorie, un spațiu de adrese, fără fragmentare și fără a doua mașină de ținut pasul.

Bun la: grafică ȘI aritmetică

Patru encodere hardware și patru decodere cu AV1, plus nuclee de ray-tracing de a patra generație. Randează, transcodează și inferează pe aceeași placă. Acceleratoarele de pe acest raft nu fac niciuna dintre primele două - nu au deloc encoder video.

Slab la: muncă la scară largă, bazată pe memorie

GDDR7 este rapid, dar nu este memorie suprapusă. A100 și H100 își citesc ponderile mai rapid pe secundă decât această placă, iar pentru generarea de token-uri în loturi mari, rata de citire este limita maximă, nu aritmetica. Dacă blocajul este lățimea de bandă și nu capacitatea, acceleratorul mai mic câștigă.

Nu e bun la: acumularea de fonduri cu o a doua carte

Nu există NVLink pe această piesă. Două dintre ele, într-o singură mașină, sunt două pool-uri separate de 96 GB care comunică prin slot, nu un pool de 192 GB. Când ai nevoie cu adevărat de mai mult de 96 GB într-un singur spațiu de adresă, aceasta nu este placa potrivită.

În ce mașină intră și ce legătură ajunge acolo

Această placă este o componentă PCIe Gen 5 și fiecare platformă pe care o rulăm este Gen 3 sau Gen 4, deci nu primește niciodată magistrala completă pentru care a fost proiectată. Acest lucru contează pentru unele lucrări, iar pentru altele deloc, iar diferența valorează mai mult decât liniștea.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Odată ce ponderile sunt rezidente pe card, slotul este inactiv și generarea nu mai contează - adică majoritatea inferențelor, majoritatea randărilor și transcodării. Contează pentru o buclă de antrenament care transmite un lot nou prin slot la fiecare pas. Întreabă dacă nu ești sigur care dintre cei doi ești; răspunsul decide mașina, nu cardul.

Ce încape de fapt în 96 GB

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 96 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — fits34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — fits38 GB — fits

Puterea plăcii de bază este celălalt plafon, și este unul real: ediția Workstation a acestei plăci consumă până la 600 W pe cont propriu, iar ediția Max-Q are același silicon și aceiași 96 GB la 300 W. Care dintre cele două suportă o anumită carcasă depinde de carcasă, așa că întrebați înainte de a comanda, nu după.

Cât costă, cu mașina în care intră

Cartela este o linie separată pe factură, iar aparatul este o alta. Ambele jumătăți de mai jos provin dintr-o singură citire a catalogului de comenzi, așadar prețul și specificațiile de lângă acesta aparțin întotdeauna unul celuilalt.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Lățimea de bandă este nelimitată în ambele direcții, fără taxă de ieșire, este inclusă o adresă IPv4, nu există contract, iar termenul implicit este o lună. Pentru fiecare altă placă pe care o instalăm și pentru aceleași cifre pentru toate, citiți întregul catalog, cu prețuri . Pentru mașinile montate în rack și gata de utilizare astăzi, mai degrabă decât cele construite la comandă, /instant .

Întrebări pe care oamenii le pun despre acest card

Este aceeași placă video ca RTX 6000 Ada?

Nu, iar numele invită la greșeală. Generația RTX 6000 Ada este precedentul flagship profesional: 48 GB de GDDR6 cu ECC pe arhitectura Ada Lovelace. RTX PRO 6000 Blackwell are 96 GB de GDDR7 cu ECC, dublul memoriei, pe un silicon mai nou. Le-am montat pe amândouă și apar una lângă alta în scara de mai sus, așa că treapta dintre ele este o cifră mai degrabă decât o afirmație.

96 GB față de 80 GB ai lui H100 — deci la ce este folosit H100?

Plătești pentru lucruri diferite. Puntea lui H100 constă în memoria suprapusă și rata de citire care vine odată cu aceasta, plus NVLink pentru gruparea mai multor plăci într-un singur spațiu de adrese. Puntea lui RTX PRO 6000 constă în capacitate, ray tracing și patru encodere video. Dacă întrebarea este dacă modelul se va potrivi , această placă răspunde cu mai mult spațiu de rezervă. Dacă întrebarea este câte jetoane pe secundă la o dimensiune mare a lotului , acceleratorul răspunde mai bine, iar scara de mai sus arată cât costă asta.

Este cardul partajat cu altcineva?

Nu. Un singur client per mașină fizică, iar cardul este transmis direct către propriul sistem de operare — fără hypervisor, fără partiție MIG, fără profil vGPU, fără time-slicing. Instalați și fixați propriul driver și versiunea CUDA, iar nimic nu se actualizează sub tine. Ceea ce măsori în prima după-amiază este ceea ce păstrezi.

Pot avea două într-o singură mașină?

Este o versiune pe care o cităm, nu o căsuță pe care o bifezi, deoarece răspunsul depinde de șasiu, lățimea fizică a plăcii și bugetul de putere - iar la până la 600 W fiecare, bugetul de putere este de obicei cel care decide. Întreabă, iar răspunsul numește șasiul, numărul și timpul de livrare. Reține că două plăci sunt două pool-uri de memorie separate aici: această parte nu are NVLink.

Cât de curând pot avea unul?

Depinde dacă cardul este deja montat, deja pe raftul nostru sau trebuie cumpărat direct — și ți se spune care dintre acestea înainte de a plăti, nu după. /instant listează mașinile instalate și gata chiar acum. Orice altceva este cotat cu timpul real de livrare.