Servere GPU · NVIDIA Blackwell
Server dedicat RTX PRO 6000 cu cei 96 GB GPU completi
Un server dedicat RTX PRO 6000 de la noi este o mașină întreagă cu un NVIDIA RTX PRO 6000 Blackwell trecut direct către propriul tău sistem de operare: 96 GB de GDDR7 cu ECC, mai mult decât cei 80 GB de pe un A100 sau un H100. Îl închiriezi lunar, nu îl folosește nimeni altcineva, iar portul este nemăsurat, astfel încât modelele mari și materialele video intră și ies fără costuri suplimentare.
- Nuclee CUDA
- 24.064
- Viteză memorie
- 1.792 GB/s
- Encodere video
- 4 × AV1
- Putere placă
- 600 W
Nuclee Tensor de generația a cincea. Nuclee RT de generația a patra.
Ai un RTX PRO 6000 care nu este ocupat?
Pune mașina pe piața Primcast și câștigă o chirie lunară de la oamenii care au nevoie de putere de calcul.
00Piață
Sau închiriază un RTX PRO 6000 de la proprietarul lui
Proprietarii își listează mașinile pe piața noastră și stabilesc singuri prețul lunar. O listare deținută de compania noastră soră, Server Room, se închiriază pe serverroom.net, nu aici.
01Pentru ce este
Un server GPU de 96 GB pentru modele, randare și video
Închiriezi RTX PRO 6000 atunci când lucrarea are nevoie de multă memorie pe un singur GPU și, de asemenea, trebuie să deseneze sau să encodeze. Iată cum arată acest lucru în practică.
01Capacitate
Un model mare pe un singur GPU
Un model de 70 de miliarde de parametri încape la 4 biți cu loc pentru contextul său, iar un model de 30 de miliarde încape la 8 biți. Totul stă într-un singur spațiu de adrese, așa că sari peste fragmentare și peste a doua mașină.
02Video
Patru encodere AV1 la bord
Patru motoare NVENC și patru NVDEC, toate cu AV1. Poți transcoda multe canale live în hardware și să lași procesorul liber. A100 și H100 nu au deloc encoder video.
03Randare
Ray tracing cu loc pentru scene mari
Nucleele RT de generația a patra randează, iar 96 GB țin scene și texturi care ar depăși un GPU de 48 GB. Poți randa, encoda și rula un model pe aceeași placă.
04Un singur chiriaș
GPU-ul complet, pe propriul tău sistem
Fără profil vGPU, fără partajare de timp, fără alt client pe mașină. Unele oferte cloud pentru acest GPU sunt o mașină virtuală pe o gazdă partajată, așa că compară lucruri comparabile înainte de a compara prețurile.
02Înainte să comanzi
Mai multă memorie decât un H100. Iată la ce renunți
RTX PRO 6000 are mai multă memorie decât acceleratoarele de centru de date pe care le montăm. Două lucruri îl separă de ele, iar unul dintre ele poate decide pentru tine.
Fără NVLink
Acest GPU nu are punte NVLink. Două dintre ele într-o mașină sunt două grupuri separate de 96 GB care comunică prin slotul PCIe, nu un singur grup de 192 GB. Dacă modelul tău are nevoie de mai mult de 96 GB într-un singur spațiu de adrese, uită-te la A100 și H100, care se grupează prin NVLink.
GDDR7, nu HBM stivuit
GDDR7 este rapid, 1.792 GB/s, ceea ce este mai mult decât A100 40 GB și de două ori L40S. A100 80 GB citește totuși puțin mai repede, la 1.935 GB/s. Pentru servirea multor utilizatori la o dimensiune mare de lot, viteza de citire stabilește ritmul, așa că verifică acea coloană dacă debitul este obiectivul tău.
Dacă întrebarea ta este “va încăpea modelul pe un singur GPU”, RTX PRO 6000 răspunde cu cel mai mult spațiu. Dacă este “câte tokenuri pe secundă pentru sute de utilizatori”, un accelerator ar putea merita o privire. Tabelul comparativ pune memoria și costul lunar una lângă alta.
03Specificații
Specificații RTX PRO 6000 Blackwell: GDDR7, nuclee Tensor și RT
Cifre din pagina de produs NVIDIA’s pentru Ediția Workstation. Ediția Max-Q este același cip cu aceiași 96 GB la 300 W.
RTX PRO 6000 Blackwell 96GB
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
- 125 TFLOPS FP32
- 380 TFLOPS RT
- Nuclee Tensor cu FP4
- MIG, până la 4 instanțe
04Alegerea
RTX PRO 6000 vs H100, A100 și RTX 6000 Ada
GPU-urile cu memorie mare pe care le montăm, cu memoria și costul lunar unul lângă altul. Memoria și prețul nu cresc împreună pe acest raft, iar acesta este motivul pentru care merită citit.
57 GPU models in the catalogue today · none holds more than 96 GB
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
RTX 6000 Ada este GPU-ul profesional anterior, cu 48 GB de GDDR6. RTX PRO 6000 dublează acest lucru pe siliciu mai nou. Dacă 48 GB sunt suficienți pentru munca ta, Ada este calea mai ieftină de intrare. Pentru fiecare GPU pe care îl montăm, prețuit la fel, vezi toate serverele GPU cu prețuri.
05Mașina
În ce server intră și ce legătură PCIe primește
RTX PRO 6000 este un GPU PCIe Gen 5. Fiecare mașină de mai jos arată legătura pe care i-o oferă slotul său, ca să vezi ce primești înainte să alegi.
Intel Xeon Silver / Gold
AMD EPYC
Odată ce ponderile sunt încărcate pe GPU, slotul stă în mare parte inactiv, ceea ce acoperă majoritatea inferenței, majoritatea randării și toată transcodarea. O buclă de antrenare care trimite un lot proaspăt prin slot la fiecare pas este lucrarea care observă. Spune-ne ce vei rula și te vom îndruma către mașina potrivită.
06Dimensionare
Ce încape în 96 GB de memorie GPU
Doar ponderile. Lasă loc pentru fereastra de context și pentru runtime deasupra.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — tight | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — tight | 38 GB — fits |
Un model de 70 de miliarde la 8 biți se încarcă, dar lasă puțin loc pentru un context lung sau un al doilea utilizator. La 4 biți încape confortabil. Pentru a calcula de la modelul tău la GPU, folosește pagina de dimensionare a memoriei LLM.
07Prețuri
Închiriază un RTX PRO 6000: prețuri cu mașina
GPU-ul este o linie pe factura ta, iar serverul este alta. Ambele provin din catalogul de comenzi pe care îl folosește checkout-ul, astfel încât fiecare preț de mai jos aparține mașinii de lângă el.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |
Portul este nemăsurat în ambele direcții, fără taxă de ieșire. O adresă IPv4 și o adresă IPv6 vin cu serverul, plătești câte o lună pe rând și nu există contract. O configurație are o taxă unică de instalare, afișată pe comandă înainte să plătești.
08Livrare și ajutor
Cât de repede îl primești și cine răspunde
Depinde de unde se află GPU-ul chiar acum. Ți se spune care dintre acestea se aplică înainte să plătești.
- Aproximativ 30 de minute
Deja în rack
O mașină cu GPU-ul montat este într-un rack și este a ta la aproximativ 30 de minute după aprobarea comenzii.
- 4 până la 24 de ore
Pe raftul nostru
Montăm un GPU pe care îl avem deja în serverul pe care l-ai ales.
- 5 până la 10 zile lucrătoare
Achiziționat
Comandăm GPU-ul de la un distribuitor, apoi îl montăm pe serverul tău.
- 10 până la 15 zile lucrătoare
Pe alocare
Când distribuitorii raționalizează un GPU, numim data înainte să te angajezi.
Întrebările merg către chat-ul nostru. Un asistent AI răspunde în câteva secunde și poate verifica contul tău și serverul tău, iar o persoană din echipa noastră se alătură ori de câte ori ceri. Mașinile montate în rack și gata chiar acum sunt pe servere instant.
09Întrebări
Întrebări despre închirierea unui RTX PRO 6000
01Este RTX PRO 6000 Blackwell același lucru cu RTX 6000 Ada?
Nu, deși numele sunt apropiate. RTX 6000 Ada Generation este GPU-ul profesional anterior, cu 48 GB de GDDR6 și ECC. RTX PRO 6000 Blackwell, căutat uneori ca RTX 6000 Pro, are 96 GB de GDDR7 cu ECC pe cipul Blackwell mai nou. Montăm ambele variante, iar tabelul comparativ arată prețul fiecăreia împreună cu serverul său.
02Suportă RTX PRO 6000 NVLink?
Nu. Acest GPU nu are conector NVLink, așa că două astfel de plăci într-un server funcționează ca două grupuri separate de 96 GB legate prin PCIe. Dacă ai nevoie de mai mult de 96 GB grupați împreună, A100 și H100 suportă NVLink.
03Cât costă să închiriezi un RTX PRO 6000?
Cea mai ieftină configurație completă, GPU-ul și serverul împreună, costă $1,382.67 pe lună astăzi. Tabelul de prețuri de pe această pagină listează fiecare server în care poate fi montat GPU-ul, citit live din catalogul de comenzi, cu un link pentru configurarea fiecăruia. Nu există contract, iar portul este nemăsurat.
04Ar trebui să închiriez un RTX PRO 6000 sau un H100?
Închiriază RTX PRO 6000 când modelul trebuie să încapă pe un singur GPU sau când fluxul de lucru include și randare ori codare video. Închiriază un H100 când ai nevoie de NVLink pentru a grupa mai multe GPU-uri sau de memorie HBM pentru servire la dimensiuni mari de lot. Tabelul comparativ arată memoria și costul lunar pentru ambele.
05Este GPU-ul partajat sau împărțit în GPU-uri virtuale?
Nu. Primești GPU-ul complet pasat către propriul tău sistem de operare, pe un server pe care nu îl folosește nimeni altcineva: fără hypervisor, fără profil vGPU, fără partajare în timp. GPU-ul suportă MIG cu până la patru instanțe, așa că îl poți împărți singur dacă fluxul tău de lucru se potrivește.
06Ce versiune de driver NVIDIA și CUDA voi primi?
Pe cele pe care le alegi tu. Serverul vine cu un sistem de operare curat și acces root, iar tu instalezi și fixezi versiunile de driver, CUDA și framework de care are nevoie codul tău. Nimic nu se actualizează pe ascuns.
07Pot avea două GPU-uri RTX PRO 6000 într-un singur server?
Da, ca o configurație ofertată, nu ca opțiune directă în coș. La până la 600 W fiecare, șasiul și bugetul său de putere decid câte încap și ce ediție se montează. Spune-ne ce plănuiești să rulezi și îți răspundem cu șasiul, numărul de plăci și termenul de livrare. Pentru configurații mai mari, vezi servere multi-GPU și multi-nod.
08Cât de repede pot avea un server cu RTX PRO 6000?
Aproximativ 30 de minute după aprobare dacă un server deja montat în rack are GPU-ul, 4 până la 24 de ore dacă avem unul în stoc, 5 până la 10 zile lucrătoare dacă îl achiziționăm la comandă și 10 până la 15 zile lucrătoare când este pe alocare. Ești anunțat care variantă se aplică înainte să plătești. Servere deja montate în rack sunt listate la servere instant.
Alege-ți serverul, apoi adaugă GPU-ul
Fiecare configurație RTX PRO 6000 are prețul afișat mai sus împreună cu serverul său. Alege una, configureaz-o, iar comanda arată totalul lunar complet înainte să plătești.