Servere GPU · Seria RTX 40
Server dedicat RTX 4090 iar GPU-ul din el este RTX 4090D
Serverul nostru dedicat RTX 4090 este echipat cu RTX 4090D, ediția pe care NVIDIA a făcut-o pentru China: aceeași memorie 24 GB GDDR6X și aceeași viteză a memoriei, cu aproximativ 11% mai puține nuclee CUDA. Închiriezi întreaga mașină pe lună, GPU-ul complet este pasat către propriul tău sistem, iar portul este nemăsurat.
| Cifră | RTX 4090 | RTX 4090D |
|---|---|---|
| Nuclee CUDA | 16,384 | 14,592 |
| Nuclee Tensor | 512 | 456 |
| Memorie | 24 GB GDDR6X | 24 GB GDDR6X |
| Lățime de bandă | 1,008 GB/s | 1,008 GB/s |
| Frecvență boost | 2.52 GHz | 2.52 GHz |
| Codificatoare AV1 | 2 | 2 |
| Puterea plăcii | 450 W | 425 W |
Ai un GPU din seria RTX 40 care stă degeaba?
Pune mașina pe piața Primcast, stabilește-ți propriul preț lunar și închiriaz-o celor care au nevoie de putere de calcul.
00Piață
Sau închiriază un GPU din seria RTX 40 de la proprietarul lui
Proprietarii listează aceste mașini pe piața noastră și își stabilesc singuri prețul. O listare deținută de compania noastră soră, Server Room, se închiriază pe serverroom.net, nu aici.
01RTX 4090D vs RTX 4090
Ce înseamnă D-ul din RTX 4090D pentru munca ta
La sfârșitul lui 2023, o regulă de export a Statelor Unite a trecut RTX 4090 peste limita de vânzare în China. NVIDIA a răspuns cu RTX 4090D, lansat pe 28 decembrie 2023, cu 14,592 nuclee CUDA acolo unde GPU-ul complet are 16,384.
Ce rămâne la fel
Memoria este neatinsă: 24 GB de GDDR6X pe o magistrală de 384 de biți la 1,008 GB/s. La fel și frecvența boost de 2.52 GHz și perechea de codificatoare AV1. Orice lucru limitat de dimensiunea sau viteza memoriei se comportă exact ca pe un 4090 complet: un model care încape în 24 GB tot încape, și citește la fel de repede.
Driverele și software-ul nu observă nimic. Este un GPU GeForce Ada Lovelace, acceptă driverul GeForce normal, iar fiecare versiune CUDA, framework și motor de randare care rulează pe un 4090 rulează și pe el.
La ce renunți
Aproximativ 11% din shadere și nucleele tensor. NVIDIA a estimat diferența reală la aproximativ 5% în jocuri și aplicații creative, pentru că frecvențele și memoria preiau mult din sarcină. La lucrul care ține fiecare shader ocupat, cum ar fi un randare lungă sau o sesiune de antrenare, planifică până la o zecime mai puțin decât un 4090 complet.
Îți spunem asta înainte să comanzi, nu tipărim “RTX 4090” și te lăsăm să afli mai târziu. Dacă munca ta chiar are nevoie de GPU-ul complet, întreabă pe chat și îți vom spune dacă putem face rost de unul și cât durează.
02Pentru ce este
Ce face bine un server GPU 4090 și unde se oprește
Acesta este un GPU de consum într-un rack. Asta ține prețul jos și tot de aici vin și limitele lui.
01Calcul per dolar
Multă putere de calcul pentru bani
Siliciul GeForce este una dintre cele mai ieftine căi de a închiria atâta putere de calcul. Se potrivește lucrului unde un rezultat prost înseamnă o reluare, nu un dezastru: randare în loturi, servere de jocuri, ajustarea fină a modelelor mici, inferență pe care o poți repeta.
02Video
Codifică video, acceleratoarele nu o fac
Două codificatoare hardware cu AV1, plus un decodor, așa că poate transcoda toată ziua. A100 și H100 mai sus în catalogul nostru nu au deloc codificator video. Pentru orice implică video, acest GPU este alegerea corectă, nu compromisul. Vezi servere noastre de transcodare pentru lucrul cu canale live.
03Memorie
Limita este 24 GB
Un model de 13 miliarde de parametri încape la 8 biți, același model la 16 biți nu încape, iar un model de 70 de miliarde nu încape la nicio precizie. Tabelul de dimensionare de mai jos este exact în privința asta.
04Rulări lungi
Fără memorie cu corecție de erori
Nu există ECC și nici driver profesional certificat. Pentru o rulare care durează săptămâni fără puncte de control, sau pentru software a cărui licență cere un GPU profesional, uită-te în schimb la L40S cu 48 GB și ECC.
03Specificații
Specificațiile NVIDIA RTX 4090D
Cifrele pentru GPU-ul pe care îl montăm, din documentația NVIDIA pentru seria RTX 40 și din matricea NVIDIA de suport pentru codificare și decodare.
RTX 4090D
Ada Lovelace
24 GB GDDR6X
14,592
1,008 GB/s
425 W
PCIe Gen 4 x16
2 NVENC, 1 NVDEC, AV1
No
04Alegerea
Server RTX 4090, RTX 3090 sau RTX 5090?
Toate trei sunt pe raftul nostru astăzi și intră în aceleași mașini. Așa că întrebarea nu este care e cel mai nou, ci care merită diferența pentru munca ta.
| GPU | GPU memory | The GPU | Cheapest complete machine |
|---|---|---|---|
| RTX 3090 | 24 GB GDDR6X | $239 | $309.93 |
| RTX 4090D | 24 GB GDDR6X | $299 | $372.47 |
| RTX 5090 | 32 GB GDDR7 | $399 | $472.47 |
RTX 3090 are aceeași memorie 24 GB și este calea mai veche și mai lentă de a o obține. Dacă dimensiunea memoriei este ce ai nevoie și viteza contează mai puțin, citește mai întâi pagina serverelor din seria RTX 30. RTX 5090 urcă la 32 GB de GDDR7. Este un GPU PCIe Gen 5 care intră în platforme Gen 3 și Gen 4, așa că citește secțiunea următoare și pagina serverelor RTX 5090 înainte să presupui că mai nou înseamnă mai rapid aici.
05Mașina
În ce mașină intră RTX 4090D și legătura sa PCIe
4090D este un GPU PCIe Gen 4. Fiecare platformă de mai jos arată slotul pe care îl primește și ce înseamnă asta în practică.
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
Am văzut un client care a trecut la un GPU mai nou pe o platformă mai veche și a randat mai încet decât înainte. Odată ce scena sau ponderile stau în memoria GPU-ului, slotul este liniștit și generația lui nu mai contează. Contează când munca ta împinge date prin slot la fiecare pas. Spune-ne ce vei rula și te vom îndruma către mașina potrivită.
06Dimensionare
Ce încape în 24 GB de memorie GPU
Doar ponderile. Lasă loc pentru context și runtime deasupra.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB, fits | 8 GB, fits | 5 GB, fits |
| 13-14 billion parameters | 28 GB, does not fit | 14 GB, fits | 8 GB, fits |
| 30-34 billion parameters | 68 GB, does not fit | 34 GB, does not fit | 19 GB, tight |
| 70 billion parameters | 140 GB, does not fit | 70 GB, does not fit | 38 GB, does not fit |
Cealaltă limită este puterea. Un 4090D consumă până la 425 W, motiv pentru care mai mult de unul într-o mașină este o configurație pe care o cotăm, nu o bifă pe care o bifezi. Ca să abordezi întrebarea invers, de la modelul tău la GPU-ul de care are nevoie, folosește pagina de dimensionare a memoriei LLM.
07Prețuri
Prețurile serverelor RTX 4090D, cu mașina inclusă
GPU-ul este o linie pe factura ta, iar serverul este alta. Ambele provin din catalogul de comenzi pe care îl folosește checkout-ul, așa că fiecare preț de mai jos aparține mașinii de lângă el.
| GPU | The machine it goes in | The GPU | Complete, per month |
|---|---|---|---|
| RTX 4090D | Intel Xeon E5-2600 v3/v4 | $299 | $372.47 Configure this build → |
| RTX 4090D | Intel Xeon Silver / Gold | $299 | $382.67 Configure this build → |
| RTX 4090D | AMD EPYC | $299 | $516.59 Configure this build → |
Portul este nemăsurat în ambele direcții, fără taxă de ieșire. O adresă IPv4 vine cu serverul, nu există contract și plătești câte o lună pe rând. Ca să compari fiecare GPU pe care îl montăm, la același mod de preț, vezi toate serverele GPU cu prețuri.
08Livrare și ajutor
Cât de repede îl primești și cine răspunde
Depinde de unde se află GPU-ul când comanzi. Ți se spune care dintre aceste situații se aplică înainte să plătești.
- Aproximativ 30 de minute
Deja în rack
O mașină cu GPU-ul montat stă într-un rack. Este a ta la aproximativ 30 de minute după aprobarea comenzii.
- 4 până la 24 de ore
Pe raftul nostru
Montăm un GPU pe care îl avem deja în serverul pe care l-ai ales.
- 5 până la 10 zile lucrătoare
Cumpărat la cerere
Comandăm GPU-ul de la un distribuitor pentru tine, apoi îl montăm în serverul tău.
Întrebările înainte sau după ce comanzi merg către chat-ul nostru. Un asistent AI răspunde în câteva secunde și poate căuta în contul tău și în serverul tău, iar o persoană din echipa noastră intervine oricând ceri. Mașinile montate în rack și gata chiar acum sunt pe servere instant.
09Întrebări
Întrebări despre închirierea unui server RTX 4090
01Este RTX 4090D la fel cu un RTX 4090?
Nu chiar. Este același cip AD102 cu aceiași 24 GB de GDDR6X, aceeași lățime de bandă de 1.008 GB/s și același boost clock, dar cu 14.592 nuclee CUDA în loc de 16.384. NVIDIA l-a produs pentru China după ce o regulă de export a Statelor Unite a vizat 4090-ul complet. Este un GPU NVIDIA autentic, nu o reetichetare.
02Cât de mult mai lent este RTX 4090D?
NVIDIA l-a estimat la aproximativ 5% în jocuri și aplicații creative. La sarcinile care țin fiecare shader ocupat, diferența poate atinge 11% din numărul de nuclee. Orice limitat de dimensiunea sau viteza memoriei rulează la fel ca pe un 4090 complet.
03Pot primi în schimb un RTX 4090 complet?
Nu de pe această pagină. Ce instalăm noi este 4090D și spunem asta de la început. Dacă munca ta chiar are nevoie de shaderele suplimentare, spune-ne pe chat ce vei rula și îți vom spune dacă putem procura un 4090 complet și cât ar dura.
04Funcționează 4090D cu CUDA, PyTorch și driverele obișnuite?
Da. Se raportează ca un GPU GeForce Ada Lovelace și acceptă driverul GeForce standard. Fiecare versiune CUDA, build de framework și motor de randare care rulează pe un 4090 rulează și pe acesta. Diferența este numărul de nuclee, nu arhitectura.
05Este GPU-ul partajat cu altcineva?
Nu. Primești GPU-ul complet pe o mașină pe care nu o folosește nimeni altcineva, pasat direct către propriul tău sistem de operare. Nu există hypervisor, divizare vGPU sau partajare în timp. Îți instalezi și fixezi propriul driver și versiunea CUDA, iar nimic nu se actualizează pe la spatele tău.
06Ar trebui să închiriez un RTX 4090D sau un RTX 3090 pentru 24 GB?
Dacă dimensiunea memoriei este tot ce ai nevoie, RTX 3090 este adesea alegerea mai bună: aceiași 24 GB, mai vechi și de obicei mai ieftin pe lună, așa cum arată tabelul comparativ. 4090D este clar mai rapid și adaugă codare AV1, pe care 3090 nu o are. Alege-l când rulările tale sunt consecutive sau lucrezi cu video.
07Pot pune două GPU-uri RTX 4090D într-un singur server?
Da, ca o configurație la cerere, nu ca opțiune de checkout. Fiecare consumă până la 425 W și nu există NVLink, deci două înseamnă două grupuri separate de 24 GB. Spune-ne ce plănuiești să rulezi și revenim cu mașina sau vezi servere multi-GPU.
08Cât de repede pot avea un server dedicat RTX 4090?
Aproximativ 30 de minute după aprobare dacă o mașină deja montată în rack are GPU-ul, 4 până la 24 de ore dacă avem unul pe stoc și 5 până la 10 zile lucrătoare dacă îl achiziționăm. Ți se spune care variantă se aplică înainte să plătești. Mașinile montate în rack sunt listate pe servere instant.
Alege-ți configurația RTX 4090D și vezi prețul complet
Fiecare configurație are prețul afișat mai sus, împreună cu serverul său. Alege una, configurează-o, iar comanda îți arată totalul lunar înainte să plătești.