Server GPU · Serie RTX 40
Server dedicato RTX 4090 e la GPU al suo interno è la RTX 4090D
Il nostro server dedicato RTX 4090 monta la RTX 4090D, l'edizione che NVIDIA ha realizzato per la Cina: gli stessi 24 GB di GDDR6X e la stessa velocità della memoria, con circa l'11% di core CUDA in meno. Noleggi l'intera macchina a canone mensile, la GPU completa viene passata direttamente al tuo sistema e la porta è senza limiti di traffico.
| Voce | RTX 4090 | RTX 4090D |
|---|---|---|
| Core CUDA | 16.384 | 14.592 |
| Core Tensor | 512 | 456 |
| Memoria | 24 GB GDDR6X | 24 GB GDDR6X |
| Larghezza di banda | 1.008 GB/s | 1.008 GB/s |
| Clock in boost | 2,52 GHz | 2,52 GHz |
| Encoder AV1 | 2 | 2 |
| Potenza della scheda | 450 W | 425 W |
Hai una GPU della serie RTX 40 ferma e inutilizzata?
Metti la macchina sul marketplace di Primcast, stabilisci il tuo prezzo mensile e noleggiala a chi ha bisogno di potenza di calcolo.
00Marketplace
Oppure noleggia una GPU della serie RTX 40 dal suo proprietario
I proprietari pubblicano queste macchine sul nostro marketplace e stabiliscono il proprio prezzo. Un annuncio gestito dalla nostra società consociata, Server Room, viene noleggiato su serverroom.net, non qui.
01RTX 4090D vs RTX 4090
Cosa significa la D di RTX 4090D per il tuo lavoro
Alla fine del 2023 una norma statunitense sull'export ha portato la RTX 4090 oltre il limite di vendita in Cina. NVIDIA ha risposto con la RTX 4090D, rilasciata il 28 dicembre 2023, con 14.592 core CUDA laddove la GPU completa ne ha 16.384.
Cosa resta invariato
La memoria è intatta: 24 GB di GDDR6X su bus a 384 bit a 1.008 GB/s. Lo stesso vale per il clock in boost di 2,52 GHz e la coppia di encoder AV1. Tutto ciò che è limitato dalla quantità o dalla velocità della memoria si comporta esattamente come su una 4090 completa: un modello che sta in 24 GB continua a starci, e la lettura è altrettanto veloce.
Driver e software non se ne accorgono. È una GPU GeForce Ada Lovelace, accetta il normale driver GeForce e ogni release CUDA, framework e renderer che gira su una 4090 gira anche su questa.
A cosa rinunci
Circa l'11% degli shader e dei core tensor. NVIDIA ha indicato il divario reale intorno al 5% nei giochi e nelle applicazioni creative, perché clock e memoria sostengono gran parte del carico. Nei lavori che tengono occupato ogni shader, come un rendering lungo o un ciclo di addestramento, metti in conto fino a un decimo in meno rispetto a una 4090 completa.
Te lo diciamo prima che tu ordini, invece di scrivere “RTX 4090” e lasciare che lo scopra dopo. Se il tuo lavoro richiede davvero la GPU completa, chiedi in chat e ti diremo se riusciamo a procurartene una e quanto tempo serve.
02A cosa serve
In cosa eccelle un server con GPU 4090 e dove si ferma
È una GPU consumer montata in un rack. È questo che mantiene basso il prezzo, ed è anche da qui che derivano i suoi limiti.
01Calcolo per euro speso
Molta potenza di calcolo per il prezzo
Il silicio GeForce è uno dei modi più economici per noleggiare questa quantità di calcolo. È adatto ai lavori in cui un risultato sbagliato significa ripetere l'esecuzione, non un disastro: rendering batch, server di gioco, messa a punto di modelli piccoli, inferenza ripetibile.
02Video
Codifica i video, gli acceleratori no
Due encoder hardware con AV1, più un decoder, quindi può transcodificare tutto il giorno. Le A100 e H100 più in alto nel nostro catalogo non hanno alcun encoder video. Per qualsiasi cosa contenga video, questa GPU è la scelta giusta, non il compromesso. Vedi i nostri server di transcodifica per il lavoro sui canali live.
03Memoria
Il limite è 24 GB
Un modello da 13 miliardi di parametri entra a 8 bit, lo stesso modello a 16 bit non entra, e un modello da 70 miliardi non entra a nessuna precisione. La tabella di dimensionamento più avanti è precisa al riguardo.
04Esecuzioni lunghe
Nessuna memoria con correzione degli errori
Non c'è ECC e non c'è un driver professionale certificato. Per un'esecuzione che dura settimane senza checkpoint, o per software la cui licenza richiede una GPU professionale, guarda invece la L40S con 48 GB ed ECC.
03Specifiche
Specifiche della NVIDIA RTX 4090D
I dati della GPU che installiamo, tratti dalla documentazione NVIDIA della serie RTX 40 e dalla matrice di supporto NVIDIA per codifica e decodifica.
RTX 4090D
Ada Lovelace
24 GB GDDR6X
14,592
1,008 GB/s
425 W
PCIe Gen 4 x16
2 NVENC, 1 NVDEC, AV1
No
04La scelta
Server RTX 4090, RTX 3090 o RTX 5090?
Tutte e tre sono oggi a magazzino e vengono montate nelle stesse macchine. Quindi la domanda non è quale sia la più recente, ma quale valga la differenza di prezzo per il tuo lavoro.
| GPU | GPU memory | The GPU | Cheapest complete machine |
|---|---|---|---|
| RTX 3090 | 24 GB GDDR6X | $239 | $309.93 |
| RTX 4090D | 24 GB GDDR6X | $299 | $372.47 |
| RTX 5090 | 32 GB GDDR7 | $399 | $472.47 |
La RTX 3090 ha gli stessi 24 GB ed è il modo più vecchio e più lento per ottenerli. Se ti serve la quantità di memoria e la velocità conta meno, leggi prima la pagina dei server della serie RTX 30. La RTX 5090 sale a 32 GB di GDDR7. È una GPU PCIe Gen 5 che va su piattaforme Gen 3 e Gen 4, quindi leggi la sezione successiva e la pagina dei server RTX 5090 prima di dare per scontato che qui più recente significhi più veloce.
05La macchina
In quale macchina va la RTX 4090D e il suo collegamento PCIe
La 4090D è una GPU PCIe Gen 4. Ogni piattaforma qui sotto mostra lo slot che riceve e cosa significa in pratica.
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
Abbiamo visto un cliente passare a una GPU più recente su una piattaforma più vecchia e renderizzare più lentamente di prima. Una volta che la scena o i pesi sono nella memoria della GPU, lo slot resta silenzioso e la sua generazione smette di contare. Conta quando il tuo lavoro sposta dati attraverso lo slot a ogni passaggio. Dicci cosa eseguirai e ti indicheremo la macchina giusta.
06Dimensionamento
Cosa sta in 24 GB di memoria GPU
Solo i pesi. Lascia spazio per il contesto e il runtime in aggiunta.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB, fits | 8 GB, fits | 5 GB, fits |
| 13-14 billion parameters | 28 GB, does not fit | 14 GB, fits | 8 GB, fits |
| 30-34 billion parameters | 68 GB, does not fit | 34 GB, does not fit | 19 GB, tight |
| 70 billion parameters | 140 GB, does not fit | 70 GB, does not fit | 38 GB, does not fit |
L'altro limite è la potenza. Una 4090D assorbe fino a 425 W, ed è per questo che più di una in una macchina è una configurazione che quotiamo, non una casella da spuntare. Per affrontare la questione al contrario, dal tuo modello alla GPU che gli serve, usa la pagina di dimensionamento della memoria per LLM.
07Prezzi
Prezzi dei server RTX 4090D, con la macchina
La GPU è una voce della fattura e il server un'altra. Entrambe provengono dal catalogo ordini usato dal checkout, quindi ogni prezzo qui sotto appartiene alla macchina che gli sta accanto.
| GPU | The machine it goes in | The GPU | Complete, per month |
|---|---|---|---|
| RTX 4090D | Intel Xeon E5-2600 v3/v4 | $299 | $372.47 Configure this build → |
| RTX 4090D | Intel Xeon Silver / Gold | $299 | $382.67 Configure this build → |
| RTX 4090D | AMD EPYC | $299 | $516.59 Configure this build → |
La porta è senza limiti di traffico in entrambe le direzioni, senza costi di uscita. Un indirizzo IPv4 è incluso con il server, non c'è alcun contratto e paghi un mese alla volta. Per confrontare ogni GPU che installiamo, con prezzi calcolati allo stesso modo, vedi tutti i server GPU con prezzi.
08Consegna e assistenza
In quanto tempo la ricevi e chi ti risponde
Dipende da dove si trova la GPU quando ordini. Ti viene detto quale di queste situazioni si applica prima che tu paghi.
- Circa 30 minuti
Già montata in rack
Una macchina con la GPU installata è già in un rack. È tua circa 30 minuti dopo l'approvazione dell'ordine.
- Da 4 a 24 ore
A magazzino
Montiamo una GPU che abbiamo già in magazzino nel server che hai scelto.
- Da 5 a 10 giorni lavorativi
Acquistata su ordinazione
Ordiniamo la GPU da un distributore per te, poi la montiamo sul tuo server.
Le domande prima o dopo l'ordine vanno alla nostra chat. Un assistente AI risponde in pochi secondi e può consultare il tuo account e il tuo server, e una persona del nostro team interviene ogni volta che lo chiedi. Le macchine già montate e pronte in questo momento sono su server immediati.
09Domande
Domande sul noleggio di un server RTX 4090
01La RTX 4090D è uguale alla RTX 4090?
Non proprio. È lo stesso chip AD102 con gli stessi 24 GB di GDDR6X, la stessa larghezza di banda di 1.008 GB/s e lo stesso boost clock, ma con 14.592 core CUDA invece di 16.384. NVIDIA l'ha realizzata per la Cina dopo che una norma statunitense sull'export ha riguardato la 4090 completa. È una vera GPU NVIDIA, non un rebadge.
02Quanto è più lenta la RTX 4090D?
NVIDIA l'ha stimata intorno al 5% nei giochi e nelle app creative. Nei carichi che tengono occupati tutti gli shader, il divario può arrivare alla differenza dell'11% nel numero di core. Tutto ciò che è limitato dalla dimensione o dalla velocità della memoria gira come su una 4090 completa.
03Posso avere invece una RTX 4090 completa?
Non da questa pagina. Quella che installiamo è la 4090D, e lo diciamo subito. Se il tuo lavoro richiede davvero gli shader aggiuntivi, dicci in chat cosa eseguirai e ti diremo se possiamo procurarti una 4090 completa e quanto tempo richiederebbe.
04La 4090D funziona con CUDA, PyTorch e i driver normali?
Sì. Viene rilevata come una GPU GeForce Ada Lovelace e accetta il driver GeForce standard. Ogni release CUDA, build di framework e renderer che gira su una 4090 gira anche su di essa. La differenza è nel numero di core, non nell'architettura.
05La GPU è condivisa con qualcun altro?
No. Ottieni la GPU completa su una macchina che nessun altro utilizza, passata direttamente al tuo sistema operativo. Non ci sono hypervisor, suddivisioni vGPU o condivisioni a tempo. Installi e blocchi il tuo driver e la tua versione CUDA, e nulla si aggiorna a tua insaputa.
06Dovrei noleggiare una RTX 4090D o una RTX 3090 per 24 GB?
Se ti serve solo la dimensione della memoria, la RTX 3090 è spesso l'acquisto migliore: stessi 24 GB, più vecchia e di solito più economica al mese, come mostra la tabella comparativa. La 4090D è chiaramente più veloce e aggiunge la codifica AV1, che alla 3090 manca. Sceglila quando le tue esecuzioni sono consecutive o lavori con i video.
07Posso mettere due GPU RTX 4090D in un server?
Sì, come configurazione su preventivo piuttosto che come opzione al checkout. Ognuna assorbe fino a 425 W e non c'è NVLink, quindi due di esse sono due pool separati da 24 GB. Dicci cosa intendi eseguire e ti risponderemo con la macchina, oppure vedi server multi-GPU.
08Quanto presto posso avere un server dedicato RTX 4090?
Circa 30 minuti dopo l'approvazione se una macchina già montata in rack dispone della GPU, da 4 a 24 ore se ne abbiamo una a magazzino, e da 5 a 10 giorni lavorativi se dobbiamo acquistarla. Ti viene comunicato quale caso si applica prima del pagamento. Le macchine già montate sono elencate su server istantanei.
Scegli la tua configurazione RTX 4090D e vedi il prezzo completo
Ogni configurazione è prezzata sopra con il relativo server. Scegline una, configurala e l'ordine mostrerà il totale mensile prima del pagamento.