Serveurs GPU · Série RTX 40

Serveur dédié RTX 4090 et le GPU qu’il contient est la RTX 4090D

Notre serveur dédié RTX 4090 embarque la RTX 4090D, l’édition que NVIDIA a conçue pour la Chine : les mêmes 24 GB de GDDR6X et la même vitesse mémoire, avec environ 11% de cœurs CUDA en moins. Vous louez la machine entière au mois, le GPU complet est transmis directement à votre propre système, et le port est sans limite de trafic.

ad102 / 24 GBCôte à côte
Comparaison des spécifications des RTX 4090 et RTX 4090D. Les lignes marquées d’une flèche sont celles qui diffèrent.
CaractéristiqueRTX 4090RTX 4090D
Cœurs CUDA16,38414,592
Cœurs Tensor512456
Mémoire24 GB GDDR6X24 GB GDDR6X
Bande passante1,008 GB/s1,008 GB/s
Fréquence boost2.52 GHz2.52 GHz
Encodeurs AV122
Puissance de la carte450 W425 W
Machine complète, par mois, à partir de$372.47

Un GPU RTX 40 série reste inutilisé ?

Mettez la machine sur la place de marché Primcast, fixez votre propre prix mensuel et louez-la à ceux qui ont besoin de cette puissance de calcul.

La mettre en ligne sur la place de marché

01RTX 4090D vs RTX 4090

Ce que le D de la RTX 4090D change pour votre travail

Fin 2023, une règle d’exportation américaine a placé la RTX 4090 au-delà de la limite autorisée à la vente en Chine. NVIDIA a répondu avec la RTX 4090D, sortie le 28 December 2023, dotée de 14,592 cœurs CUDA là où le GPU complet en compte 16,384.

Ce qui ne change pas

La mémoire est intacte : 24 GB de GDDR6X sur un bus de 384 bits à 1,008 GB/s. Tout comme la fréquence boost de 2.52 GHz et la paire d’encodeurs AV1. Tout ce qui est limité par la taille ou la vitesse de la mémoire se comporte exactement comme sur une 4090 complète : un modèle qui tient dans 24 GB tient toujours, et il se lit tout aussi vite.

Les pilotes et les logiciels ne voient aucune différence. C’est un GPU GeForce Ada Lovelace, il accepte le pilote GeForce standard, et chaque version de CUDA, framework et moteur de rendu qui tourne sur une 4090 tourne dessus.

Ce à quoi vous renoncez

Environ 11% des shaders et des cœurs Tensor. NVIDIA a estimé l’écart réel à environ 5% dans les jeux et les applications créatives, car les fréquences et la mémoire assument une grande partie de la charge. Sur un travail qui sollicite tous les shaders en continu, comme un long rendu ou un entraînement, prévoyez jusqu’à un dixième de moins qu’une 4090 complète.

Nous vous le disons avant que vous commandiez, plutôt que d’imprimer “RTX 4090” et de vous laisser le découvrir plus tard. Si votre travail exige vraiment le GPU complet, demandez sur le chat et nous vous dirons si nous pouvons en trouver un et sous quel délai.

02À quoi il sert

Ce qu’un serveur GPU 4090 fait bien, et là où il s’arrête

C’est un GPU grand public dans un rack. C’est ce qui maintient le prix bas, et c’est aussi de là que viennent ses limites.

01Calcul par euro

Beaucoup de calcul pour le prix

Le silicium GeForce est l’un des moyens les moins chers de louer autant de puissance de calcul. Il convient aux travaux où un mauvais résultat signifie une nouvelle exécution, pas une catastrophe : rendu par lots, serveurs de jeux, ajustement fin de petits modèles, inférence que vous pouvez répéter.

02Vidéo

Il encode la vidéo, les accélérateurs non

Deux encodeurs matériels avec AV1, plus un décodeur, pour transcoder toute la journée. Les A100 et H100 plus haut dans notre catalogue n’ont aucun encodeur vidéo. Pour tout ce qui touche à la vidéo, ce GPU est le bon choix, pas le compromis. Voir nos serveurs de transcodage pour le travail sur des chaînes en direct.

03Mémoire

La limite est de 24 GB

Un modèle de 13 milliards de paramètres tient en 8 bits, le même modèle en 16 bits non, et un modèle de 70 milliards ne tient à aucune précision. Le tableau de dimensionnement plus bas est précis sur ce point.

04Longues exécutions

Pas de mémoire à correction d’erreur

Il n’y a pas d’ECC ni de pilote professionnel certifié. Pour une exécution qui dure des semaines sans points de contrôle, ou un logiciel dont la licence exige un GPU professionnel, regardez plutôt la L40S avec 48 Go et ECC.

03Spécifications

Spécifications de la NVIDIA RTX 4090D

Les chiffres du GPU que nous installons, tirés de la documentation NVIDIA de la série RTX 40 et de la matrice de prise en charge de l’encodage et du décodage de NVIDIA.

RTX 4090D

Architecture

Ada Lovelace

GPU memory

24 GB GDDR6X

CUDA cores

14,592

Memory bandwidth

1,008 GB/s

Board power

425 W

GPU interface

PCIe Gen 4 x16

Hardware video encoders

2 NVENC, 1 NVDEC, AV1

Error-correcting memory

No

04Choisir

Serveur RTX 4090, RTX 3090 ou RTX 5090 ?

Les trois sont en stock aujourd’hui et s’installent dans les mêmes machines. La question n’est donc pas laquelle est la plus récente, mais laquelle vaut la différence pour votre travail.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
GPUGPU memoryThe GPUCheapest complete machine
RTX 309024 GB GDDR6X$239$309.93
RTX 4090D24 GB GDDR6X$299$372.47
RTX 509032 GB GDDR7$399$472.47

La RTX 3090 a les mêmes 24 GB et constitue le moyen plus ancien et plus lent de les obtenir. Si c’est la taille de la mémoire qu’il vous faut et que la vitesse compte moins, lisez d’abord la page des serveurs RTX 30 série. La RTX 5090 passe à 32 GB de GDDR7. C’est un GPU PCIe Gen 5 qui s’installe dans des plateformes Gen 3 et Gen 4, alors lisez la section suivante et la page des serveurs RTX 5090 avant de supposer que plus récent signifie plus rapide ici.

05La machine

Dans quelle machine la RTX 4090D s’installe, et sa liaison PCIe

La 4090D est un GPU PCIe Gen 4. Chaque plateforme ci-dessous montre le slot qu’elle reçoit et ce que cela signifie en pratique.

Intel Xeon E5-2600 v3/v4

RTX 4090D

Slot: PCIe 3.0, 40 lanes per socket. GPU: PCIe Gen 4.

About half the bus the GPU was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the GPU.

Intel Xeon Silver / Gold

RTX 4090D

Slot: PCIe 3.0, 48 lanes per socket. GPU: PCIe Gen 4.

About half the bus the GPU was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the GPU.

AMD EPYC

RTX 4090D

Slot: PCIe 4.0, 128 lanes per socket. GPU: PCIe Gen 4.

Full width. The slot is at least the generation the GPU was designed for, so nothing is left on the table.

Nous avons vu un client passer à un GPU plus récent sur une plateforme plus ancienne et rendre plus lentement qu’avant. Une fois que la scène ou les poids sont en mémoire GPU, le slot est silencieux et sa génération n’a plus d’importance. Elle compte quand votre travail pousse des données à travers le slot à chaque étape. Dites-nous ce que vous allez exécuter et nous vous orienterons vers la bonne machine.

06Dimensionnement

Ce qui tient dans 24 Go de mémoire GPU

Poids uniquement. Laissez de la place pour le contexte et l’exécution par-dessus.

Weights only, rounded up. Fits means the GPU’s 24 GB holds the weights 1.5× over, room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a GPU on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the GPU out of memory.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB, fits8 GB, fits5 GB, fits
13-14 billion parameters28 GB, does not fit14 GB, fits8 GB, fits
30-34 billion parameters68 GB, does not fit34 GB, does not fit19 GB, tight
70 billion parameters140 GB, does not fit70 GB, does not fit38 GB, does not fit

L’autre limite, c’est la puissance. Une 4090D consomme jusqu’à 425 W, c’est pourquoi plus d’une dans une machine est une configuration que nous chiffrons, pas une case à cocher. Pour aborder la question dans l’autre sens, de votre modèle au GPU dont il a besoin, utilisez la page de dimensionnement mémoire LLM.

07Prix

Prix des serveurs RTX 4090D, avec la machine

Le GPU est une ligne sur votre facture et le serveur en est une autre. Les deux proviennent du catalogue de commandes utilisé par le paiement, donc chaque prix ci-dessous correspond à la machine qui l’accompagne.

Read from the order catalogue when this page was served. The GPU is a separate line; the machine does not get dearer because of what is plugged into it.
GPUThe machine it goes inThe GPUComplete, per month
RTX 4090DIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$299$372.47
Configure this build →
RTX 4090DIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$299$382.67
Configure this build →
RTX 4090DAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$299$516.59
Configure this build →

Le port est sans limite de trafic dans les deux sens, sans frais de sortie. Une adresse IPv4 est fournie avec le serveur, il n’y a pas de contrat, et vous payez un mois à la fois. Pour comparer tous les GPU que nous installons, au même tarif, voir tous les serveurs GPU avec prix.

08Livraison et assistance

Sous quel délai vous le recevez, et qui vous répond

Cela dépend de l’endroit où se trouve le GPU au moment de votre commande. Vous êtes informé du cas qui s’applique avant de payer.

  1. Environ 30 minutes

    Déjà en rack

    Une machine avec le GPU installé est déjà en rack. Elle est à vous environ 30 minutes après l’approbation de la commande.

  2. 4 à 24 heures

    Sur notre étagère

    Nous installons un GPU que nous avons déjà en stock dans le serveur que vous avez choisi.

  3. 5 à 10 jours ouvrés

    Acheté sur commande

    Nous commandons le GPU auprès d’un distributeur pour vous, puis nous l’installons dans votre serveur.

Les questions avant ou après votre commande passent par notre chat. Un assistant IA répond en quelques secondes et peut consulter votre compte et votre serveur, et une personne de notre équipe intervient dès que vous le demandez. Les machines en rack et prêtes immédiatement sont sur les serveurs instantanés.

09Questions

Questions sur la location d’un serveur RTX 4090

01La RTX 4090D est-elle identique à une RTX 4090 ?

Pas tout à fait. C’est la même puce AD102 avec les mêmes 24 GB de GDDR6X, la même bande passante de 1,008 GB/s et la même fréquence boost, mais avec 14,592 cœurs CUDA au lieu de 16,384. NVIDIA l’a conçue pour la Chine après qu’une règle d’exportation américaine a couvert la 4090 complète. C’est un vrai GPU NVIDIA, pas un simple rebadgeage.

02De combien la RTX 4090D est-elle plus lente ?

NVIDIA l’a estimée à environ 5% dans les jeux et les applications créatives. Sur les charges qui sollicitent tous les shaders, l’écart peut atteindre la différence de 11% du nombre de cœurs. Tout ce qui est limité par la taille ou la vitesse de la mémoire fonctionne comme sur une 4090 complète.

03Puis-je obtenir une RTX 4090 complète à la place ?

Pas depuis cette page. Ce que nous installons, c’est la 4090D, et nous le disons d’emblée. Si votre travail exige vraiment les shaders supplémentaires, dites-nous sur le chat ce que vous allez exécuter et nous vous dirons si nous pouvons nous procurer une 4090 complète et combien de temps cela prendrait.

04La 4090D fonctionne-t-elle avec CUDA, PyTorch et les pilotes habituels ?

Oui. Elle est reconnue comme un GPU GeForce Ada Lovelace et accepte le pilote GeForce standard. Chaque version de CUDA, chaque build de framework et chaque moteur de rendu qui tourne sur une 4090 tourne dessus. La différence est un nombre de cœurs, pas une architecture.

05Le GPU est-il partagé avec quelqu’un d’autre ?

Non. Vous disposez du GPU complet sur une machine que personne d’autre n’utilise, transmis directement à votre propre système d’exploitation. Il n’y a ni hyperviseur, ni découpage vGPU, ni partage de temps. Vous installez et figez votre propre pilote et votre version de CUDA, et rien ne se met à jour dans votre dos.

06Dois-je louer une RTX 4090D ou une RTX 3090 pour 24 Go ?

Si la taille de la mémoire est tout ce dont vous avez besoin, la RTX 3090 est souvent le meilleur choix : mêmes 24 GB, plus ancienne et généralement moins chère par mois, comme le montre le tableau comparatif. La 4090D est nettement plus rapide et ajoute l’encodage AV1, qui manque à la 3090. Choisissez-la quand vos exécutions s’enchaînent ou que vous travaillez avec la vidéo.

07Puis-je mettre deux GPU RTX 4090D dans un seul serveur ?

Oui, sous forme de configuration sur devis plutôt que d’option au moment du paiement. Chacune consomme jusqu’à 425 W et il n’y a pas de NVLink, donc deux d’entre elles constituent deux pools distincts de 24 GB. Dites-nous ce que vous prévoyez d’exécuter et nous revenons vers vous avec la machine, ou consultez les serveurs multi-GPU.

08Dans combien de temps puis-je avoir un serveur dédié RTX 4090 ?

Environ 30 minutes après validation si une machine en rack possède déjà le GPU, 4 à 24 heures si nous en avons une en stock, et 5 à 10 jours ouvrés si nous devons l’acheter. Vous savez laquelle de ces situations s’applique avant de payer. Les machines en rack sont listées sur les serveurs instantanés.

Choisissez votre configuration RTX 4090D et voyez le prix complet

Chaque configuration est tarifée ci-dessus avec son serveur. Choisissez-en une, configurez-la, et la commande affiche votre total mensuel avant que vous ne payiez.