Cartes graphiques sur serveur dédié · Primcast LLC · depuis 2004

Dites-lui quel est le travail. Il vous dit la carte.

Le plus difficile dans l’achat d’un serveur GPU n’est pas l’achat. C’est de savoir quelle carte suffit — et tous les catalogues de ce secteur sont classés selon l’impressionnant de la pièce plutôt que selon ce que vous essayez d’exécuter. Celui-ci est organisé dans l’autre sens. Dites quel est le travail et combien de mémoire graphique il lui faut, et ce qui reste est la réponse, avec le prix complet.

Trouver la carte La carte est-elle à moi ?

Un seul locataire par machine. La carte est transmise directement à votre système d’exploitation — ni découpée, ni partagée dans le temps, ni virtualisée.

Transformez vos GPU en revenus mensuels passifs

Vous avez des configurations GPU de serveur ou de bureau inutilisées ? Mettez-les dès aujourd’hui sur la place de marché Primcast et percevez des loyers mensuels réguliers de la part d’équipes d’IA, de développeurs et d’entreprises qui ont besoin de puissance de calcul de qualité production.

Aller à la place de marché

Le banc d’essai

Deux questions.

Rien n’est réservé, aucun compte n’est créé, et le chiffre à côté de chaque carte représente le serveur complet avec cette carte à l’intérieur — processeur, mémoire, disques en miroir, port non mesuré, une adresse — et non la carte seule. La part propre de la carte est indiquée en dessous, afin que vous puissiez voir quelle moitié de la somme correspond à quoi.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Des estimations issues du même catalogue que celui qui facture au moment du paiement, pas des devis. Lorsqu’un chiffre de mémoire manque, nous n’avons pas pu en trouver un publié par le fabricant, alors la carte le dit plutôt que de deviner — et ces cartes disparaissent dès que vous déplacez le contrôle de mémoire, car filtrer sur un nombre que nous n’avons pas masquerait discrètement des pièces qui pourraient vous convenir. Demandez et nous le lirons sur la carte. Plusieurs pièces s’adaptent à plus d’un châssis à plus d’un prix ; le chiffre ici est la façon la moins chère d’avoir cette carte, et le configurateur montre le reste.

Ce qu’il y a derrière cette liste

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Compté à partir du catalogue de commandes au moment où cette page a été servie, pas saisi à la main. Si une carte est retirée demain, cette bande est plus petite demain. Ce qui se trouve en baie ce matin est une autre question, et serveurs instantanés est l’endroit où elle trouve sa réponse.

La première question que tout le monde pose

La carte est-elle à moi, ou est-ce que je la partage ?

À vous. La carte entière, la machine entière, personne d’autre dessus.

La carte se trouve dans un emplacement PCIe d’un serveur physique loué à un seul compte, et elle est remise directement à votre système d’exploitation : votre propre pilote, votre propre CUDA ou ROCm, vos propres processus. Il n’y a pas d’hyperviseur entre vous et elle, pas de partition MIG, pas d’ordonnanceur à tranches de temps qui décide quand votre tour arrive, et pas de second locataire dont le job par lots fait bouger votre latence d’inférence à quatre heures de l’après-midi.

Le reste de la machine est à vous aux mêmes conditions — chaque cœur, toute la mémoire, tous les disques, root, et l’iLO HPE ou l’iDRAC Dell du serveur pour la console, les médias virtuels et l’alimentation. Si un pilote fait tomber le réseau, vous pouvez toujours voir l’écran.

  • Pas une tranchePas de MIG, pas de vGPU, pas d’allocation fractionnaire. Une carte, un locataire.
  • Pas une file d’attenteRien ne préempte votre processus. La carte est inactive quand vous êtes inactif.
  • Pas un conteneurServeur dédié. Chargez vos propres modules noyau, figez votre propre version de pilote.
  • Pas mesuréPoids entrants, points de contrôle sortants, rendus sortants. Rien ne compte les octets.

Pourquoi les chiffres ci-dessus ressemblent à cela

La carte est une ligne sur la facture, pas un niveau de produit.

Partout ailleurs, un GPU est un niveau : vous louez “une instance H100” et quelqu’un d’autre a déjà décidé ce que le processeur, la mémoire, les disques et le réseau autour devraient vous coûter. Ici, les deux sont des lignes séparées qui s’additionnent — c’est pourquoi une carte à chaque extrémité de la liste ci-dessus va dans le même châssis, et vous payez la différence entre les cartes et rien d’autre.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Le configurateur arrondit un prix par disque et s’écarte d’un ou deux centimes de ces chiffres. Les cycles de facturation plus longs bénéficient d’une remise supplémentaire ; tarification rassemble tout au même endroit, et matériel plus ancien, prix plus bas est l’argument qui explique pourquoi le bas de cette liste existe tout court.

Quelle capacité de mémoire de carte ?

La seule spécification qui détermine si cela fonctionne.

La fréquence d'horloge et le nombre de cœurs déterminent les performances d'un modèle. La mémoire vive, quant à elle, est déterminante pour son fonctionnement : soit elle est compatible, soit elle ne l'est pas. Une carte mémoire trop courte de deux gigaoctets n'entraîne pas seulement une baisse de vitesse, mais un plantage. C'est donc le premier chiffre à prendre en compte, et pourtant, presque personne ne le mentionne à côté du prix.

Le calcul consiste à multiplier les paramètres par le nombre d'octets correspondant. Les poids de 16 bits occupent deux octets chacun, ceux de 8 bits un octet et ceux de 4 bits un demi-octet. La quantification sur quatre bits permet à une machine initialement incapable de contenir un modèle de le faire, au prix d'une légère perte de qualité.

Prévoyez une marge de sécurité. Les chiffres ci- dessous correspondent aux poids et rien d'autre. L'exécution, les activations et le cache clé-valeur pour un contexte long résident dans la même mémoire, et le cache s'agrandit à chaque jeton échangé. Un modèle dont les poids représentent 38 Go ne fonctionnera pas correctement sur une carte de 40 Go. Prévoyez une marge supplémentaire d'un quart à une demi-Go, ou contactez-nous pour que nous dimensionnions le modèle en fonction de votre configuration réelle.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Que se cache sous la carte ?

Quatre châssis en prennent un, et ils ne sont pas interchangeables.

Chaque section du catalogue est associée à une carte et lui attribue un lien différent avec le processeur. Cette dernière colonne est présente car elle représente un coût et n'est pas imprimée : un client est passé d'une génération de carte bancaire à la suivante sur un bus de troisième génération, ce qui a entraîné une baisse de performance , et a identifié le problème avant nous. C'est pourquoi elle figure sur cette page.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Ce que la nouvelle génération de bus change réellement

Une carte conçue pour un bus récent fonctionne parfaitement sur un bus plus ancien ; elle ne peut simplement pas transférer les données aussi rapidement. L’importance de ce facteur dépend entièrement de l’application.

  • Cela a son importance lorsque des données transitent continuellement par le bus : une boucle d’entraînement qui diffuse des lots de données depuis le disque ou la mémoire système, un rendu qui alimente la carte graphique en données de scène à chaque image, ou tout ce qui déborde de la mémoire de la carte.
  • Une fois les poids définis et maintenus , cela n'a plus d'importance : inférence sur un modèle adapté, transcodage vidéo, la plupart des simulations. Le lien transporte des requêtes et des résultats, et ces derniers sont de petite taille.
  • N'hésitez pas à poser des questions en cas de doute. Indiquez-nous la charge de travail et nous vous dirons clairement si la plateforme constitue un goulot d'étranglement, y compris lorsque la réponse honnête est qu'une carte moins chère avec une meilleure connexion est préférable à une carte plus chère avec une connexion moins performante.

Ce qui est inclus

Tout ce qui rend la carte utilisable, et rien à acheter.

  • Racine, et la pile de pilotes vous appartient.

    Nous installons un système d'exploitation propre et vous en confions la gestion. Vous choisissez la version du pilote, la version de CUDA ou ROCm et la version du framework, puis vous les configurez. C'est le principe du déploiement sur matériel nu, contrairement à un environnement d'exécution géré qui se met à jour automatiquement la semaine précédant une échéance. Si vous préférez que nous installions le pilote avant la mise en service, veuillez le préciser lors de votre commande.

  • La console propre à la machine, sur un réseau distinct

    HPE iLO ou Dell iDRAC : console clavier/écran, supports virtuels, gestion de l’alimentation, état du matériel et journal système. Un pilote graphique qui entraîne la défaillance de l’affichage ou du réseau est un simple désagrément, car le démarrage de la machine reste visible.

  • Port non mesuré, dans les deux sens

    Aucun dépassement de quota de transfert n'est autorisé et aucune ligne de sortie n'est facturée. Les données entrantes, les points de contrôle sortants, les rendus, un modèle déployé auprès d'utilisateurs réels : tout est transféré pour le prix du port, pas un octet de plus. La bande passante illimitée représente le débit supplémentaire par rapport à la vitesse incluse et constitue la principale différence avec une facture d'un fournisseur de services cloud.

  • Réinstallez-le autant de fois que vous le souhaitez

    Images système en un clic, réinstallables sans ticket et sans frais : une expérience de pilote qui tourne mal ne vous coûtera que vingt minutes. Vous pouvez modifier le DNS inverse, l’IPv6 est inclus et l’IPv4 est disponible en option plutôt que négociée.

  • Les gens, à toute heure

    Assistance téléphonique, chat en direct et système de tickets inclus dans chaque forfait. Toute pièce défectueuse est remplacée dans les quatre heures suivant son signalement par téléphone ou chat. Les délais de réponse et le barème de remboursement sont communiqués par écrit.

  • Cinq pièces pour l'installer

    New York, Miami, San Francisco, Amsterdam et Bucarest : l’emplacement de la machine détermine votre latence vers l’appelant et le régime de protection des données auquel elle est soumise. Le terme « centre de données » désigne les bâtiments.

Il existe bientôt

Entre une demi-heure et trois semaines, et cela dépend de la position de la carte.

Il ne s'agit pas d'un seul numéro, car cela n'a jamais été le cas. Une carte déjà installée sur un terminal déjà en service constitue une remise. Une carte à acheter constitue un bon de commande. Seule une version valable de ce système vous indique précisément de quel type de carte il s'agit avant le paiement, et non après.

  1. ~30 minutes

    La carte est déjà dans un distributeur automatique sur l'étagère.

    Rien n'est installé, rien n'est déplacé. La machine est configurée et livrée. Voici la liste des serveurs disponibles actuellement :

  2. 4 à 24 heures

    Une carte que nous tenons est ajustée, ou une machine en rack est réorganisée.

    Le cas classique pour tous les éléments de cette page : la pièce se trouve dans notre entrepôt ; un technicien l’installe, configure la baie et installe le système d’exploitation. Pour une machine en stock, similaire mais non identique (mémoire ajoutée, disque remplacé, baie reconstruite selon vos préférences), le même travail est effectué sur place, sans que la machine ne soit déplacée.

  3. 5 à 10 jours ouvrables

    La carte doit être achetée en

    Certains éléments de la liste ne sont pas en stock. Nous les commandons, puis nous les fabriquons. La page « Fabrication sur commande » contient une spécification complète de ce type.

  4. 10 à 15 jours ouvrables

    La carte est rare.

    Les accélérateurs de dernière génération fonctionnent par allocation et la date est fixée par le distributeur, pas par nous. Nous vous indiquerons la durée d'utilisation avant votre engagement. Pour tout achat de matériel destiné à un client, nous demandons un paiement anticipé de trois mois, car nous ne pouvons pas relouer la machine si le compte est clôturé au bout de deux semaines.

Chaque étape du processus commence lorsque le paiement et la vérification anti-fraude sont validés. Nous ne pouvons pas garantir le délai de validation de cette étape : la plupart des commandes sont validées en quelques heures, mais une première commande depuis un nouveau compte peut prendre plus de temps. Nous acceptons les cartes bancaires, PayPal, les virements ACH et les virements bancaires, ainsi que les cryptomonnaies , qui sont généralement le moyen de paiement le plus rapide pour les commandes importantes.

Déjà demandé

Les douze questions auxquelles cette page existe pour répondre.

Tirées de ce que les gens nous demandent réellement sur le chat et dans les tickets, à peu près dans l’ordre où ils les posent. La première nous a coûté des commandes, alors elle est aussi la première ici.

Le GPU est-il dédié, ou est-il partagé ?
Dédié. Une machine physique, un compte, et la carte passée directement à votre système d’exploitation. Pas d’hyperviseur, pas de partition MIG, pas de profil vGPU, pas de planificateur en temps partagé, et aucune charge de travail d’autrui sur la carte. Ce que vous mesurez le premier après-midi est ce que vous gardez.
Puis-je avoir plus d’une carte dans une seule machine ?
Oui, et c’est une configuration que nous chiffrons plutôt qu’une case à cocher. Le nombre qui tient dépend du châssis, de la largeur physique de la carte et du budget d’alimentation, donc la réponse honnête exige la carte précise. Demandez, et la réponse indique le châssis, le nombre et le délai. Plusieurs clients en font tourner deux, et la raison la plus courante est la mémoire plutôt que la vitesse — deux cartes de 48 Go contiennent un modèle qu’une de 80 Go ne contient pas. Plus d’une carte ou machine est la page pour l’ensemble de cette question, y compris ce qui change quand la deuxième carte devient une deuxième machine.
Quel pilote et quelle version CUDA vais-je obtenir ?
Ceux que vous installez. C’est tout l’intérêt du bare metal : la machine arrive avec un système d’exploitation propre et un accès root, et vous figez le pilote, la version CUDA ou ROCm et la build du framework sur ce contre quoi votre code a été testé — et rien ne se met à jour sous vos pieds. Si vous préférez que le pilote soit installé avant la livraison, dites-le sur la commande et indiquez la version. Si vous avez besoin d’une version CUDA précise prise en charge par une carte précise, demandez avant de payer et nous vérifierons au lieu de deviner.
Et si la carte que je veux n’est pas en rayon aujourd’hui ?
Alors elle est montée ou commandée, et vous savez lequel avant de payer. Une carte que nous avons en stock est installée en quatre à vingt-quatre heures. Une carte que nous devons acheter prend cinq à dix jours ouvrés, et un accélérateur de génération actuelle sur allocation peut prendre dix à quinze jours. Cette page n’affiche volontairement aucun stock, car une carte est une pièce que nous montons plutôt qu’un produit qui va et vient — mais si vous voulez une machine aujourd’hui, serveurs instantanés est la liste de ce qui est réellement en rack en ce moment.
Puis-je ajouter ou changer la carte plus tard ?
Oui, sur la machine que vous avez déjà — pas de migration, pas de réinstallation, pas de nouvelle adresse. C’est une intervention planifiée en baie et une courte interruption pendant que la machine est éteinte, et le montant mensuel change de la différence entre les deux cartes. La mémoire, les disques et la vitesse du port évoluent de la même façon.
Que se passe-t-il quand une carte tombe en panne ?
Elle est remplacée, et le contrat fixe un délai : quatre heures à partir du moment où vous le signalez par téléphone ou chat en direct. Au-delà, vous avez droit à un avoir sur service selon un barème publié plutôt que sur demande. Le support a le barème et le numéro de téléphone par écrit.
La bande passante est-elle mesurée ? Combien coûte le trafic sortant ?
Rien n’est mesuré et le trafic sortant ne coûte rien, à chaque vitesse de port que nous vendons. Il n’y a pas de quota de transfert à dépasser ni de ligne de dépassement sur aucune facture. Pour le travail GPU, c’est généralement le plus gros coût caché ailleurs : un entraînement qui tire un jeu de données et pousse des points de contrôle, ou un point de terminaison d’inférence qui répond à du trafic réel, déplace beaucoup d’octets, et le trafic sortant au gigaoctet chez un hyperscaler est facturé sur chacun d’eux. La bande passante non mesurée est l’échelon au-dessus de la vitesse de port incluse.
Comment cela se compare-t-il à la location d’un GPU à l’heure ?
C’est l’arithmétique qui tranche. Une carte à l’heure est moins chère si le travail est sporadique et s’arrête vraiment — quelques centaines d’heures par mois ou moins. Au-delà d’environ deux tiers du mois, ce n’est pas comparable, et c’est avant le trafic sortant, avant le stockage qui doit persister entre les exécutions, et avant le temps que votre tâche passe en file d’attente pour la capacité. Mensuel ici signifie aussi la même machine, les mêmes disques et la même adresse le mois prochain, ce qui compte plus que les gens ne l’imaginent une fois que quelque chose est en production.
Puis-je miner, ou exécuter des nœuds blockchain et de calcul décentralisé ?
Oui. Les deux sont des charges de travail ordinaires ici et l’ont toujours été, et plusieurs des cartes de cette page ont été achetées exactement pour cela. Serveurs de minage est la page pour le cas du minage en particulier, y compris les éléments qui n’ont de sens que pour lui.
Comment payer, et y a-t-il un contrat ?
Carte, PayPal, ACH, virement bancaire ou cryptomonnaie. Pas de contrat : un mois est la durée par défaut et la seule, les cycles de trois, six et douze mois bénéficient d’une remise, et le prix n’augmente pas au renouvellement. Paiements en crypto couvre les pièces acceptées ; pour une première commande plus importante, un virement ou un stablecoin est généralement plus rapide qu’une carte, ce qui est bon à savoir avant qu’un contrôle anti-fraude ne retarde une configuration.
Puis-je être remboursé si ce n’est pas ce qu’il me fallait ?
Dans les trois jours calendaires suivant la première activation, une fois le dépannage épuisé — la politique de remboursement en donne la formulation exacte. C’est précisément pourquoi les sections sur le dimensionnement et la génération de bus ci-dessus existent : c’est moins cher pour nous deux si vous achetez la bonne carte du premier coup, et nous préférons vous orienter vers une plus petite que de vous vendre un retour.
Avez-vous la carte la plus récente ?
Parfois, et c’est la mauvaise question. La pièce la plus récente est une pièce rare sur allocation, sur une plateforme qui ne lui donnera pas la génération de bus pour laquelle elle a été conçue, à un prix qui suppose que vous avez besoin de chaque bit. La plupart du travail GPU ici n’est pas l’entraînement d’un modèle de pointe — c’est servir un modèle qui tient déjà, encoder de la vidéo, rendre des images ou piloter des bureaux, et pour tout cela la bonne carte est généralement deux générations en arrière et un quart du prix. Dites-nous le travail. Si la réponse est vraiment la pièce la plus récente, nous le dirons, et nous dirons aussi ce qu’elle coûtera et quand elle pourra exister.

Où aller ensuite

Les pages de part et d’autre de celle-ci.

Cette page possède une seule question : quelles cartes nous montons et ce qu’elles coûtent. Tout ce qui touche à cette question a sa propre page, et les voici toutes, dans l’ordre où les visiteurs de cette page cliquent réellement.

Vous hésitez encore sur la carte ? et quelqu’un qui a déjà dimensionné l’une de ces machines répondra — y compris quand la réponse est une carte moins chère que celle pour laquelle vous êtes venu.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.