Serveurs IA dédiés · entraînement, inférence, rendu

Hébergement de serveurs IA dédiés d’un seul GPU à un cluster complet

Un serveur IA dédié est une machine physique entière dont les GPU sont transmis directement à votre propre système d’exploitation, de sorte que le modèle que vous entraînez ou servez ne partage le matériel avec personne. Lorsqu’une seule machine ne suffit pas, vous pouvez y ajouter des GPU ou placer d’autres machines à côté d’elle. Cette page indique le coût de chaque option, la vitesse à laquelle les machines peuvent communiquer entre elles, et laquelle de nos villes 5 héberge quelle plateforme.

Mensuel, sans engagement. Le port de chaque machine vous appartient exclusivement au niveau du commutateur, et rien ne mesure ce qui y transite.

cluster.primcastQuatre nœuds, une seule ville
Plateformes GPU4
Port le plus rapide100 Gbps
Mémoire par machine1 TB
Remise long terme15%
Comparer les plateformes

01Ce que chaque machine inclut

Ce que vous obtenez avec un serveur IA dédié ici

Les quatre mêmes éléments sur chaque nœud, d’une seule machine pour un travail de fine-tuning à plusieurs pour un entraînement.

Le GPU complet, pas une fraction

Chaque GPU est transmis directement à votre système d’exploitation. Pas d’hyperviseur, pas de partition MIG, pas de profil vGPU ni de découpage temporel : vos pilotes et frameworks voient le matériel tel qu’il est.

Un port qui vous appartient

Le port réseau n’est pas partagé au niveau du commutateur d’accès et rien ne le mesure, dans un sens comme dans l’autre. Copier un jeu de données ou un point de contrôle entre vos nœuds n’ajoute rien à la facture.

Au mois

Chaque machine fonctionne selon son propre terme d’un mois, sans engagement. Payer pour trois, six ou douze mois réduit le prix jusqu’à 15%.

Des réponses en quelques secondes

Notre chat IA répond en quelques secondes et peut consulter votre compte et vos serveurs pendant qu’il vous aide. Demandez à parler à une personne quand vous le souhaitez.

02Aller au-delà d’un seul GPU

Plus de GPU dans un serveur, ou plus de serveurs ?

Cela ressemble à la même décision, mais les coûts diffèrent, les dates de livraison diffèrent et les raisons de saturation diffèrent. Déterminez celle dont vous avez besoin avant de comparer quoi que ce soit d’autre.

AFaire évoluer la machine

Ajouter des GPU au serveur que vous avez

Choisissez cette option lorsque vous manquez de mémoire GPU ou de vitesse GPU et que le reste de la machine convient. Plusieurs GPU dans un même châssis est une configuration que nous chiffrons plutôt qu’une case à cocher au moment du paiement : le nombre qui peut y prendre place dépend de la largeur du GPU choisi et de la puissance que le châssis peut lui fournir.

Ce qui en décide
Le GPU que vous choisissez. Indiquez-le sur le chat et la réponse indique le châssis, combien peuvent y prendre place et la date.
Bon à savoir
Deux GPU ne font pas un GPU plus grand. Leur mémoire ne s’additionne que lorsque votre logiciel répartit le modèle sur les deux (parallélisme par tenseur ou par pipeline, pris en charge par les outils courants d’entraînement et d’inférence), et une partie de la vitesse est consacrée au trafic entre eux. Si votre travail consiste en de nombreuses tâches distinctes, deux GPU en traitent simplement deux fois plus.

BFaire évoluer le cluster

Ajouter des machines à côté de la première

Choisissez cette option lorsque la machine elle-même est pleine : plus de processeurs, plus de mémoire ou plus de place pour la tâche suivante. La plus grande plateforme ici s’arrête à 2 sockets processeur et 1 TB de mémoire, et au-delà, la réponse est un autre serveur.

Ce qui en décide
La ville et le port. Les machines qui travaillent ensemble appartiennent au même bâtiment, et le lien entre elles est le port réseau de chacune, facturé par machine.
Bon à savoir
Il n’existe pas de produit cluster ni de nombre minimal de nœuds. Chaque serveur est commandé, facturé, mis à niveau et remplacé individuellement : vous pouvez donc commencer avec deux et en ajouter un troisième le mois suivant.

03Les plateformes

Choisissez votre serveur de machine learning selon ce qui vous limite

Chaque plateforme sur laquelle nous montons un GPU, comparée sur ce qui compte une fois que vous dépassez une machine. Lisez les deux colonnes du milieu ensemble : la plateforme offrant le chemin le plus large vers le GPU a le port supérieur le plus lent, et le port le plus rapide repose sur un bus plus ancien.

Extrait du catalogue de commandes sur lequel notre paiement s’appuie, lu au chargement de cette page.
PlateformeLignes vers le GPUPort supérieurSocketsMémoire, jusqu’àVilles
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps incl.21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps incl.21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps incl.2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps incl.21 TB2
  • Lignes vers le GPULa vitesse à laquelle les données circulent entre le processeur et le GPU. Cela compte lorsque vous diffusez des lots d’entraînement ou qu’un rendu envoie des données de scène à chaque image, et presque pas du tout une fois qu’un modèle est chargé et reste en mémoire GPU.
  • Port supérieurLa vitesse à laquelle une machine communique avec la suivante. Un serveur unique qui fait son propre travail ne le remarque jamais. Pour une tâche répartie sur plusieurs machines, c’est toute la question.
  • DoncUne tâche qui tient dans une machine et sollicite le bus veut les lignes les plus larges. Une tâche répartie sur plusieurs machines veut le port et peut se contenter d’un bus plus ancien. Les deux à la fois est le seul mélange que nous n’avons pas, et vous devez le savoir avant de payer.

Quel GPU va dans chacune de ces plateformes, et ce qu’il ajoute par mois, figure sur les serveurs dédiés GPU, chaque prix étant affiché en regard de la machine à laquelle il appartient. Cette page n’indique le prix d’aucun GPU, afin qu’un chiffre ne se retrouve jamais à côté du mauvais serveur.

04Le lien entre les machines

Un cluster GPU multi-nœuds paie le port sur chaque nœud

La liaison réseau fait partie de chaque serveur, donc quatre machines à 10 Gbit/s signifient quatre ports 10 Gbit/s chaque mois. C’est la ligne qui surprend ceux qui n’ont jamais chiffré qu’un seul serveur, alors le tableau ci-dessous fait la multiplication pour vous.

Par mois, en plus de chaque machine. Dollars à New York, Miami et San Francisco ; le même montant est facturé en euros à Amsterdam et Bucarest. La dernière colonne indique combien de plateformes GPU offrent cette vitesse.
PortUn serveurDeuxQuatrePlateformes
1 Gbpsincl.incl.incl.4 / 4
2 Gbps$189$378$7564 / 4
3 Gbps$299$598$1,1964 / 4
5 Gbps$459$918$1,8364 / 4
10 Gbps$529$1,058$2,1164 / 4
20 Gbps$1,629$3,258$6,5164 / 4
40 Gbps$2,799$5,598$11,1962 / 4
100 Gbps$3,999$7,998$15,9961 / 4

Un cluster plus large peut coûter moins cher qu’un cluster plus rapide. À certains endroits de ce tableau, deux machines un cran en dessous coûtent moins cher qu’une machine un cran au-dessus, et vous obtenez un serveur supplémentaire. Cela n’est rentable que si votre travail se répartit sur plusieurs machines.

Ce que nous ne vendons pas entre les machines. Notre catalogue répertorie des ports Ethernet et rien d’autre : pas de tissu InfiniBand ni de pont NVLink. Si votre configuration a besoin de l’un ou l’autre, demandez avant de commander. La réponse est un devis, et elle peut être non. La plus petite configuration multi-nœuds que nous louons est le NVIDIA DGX Spark, où jusqu’à quatre unités se relient via ConnectX-7.

Le port d’une seule machine, à lui seul, est couvert sur bande passante non mesurée.

05Où il peut vivre

Pour un cluster GPU, choisissez d’abord la ville

Les machines qui travaillent ensemble appartiennent à un même bâtiment, et nos centres de données ne contiennent pas tous les mêmes plateformes. Choisissez d’abord la plateforme et vous découvrirez peut-être que la ville dont vous avez besoin ne la propose pas. New York and Bucharest les détiennent toutes.

  • New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Chaque bâtiment et ce à quoi il se connecte sont décrits sur centres de données. Si votre configuration doit s’étendre sur deux villes, demandez au support de mesurer la latence entre elles avant de commander.

06Délais de mise en service

Quand vos serveurs IA sont opérationnels

Une configuration comme celle-ci comprend souvent plusieurs machines et des pièces qui ne sont pas en stock, donc vous obtenez une date avant de payer, lue selon les mêmes étapes que nos configurations de serveurs personnalisées.

  1. ~30 min

    Déjà monté en rack tel quel

    Rien n’est installé ni déplacé. Serveurs instantanés répertorie les machines prêtes à l’emploi, à consulter d’abord si vos nœuds sont ordinaires.

  2. 4–24 heures

    Pièces que nous détenons

    Le cas habituel. Les techniciens installent les GPU, construisent les disques et installent le système d’exploitation sur chaque machine, en parallèle plutôt que l’une après l’autre.

  3. 5–10 jours ouvrés

    Pièces que nous achetons

    Un élément de la spécification n’est pas une pièce que nous gardons sous la main, donc nous la commandons puis nous construisons. Avec plusieurs GPU dans une machine, le châssis est généralement ce qui prend le plus de temps.

  4. 10–15 jours ouvrés

    Une pièce rare

    Les accélérateurs de génération actuelle sont expédiés sur allocation, et la date est celle du distributeur. Là où nous achetons du matériel pour un client, nous demandons trois mois à l’avance.

Chaque étape commence une fois que la commande a passé le paiement et la vérification antifraude. La plupart passent en quelques heures ; une première commande importante d’un nouveau compte peut prendre plus de temps, et un paiement par virement ou stablecoin passe souvent plus vite qu’un paiement par carte.

Vous possédez un serveur GPU qui reste inactif ?

Listez-le sur le marketplace Primcast et louez-le à des équipes IA au mois, à un prix que vous choisissez.

Aller au marketplace

07Questions

Questions sur les serveurs IA dédiés

01Qu’est-ce qu’un serveur IA dédié ?

C’est un serveur physique loué pour vous seul et équipé d’un ou plusieurs GPU pour l’entraînement, le réglage fin ou la mise en service de modèles. Ici, les GPU sont transmis directement à votre propre système d’exploitation, sans hyperviseur ni personne d’autre sur la machine, et vous payez au mois, sans engagement.

02Puis-je louer un serveur GPU bare metal pour le deep learning ?

Oui. Chaque serveur GPU que nous louons est bare metal : vous disposez d’un accès root sur toute la machine et installez le pilote, la version CUDA et le framework attendus par votre code. Les GPU et leurs prix mensuels figurent sur la page Serveurs GPU dédiés, chacun étant indiqué avec la machine qui l’accueille.

03Un serveur peut-il contenir plusieurs GPU ?

Oui, sous forme de configuration sur devis plutôt que d’option au moment du paiement. Le nombre possible dépend de la largeur du GPU et de la puissance que le châssis peut fournir ; indiquez-nous donc sur le chat quel GPU vous voulez, et la réponse précisera le châssis, le nombre et la date.

04Comment construire un cluster GPU chez vous ?

Commandez les machines dans la même ville, sur une plateforme qui atteint la vitesse de port dont vous avez besoin, puis choisissez cette vitesse sur chacune. Elles restent des serveurs distincts avec des factures distinctes, ce qui vous permet de commencer avec deux et d’en ajouter plus tard. Indiquez-nous d’abord le nombre de nœuds et la tâche, et nous vérifierons la ville et la plateforme avant que vous ne payiez.

05Proposez-vous InfiniBand ou NVLink entre les serveurs ?

Pas comme option répertoriée. Les machines se connectent via des ports Ethernet jusqu’à 100 Gbps. Si votre configuration nécessite InfiniBand ou un pont NVLink, demandez avant de commander : ce serait un devis, et la réponse pourrait être non.

06Un serveur dédié est-il meilleur que les GPU cloud pour le machine learning ?

Cela dépend de la régularité de votre utilisation. Un serveur IA dédié coûte le même prix chaque mois, qu’il tourne à plein régime ou reste inactif ; il convient donc aux longs entraînements et aux modèles servis en continu. Le trafic n’est pas mesuré ici, donc déplacer des jeux de données entre les nœuds ou envoyer des résultats aux utilisateurs n’ajoute rien. Pour une tâche qui ne tourne que quelques heures par mois, la location à l’heure peut revenir moins cher.

07Qu’est-ce qu’un serveur HPC, et en louez-vous ?

HPC signifie calcul haute performance : simulations, rendu, code scientifique et entraînement de modèles répartis sur de nombreux processeurs ou GPU. Nous louons les composants, c’est-à-dire des machines avec jusqu’à 2 sockets et 1 TB de mémoire, des GPU à l’intérieur et des ports entre elles. Vous configurez vous-même l’ordonnanceur, Slurm ou Kubernetes ou tout autre outil déjà utilisé par votre équipe.

08Combien coûte un serveur IA dédié ?

La machine et son GPU sont tarifés ensemble sur la page Serveurs GPU dédiés. Un port plus rapide que celui inclus figure dans le tableau de cette page, par machine et par mois. Payer pour trois, six ou douze mois donne jusqu’à 15% de remise, et une configuration personnalisée entraîne des frais d’installation uniques que le configurateur affiche avant le paiement.

09Combien de temps faut-il pour en obtenir un ?

Environ quatre à vingt-quatre heures lorsque nous avons les pièces en stock, cinq à dix jours ouvrés lorsqu’elles doivent être commandées, et dix à quinze jours ouvrés pour une pièce rare. Une machine déjà montée comme vous le souhaitez peut fonctionner en environ 30 minutes.

10Louez-vous des serveurs CMP 170HX pour l’IA ?

Oui. Ils ont leur propre page, Serveurs CMP 170HX, avec les configurations et leurs prix mensuels.

11Où se trouvent vos serveurs GPU ?

À New York, Miami, San Francisco, Amsterdam et Bucarest. Toutes les plateformes ne sont pas dans chaque ville ; New York and Bucharest les possèdent toutes, ce qui en fait les endroits les plus simples pour faire grandir un cluster.

12Quelle aide reçois-je en cas de panne ?

Notre chat IA répond en quelques secondes et peut vérifier votre compte et vos serveurs pendant qu’il vous aide, et une personne prend le relais dès que vous le demandez. Les délais de réponse et le remplacement du matériel figurent sur la page Support.

Planifiez-le avec nous

Dites-nous ce que votre modèle doit faire

Le nombre de nœuds, si le travail se répartit, et avec quoi il doit communiquer. Notre chat IA répond en quelques secondes, une personne intervient quand vous le demandez, et si une seule machine suffit, nous vous le dirons.

Voir les prix des GPU