Multi-cartes et multi-nœuds · Primcast LLC · depuis 2004

S'étendre ne signifie pas s'agrandir.

La question de l'installation d'une seule carte graphique par machine est réglée, et son prix est indiqué individuellement sur la page dédiée. Ici, la situation se pose différemment : faut-il installer une deuxième carte dans le même boîtier, ou une deuxième machine à côté de la première ? Ces deux options semblent identiques, mais elles sont opposées : la plateforme offrant le plus de lignes réseau à une carte présente la limite de bande passante la plus basse et nécessite le moins de salles. Personne ne communique ces informations sur son propre catalogue. Le premier tableau ci-dessous en témoigne.

Comparez les plateformes Qu'est-ce qui unit deux machines ?

Chaque machine est un locataire, chaque carte est transmise à votre propre système d'exploitation, et rien ici ne compte un octet entre vos nœuds.

Le registre

  • 4Platforms that take a card
  • 100 GbpsFastest port on any of them
  • 2Sockets in one machine, at most
  • 1 TBMemory in one machine, at most
  • 2Rooms holding every platform

Cette page a été consultée à partir du catalogue de commandes au moment de sa consultation, et non saisie au clavier. Quant au contenu des présentoirs ce matin, c'est une autre question, et c'est aux serveurs instantanés que vous trouverez la réponse.

Deux questions différentes

À laquelle demandez-vous exactement ?

Les gens arrivent ici avec l'idée qu'« il me faut plus », sans savoir précisément de quoi. Les deux solutions ont un coût, un mode de livraison et des limites différents ; il est donc important de le préciser avant de poursuivre.

Plus de cartes dans une seule machine

Une deuxième carte dans le même châssis

Vous manquez de mémoire vive ou de débit, alors que le reste de votre machine fonctionne correctement. Il s'agit d'une configuration sur mesure, et non d'une simple option à cocher lors de la validation de votre commande. En effet, le nombre de cartes compatibles dépend de leur largeur et de la consommation électrique du boîtier — deux paramètres qui ne figurent pas dans un catalogue et que nous ne pouvons pas estimer.

Ce qui détermine le délai de livraison, c'est la carte, pas la plateforme. Indiquez la référence de la pièce ; la réponse précisera le châssis, la quantité et le délai.

Ce que l'on attend souvent, mais que l'on n'obtient pas : deux cartes ne constituent pas une seule carte plus puissante. Leur mémoire s'additionne uniquement si le programme exécuté peut répartir un modèle entre les deux (parallélisme tensoriel ou pipeline), pris en charge par tous les environnements d'exécution sérieux et qui engendre un léger coût en termes de bande passante. Pour les tâches déjà composées de nombreux traitements indépendants, deux cartes représentent simplement deux fois plus de puissance de calcul, sans aucune modification nécessaire.

D'autres machines à côté

Une deuxième machine à côté de la première

Vous avez atteint les limites de la machine plutôt que celles de la carte : plus de sockets, plus de mémoire, plus d’espace pour exécuter la prochaine tâche. Sur les meilleures plateformes ci-dessous, cette limite est atteinte 2 sockets and 1 TB , et au-delà, la solution consiste à ajouter un serveur plutôt qu’un serveur plus puissant.

Ce qui détermine la connectivité : la salle et le port. Deux machines qui doivent communiquer doivent se trouver dans le même bâtiment, et ce qui les relie est le port de chacune d’elles — un port par machine, donc le réseau sous quatre nœuds est constitué de quatre ports.

Ce que les gens attendent et n'obtiennent pas : il n'existe pas de produit de type cluster ni de nombre minimum de nœuds. Chaque machine est commandée, facturée, mise à niveau et remplacée individuellement, c'est pourquoi aucune information sur cette page n'indique un prix pour un cluster — un cluster correspond à plusieurs factures.

Le commerce

La plateforme qui excelle dans un domaine est la pire dans l'autre.

Chaque plateforme sur laquelle nous installons une carte est définie selon des axes qui déterminent un cluster plutôt qu'une machine unique. Lisez les deux colonnes centrales ensemble : l'argument principal de cette page s'y trouve : elles évoluent en sens inverse. La génération du bus correspond à la valeur publiée par la page GPU, issue du même tableau ; les deux pages ne peuvent donc pas être en désaccord sur un lien.

Read from the order catalogue when this page was served. The two middle columns are the trade.
PlatformLanes to the cardNetwork ceilingSocketsMemory ceilingRooms
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps included2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps included21 TB2

En lisant ce tableau

  • Le nombre de voies mémoire de la carte détermine la vitesse de transfert des données entre le processeur et l'accélérateur. Ce facteur est crucial en permanence pour le traitement par lots d'un modèle d'entraînement, pour le rendu qui alimente la scène en données à chaque image, et pour toute donnée provenant de la mémoire de la carte. Il devient quasiment insignifiant une fois qu'un modèle est installé et stocké sur la carte.
  • La limitation de bande passante du réseau détermine la vitesse à laquelle une machine peut communiquer avec une autre. Elle est sans importance pour un serveur unique effectuant sa propre tâche, mais elle constitue le principal enjeu pour une tâche répartie entre plusieurs serveurs.
  • La rubrique « Rooms » détermine si l’option est disponible là où vous en avez besoin, et c’est la colonne que les gens lisent en dernier et qu’ils devraient lire en premier — voir ci-dessous.
  • Ainsi : une tâche qui tient sur une seule machine et sollicite fortement le bus nécessite les voies les plus larges et ne se soucie pas du port. Une tâche répartie sur plusieurs machines nécessite le port et peut tolérer un bus plus ancien. Notre catalogue ne propose pas la combinaison idéale : nous préférons vous le préciser dès maintenant plutôt qu’après votre paiement.

Le prix de chaque carte graphique installée et son coût mensuel sont indiqués pour les serveurs dédiés GPU : chaque carte installée est tarifée en fonction de la machine correspondante. Cette page n'affiche aucun prix, volontairement : cet argent est réservé à une seule page.

Qu'est-ce qui les unit ?

L'interconnexion est achetée par machine, et c'est ce calcul que les gens font souvent mal.

Un port est une propriété d'un serveur. Quatre machines à une vitesse donnée consomment cette vitesse quatre fois par mois, et c'est ce poste de dépense qui transforme un budget de cluster confortable en un budget problématique. Ci-dessous figure le tableau avec les multiplications déjà effectuées, car une page expliquant comment gérer plusieurs machines et vous laisser faire le calcul vous-même ne remplit pas sa fonction.

Per month, on top of the machine. The port is bought per node, so the right-hand columns are what the same speed costs across a cluster.
PortOne machineTwoFourOffered on
1 Gbpsincludedincludedincludedevery platform
2 Gbps$189$378$756every platform
3 Gbps$299$598$1,196every platform
5 Gbps$459$918$1,836every platform
10 Gbps$529$1,058$2,116every platform
20 Gbps$1,629$3,258$6,516every platform
40 Gbps$2,799$5,598$11,1962 of 4
100 Gbps$3,999$7,998$15,9961 of 4

Deux choses à noter avant de choisir un échelon

  • La progression n'est pas linéaire ; un groupe de machines plus large peut donc s'avérer moins cher qu'un groupe plus rapide. Comparez les différents niveaux entre eux plutôt qu'avec rien : à plusieurs endroits du tableau, deux machines d'un niveau inférieur coûtent moins cher qu'une machine d'un niveau supérieur, et vous offrent deux machines. La pertinence de ce choix dépend entièrement de la répartition de votre travail.
  • Le haut de l'échelle n'est pas disponible sur tous les quais. La colonne de droite indique le nombre de quais atteignant chaque vitesse, les quais les plus rapides étant accessibles uniquement aux bus plus anciens. Le principe est le même que dans le tableau ci-dessus, mais en venant de l'autre côté.

Ce que nous n'avons pas, dit simplement

Notre catalogue ne propose rien de plus qu'un port Ethernet entre les machines. Il ne mentionne ni infrastructure InfiniBand ni pont carte à carte, et cette page ne le sous-entend pas. Si votre configuration nécessite l'un ou l'autre, veuillez nous contacter avant de commander : vous obtiendrez un devis, et la réponse pourrait être négative. Il est plus important pour vous d'être informé qu'une page qui laisse entendre le contraire.

Toutes les vitesses mentionnées ci-dessus sont illimitées dans les deux sens, sans quota de transfert ni ligne de sortie facturée. Ainsi, les données échangées entre vos nœuds sont gratuites, quel que soit leur volume, contrairement à ce qui se fait habituellement lors de la facturation. La bande passante illimitée correspond à la page dédiée à un port considéré individuellement, sur une seule machine.

Là où il peut exister

Pour une seule machine, vous choisissez d'abord la plateforme. Pour plusieurs, vous choisissez d'abord la salle.

Les machines qui doivent communiquer entre elles se trouvent dans le même bâtiment, et nos salles ne disposent pas toutes des mêmes quais. Choisissez d'abord le quai ; vous constaterez peut-être que la salle où vous en avez besoin ne le propose pas. Ces informations proviennent du même catalogue que tout le reste ; une ligne arrivant dans une nouvelle ville apparaît donc ici séparément.

  • New York, US4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest, EU4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami, US3 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco, US2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam, EU2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

L'emplacement précis du bâtiment, ses connexions et les personnes qui s'y trouvent : les centres de données englobent ces cinq aspects. La latence entre deux de nos villes est une donnée réelle, et non un argument marketing. Notre assistance la mesurera pour votre paire de villes sur demande, sans vous laisser l'estimer à partir d'une carte.

La manière dont elle est citée et la rapidité avec laquelle elle existe

Les travaux multi-nœuds sont datés avant leur paiement, et non après.

Une configuration de ce type implique plusieurs machines et souvent plusieurs pièces qui ne sont pas disponibles en stock. Il est donc honnête de ne pas publier une promesse de livraison, mais plutôt la date de livraison prévue – la même configuration à commander et la page dédiée au GPU, en d'autres termes.

  1. ~30 minutes

    Les machines sont déjà installées en rack telles quelles.

    Rien n'est installé, rien n'est déplacé. La liste des serveurs instantanés répertorie l'infrastructure actuelle ; pour un cluster de nœuds classiques, il est conseillé de la consulter en premier lieu.

  2. 4 à 24 heures

    Les pièces sont celles que nous détenons

    Cas classique. Les techniciens installent les cartes, construisent les baies et installent les systèmes d'exploitation — machine par machine, en parallèle, et non l'une après l'autre.

  3. 5 à 10 jours ouvrables

    Les pièces doivent être achetées en

    Certains éléments du cahier des charges ne sont pas en stock. Nous les commandons, puis nous assemblons le système. C'est la procédure la plus courante pour un châssis multi-cartes, car c'est généralement le châssis lui-même qui représente la plus grande partie du travail, et non la carte.

  4. 10 à 15 jours ouvrables

    Une pièce est rare

    Les accélérateurs de dernière génération fonctionnent par allocation et la date est fixée par le distributeur, pas par nous. Nous vous communiquons les détails avant votre engagement. Pour tout achat de matériel destiné à un client, nous demandons un paiement anticipé de trois mois, car nous ne pouvons pas relouer la machine si le compte est clôturé au bout de deux semaines.

Chaque étape commence lorsque la commande est validée après le paiement et la vérification anti-fraude. Nous ne pouvons pas garantir cette étape, car la plupart des commandes sont validées en quelques heures. Une première commande importante depuis un nouveau compte peut prendre plus de temps. Pour une commande de cette envergure, un virement bancaire ou un paiement en stablecoin est généralement plus rapide qu'un paiement par carte. Il est donc important de le savoir avant qu'une vérification anti-fraude ne retarde la visite de votre rack.

Décrire une architecture multi-nœuds ou multi-cartes est plus rapide en une phrase qu'avec un formulaire. (le nombre de nœuds, la répartition des tâches et les systèmes avec lesquels ils communiquent) et quelqu'un ayant déjà utilisé ce type d'architecture pourra vous répondre, y compris si une seule machine suffit.

For the record

Everything on this page, as figures.

Read from the order catalogue when this page was served. Card prices are deliberately not among them — GPU dedicated servers holds every one, against the exact machine each figure belongs to.

Cards in one machine
More than one is a build we quote rather than a checkout option. How many fit depends on the physical width of the card and on the power budget, so the honest answer needs the specific card. Ask, and the reply names the chassis, the count and the lead time.
Machines in one cluster
No limit we impose. Each is a whole physical server rented on its own terms, and they are ordered, billed and replaced independently — there is no cluster product and no minimum node count.
Platforms that take a card
4, and they are not interchangeable. The one with the widest bus to the card (AMD EPYC, PCIe 4.0, 128 lanes per socket) has the lowest network ceiling (20 Gbps) and is in 2 of our 5 rooms. The one that reaches 100 Gbps (Intel Xeon Silver / Gold) gives a card an older bus.
What joins two machines
The port on each of them. Speeds run from the included 1 Gbps on every one of them up to 100 Gbps, priced per machine and per month, so a cluster pays for the speed once per node. There is no NVLink fabric and no InfiniBand here; anything beyond an Ethernet port between two of our machines is quoted rather than listed.
Ceilings in one machine before a second one is needed
2 sockets and 1 TB of memory on the best of these platforms. Past either, the answer is another machine.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest. Machines that talk to each other should be in one of them together, and New York and Bucharest hold every platform on this page.
Bandwidth
Unmetered, both directions, at every speed on the ladder. No transfer allowance, no egress line on any invoice — which is what makes moving a dataset between nodes free rather than metered.
Tenancy
One tenant per physical machine, on every node. Cards are passed through to your own operating system: no hypervisor, no MIG partition, no vGPU profile, no time-slicing.
How soon
The same ladder as any build here: about four to twenty-four hours when the parts are ones we hold, five to ten working days when they have to be bought in, and ten to fifteen when a part is scarce. A multi-node build is quoted with its long pole named before you commit.
Term
One month, no contract, on each machine separately. Three, six and twelve-month cycles take up to 15% off. Where hardware is bought in for one customer we ask for three months up front.
What this page does not price
Cards. Every graphics card we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, priced against the exact machine each figure belongs to.