Serveurs GPU · A100 et H100
Serveur dédié A100 H100 avec le GPU complet, jamais une fraction
Un serveur dédié A100 H100, tel que nous le louons, est une machine entière avec un GPU NVIDIA transmis directement à votre propre système d’exploitation : l’A100 avec 40 ou 80 GB, ou le H100 avec 80 GB. Vous payez au mois, personne d’autre ne l’utilise, et le port est sans limite de trafic, donc déplacer des jeux de données et des points de contrôle ne coûte rien de plus.
- H100 80 GB$1,682.67Hopper · HBM2e · PCIe Gen 5 · FP8
- A100 80 GB$972.47Ampere · HBM2e · 1 935 GB/s
- A100 40 GB$772.47Ampere · HBM2 · 1 555 GB/s
Pas d’encodeur vidéo sur aucun des trois. Mémoire ECC sur les trois.
Vous possédez un A100 ou un H100 qui reste inactif ?
Mettez la machine sur la place de marché Primcast et louez-la à des personnes qui ont besoin de calcul, mois après mois.
00Place de marché
Ou louez un A100 ou un H100 auprès de quelqu’un qui en possède un
Ce sont des machines que leurs propriétaires mettent sur notre place de marché. Une annonce indiquée comme détenue par notre société sœur, Server Room, est louée sur serverroom.net plutôt qu’ici.
01À quoi ils servent
Un serveur IA H100 pour l’entraînement, un A100 pour servir des modèles
Ces GPU font une seule chose : garder un modèle en mémoire rapide et faire les calculs dessus. Si vous entraînez ou ajustez finement, ou si vous répondez aux requêtes d’un modèle déjà entraîné, c’est le rayon qu’il vous faut.
01Vitesse mémoire
Ils lisent le modèle rapidement
Une fois qu’un modèle est en mémoire GPU, sa vitesse de réponse dépend surtout de la vitesse à laquelle le GPU peut lire ses poids. L’A100 80 GB lit à 1 935 GB/s, plus de deux fois les 864 GB/s du L40S.
02Entraînement
Le H100 ajoute le FP8
Hopper apporte le Transformer Engine et le FP8, et c’est pourquoi on choisit le H100 pour entraîner ou ajuster finement de grands modèles. Si votre exécution doit se terminer plus tôt, et pas seulement se terminer, c’est la raison de payer pour cela.
03Longues exécutions
Conçu pour des semaines de charge
Mémoire à correction d’erreurs partout et matériel de centre de données fait pour tourner à plein régime. Pour un entraînement qui dure des semaines et coûte de l’argent réel, un bit inversé que vous ne remarquez jamais est le risque que vous éliminez.
04Un seul locataire
Le GPU complet est à vous
Pas de tranche MIG, pas de profil vGPU, pas de temps partagé, et aucun autre client sur la machine. Certaines offres cloud d’A100 sont une fraction d’un GPU, alors vérifiez cela avant de comparer les prix.
02Avant de commander
Deux choses à savoir sur les NVIDIA H100 et A100
Ils ne peuvent pas encoder la vidéo
La propre matrice de prise en charge de l’encodage et du décodage de NVIDIA indique zéro encodeur NVENC sur l’A100 et sur le H100. Ils peuvent décoder (cinq moteurs sur l’A100, sept sur le H100), mais chaque image qui en sort doit être encodée par le processeur. Ils n’ont pas non plus de sorties d’affichage, donc les bureaux à distance, les stations de travail et les serveurs de jeux n’ont pas leur place ici.
Si vous avez besoin d’une sortie vidéo, le NVIDIA L40S avec trois encodeurs AV1 est le GPU à louer, et notre page de transcodage montre combien de chaînes en direct il peut porter.
L’A100 reste un bon achat
C’est la génération précédente, et pour un modèle qui tient, c’est souvent le meilleur achat. L’A100 40 GB contient un modèle de 13 milliards de paramètres en 8 bits avec de la marge, et celui de 80 GB accepte un modèle de 30 milliards en 8 bits.
Louez le H100 quand votre code utilise le FP8 et les cœurs tensoriels plus récents, ou quand le délai d’obtention des résultats est ce que vous payez. Louez un A100 quand la question est « est-ce que ça tient, et à quelle vitesse ça lit ».
03Spécifications
Spécifications des NVIDIA H100 et A100
Chiffres tirés des fiches techniques de NVIDIA et de ses tableaux de spécifications publiés. Là où nous n’avons pas pu faire correspondre un chiffre à la carte exacte que nous installons, la fiche l’omet.
H100 80GB
Hopper
80 GB HBM2e
350 W
PCIe Gen 5 x16
None. Decode only (7 engines)
Yes
A100 80GB
Ampere
80 GB HBM2e
6,912
1,935 GB/s
300 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
A100 40GB
Ampere
40 GB HBM2
6,912
1,555 GB/s
250 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
Pourquoi le H100 n’affiche ni nombre de cœurs ni bande passante : notre fiche produit mélange deux cartes, le module SXM qui se fixe sur une carte de base et le GPU PCIe qui va dans nos serveurs. La mémoire HBM2e de 80 GB est celle du GPU PCIe, et c’est celle que vous recevez. Demandez sur le chat et nous vous dirons exactement quelle carte va dans votre machine.
04Choisir
A100 vs H100 : lequel louer
Chaque GPU est une ligne mensuelle en plus du serveur dans lequel il se trouve, donc la vraie question est de savoir si le passage au niveau supérieur en vaut la peine pour votre travail. Le tableau met côte à côte la mémoire et le coût mensuel.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
La RTX PRO 6000 Blackwell figure dans le tableau exprès : elle contient 96 GB, plus que tout GPU de cette page. Vous abandonnez le NVLink et un peu de vitesse mémoire, et vous gagnez quatre encodeurs vidéo. Si votre seule question est de savoir si le modèle tient, lisez la page de la RTX PRO 6000 avant de décider.
Choisir entre les deux A100 est d’abord une question de capacité. Si votre modèle et son contexte tiennent dans 40 GB avec un cinquième de marge, prenez le plus petit. Si vous êtes proche de la limite, l’A100 80 GB vous donne de la place et lit aussi plus vite.
05La machine
Quel serveur A100 ou machine H100, et la liaison PCIe qu’il reçoit
L’A100 est un GPU PCIe Gen 4 et le H100 est Gen 5, tandis que nos plateformes serveur sont Gen 3 et Gen 4. Le H100 n’obtient donc jamais ici le bus complet pour lequel il a été conçu, et nous préférons que vous le sachiez maintenant.
Intel Xeon Silver / Gold
AMD EPYC
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
Que cela compte ou non dépend de votre travail. Un serveur d’inférence avec les poids déjà chargés touche à peine le connecteur. Une boucle d’entraînement qui tire un nouveau lot de la mémoire hôte à chaque étape le ressent à chaque étape. Vous ne savez pas dans quel cas vous êtes ? Dites-nous ce que vous allez exécuter et nous vous orienterons vers la machine.
06Dimensionnement
Ce qui tient dans 80 GB de mémoire GPU
Poids uniquement, pour l’A100 80 GB et le H100. Laissez de la place pour le contexte et l’environnement d’exécution par-dessus.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — fits |
Sur l’A100 40 GB, un modèle de 30 à 34 milliards tient avec de la marge seulement en 4 bits. Un modèle de 70 milliards en 16 bits ne tient sur aucun GPU unique que nous vendons ; cela demande plus d’un GPU, et c’est là que le NVLink entre en jeu. Pour faire le calcul dans l’autre sens, de votre modèle au GPU, utilisez la page de dimensionnement mémoire LLM.
07Prix
Hébergement GPU A100 et prix H100, avec la machine
Le GPU est une ligne sur votre facture et le serveur en est une autre. Les deux proviennent du même catalogue de commandes que celui utilisé par le paiement, donc chaque prix ci-dessous correspond à la machine exacte à côté de lui.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| A100 40GB | Intel Xeon E5-2600 v3/v4 | $699 | $772.47 Configure this build → |
| A100 40GB | Intel Xeon Silver / Gold | $699 | $782.67 Configure this build → |
| A100 40GB | AMD EPYC | $699 | $916.59 Configure this build → |
| A100 80GB | Intel Xeon E5-2600 v3/v4 | $899 | $972.47 Configure this build → |
| A100 80GB | Intel Xeon Silver / Gold | $899 | $982.67 Configure this build → |
| A100 80GB | AMD EPYC | $899 | $1,116.59 Configure this build → |
| H100 80GB | Intel Xeon Silver / Gold | $1,599 | $1,682.67 Configure this build → |
| H100 80GB | AMD EPYC | $1,599 | $1,816.59 Configure this build → |
Le port est sans limite de trafic dans les deux sens et sans frais de sortie, et sur ce type de travail, c’est souvent la plus grosse facture ailleurs. Une adresse IPv4 est fournie avec le serveur, il n’y a pas de contrat, et vous payez un mois à la fois. Pour tous les autres GPU que nous installons, au même prix, voir tous les serveurs GPU avec prix.
08Livraison et aide
Dans combien de temps vous l’obtenez, et qui répond
Ces GPU sont les pièces les plus susceptibles d’être achetées pour vous. On vous dit laquelle de ces quatre situations s’applique avant que vous payiez.
- Environ 30 minutes
Déjà en baie
Une machine avec le GPU installé est en attente dans une baie. Elle est à vous environ 30 minutes après l’approbation de la commande.
- 4 à 24 heures
Nous avons le GPU
Nous installons un GPU que nous avons en stock dans le serveur que vous avez choisi.
- 5 à 10 jours ouvrés
Nous l’achetons
Le GPU est commandé pour vous auprès d’un distributeur, puis installé dans votre serveur.
- 10 à 15 jours ouvrés
Sur allocation
Les accélérateurs actuels sont parfois rationnés par le distributeur, et c’est le délai le plus long que nous annonçons.
Les questions avant ou après votre commande vont à notre chat. Un assistant IA répond en quelques secondes et peut consulter votre compte et votre serveur, et une personne de notre équipe intervient dès que vous le demandez. Les machines qui sont en baie et prêtes immédiatement sont sur serveurs instantanés.
09Questions
Questions sur la location d’un A100 ou d’un H100
01Puis-je entraîner des modèles d’IA sur un seul serveur H100 ?
Oui. Un H100 avec 80 GB entraîne et ajuste des modèles dont les poids, les gradients et l’état de l’optimiseur tiennent dans cette mémoire, et le FP8 via le Transformer Engine étend encore ses capacités. L’entraînement complet d’un grand modèle nécessite généralement plus d’un GPU. Plusieurs GPU dans une même machine, ou plusieurs machines ensemble, constituent une configuration que nous chiffrons : voir serveurs multi-GPU et multi-nœuds.
02Est-ce la même chose qu’un NVIDIA DGX H100 ?
Non. Un DGX H100 est le système propre de NVIDIA avec huit modules H100 SXM sur une même carte mère. Ce que nous louons est un GPU H100 PCIe dans un serveur standard, adapté à l’entraînement sur un seul GPU, à l’ajustement fin et à l’inférence. Si vous avez besoin de plusieurs GPU reliés entre eux, voir serveurs multi-GPU.
03Puis-je transcoder de la vidéo sur un A100 ou un H100 ?
Pas au niveau matériel. Aucun de ces GPU ne possède d’encodeur vidéo, donc l’encodage repose sur le processeur et s’exécute à la vitesse du processeur. Ils assurent en revanche le décodage, donc une tâche qui lit de la vidéo et produit autre chose fonctionne très bien. Pour une sortie vidéo, louez le L40S, qui dispose de trois encodeurs AV1.
04Le GPU est-il divisé en instances MIG ou partagé ?
Non. Vous recevez le GPU complet transmis à votre propre système d’exploitation, sur une machine que personne d’autre n’utilise. Les deux GPU prennent en charge MIG, vous pouvez donc le partitionner vous-même si cela convient à votre travail. C’est votre choix, fait sur votre propre machine.
05Dois-je louer l’A100 40 Go ou 80 Go ?
Commencez par la capacité. Si le modèle et son contexte tiennent dans 40 GB avec environ un cinquième de libre, le plus petit GPU est le meilleur achat. L’A100 80 GB lit aussi plus vite, 1,935 GB/s contre 1,555 GB/s, alors prenez-le si vous êtes proche de la limite en mémoire ou en vitesse.
06Quel pilote NVIDIA et quelle version CUDA vais-je recevoir ?
Ceux que vous installez. Le serveur arrive avec un système d’exploitation propre et un accès root, et vous fixez les versions du pilote, de CUDA et du framework sur lesquelles votre code a été testé. Rien ne se met à jour dans votre dos. Si vous voulez que le pilote soit installé avant la livraison, indiquez-le lors de la commande et précisez la version.
07Puis-je mettre deux A100 ou H100 dans un seul serveur ?
Oui, en tant que configuration sur devis plutôt qu’option de commande directe. Les deux GPU prennent en charge NVLink, donc deux d’entre eux peuvent partager le travail via un pont rapide. Le châssis, le nombre de GPU et le délai dépendent du GPU, alors dites-nous ce que vous prévoyez d’exécuter et nous vous proposerons la configuration.
08Dans combien de temps puis-je avoir un serveur A100 ou H100 ?
Cela dépend de l’endroit où se trouve le GPU. Environ 30 minutes après validation si une machine en rack en est déjà équipée, 4 à 24 heures si nous avons le GPU en stock, 5 à 10 jours ouvrés si nous devons l’acheter, et 10 à 15 jours ouvrés pour un GPU sur allocation. Vous êtes informé du cas applicable avant de payer. Les machines en rack sont répertoriées sur serveurs instantanés.
Choisissez le GPU, puis la machine qui l’entoure
Chaque configuration A100 et H100 est tarifée ci-dessus avec son serveur. Choisissez-en une, configurez-la, et la commande affiche le total mensuel complet avant que vous ne payiez.