Les accélérateurs — et ce qu’ils ne feront pas

Deux choses qui surprennent les gens

Elles ne peuvent pas encoder de vidéo. Du tout.

La propre matrice de prise en charge de l’encodage et du décodage de NVIDIA indique zéro moteur NVENC sur l’A100 et zéro sur le H100. Elles décodent — cinq moteurs sur l’A100, sept sur le H100 — mais il n’y a aucun encodeur sur la carte, donc chaque image produite par ces cartes doit être encodée par le processeur à la place. Si votre pipeline produit de la vidéo, ce n’est pas le bon rayon, et la L40S avec ses trois encodeurs AV1 est la bonne. C’est à une page d’ici, sur /l40s.

Ces cartes n’ont pas non plus de sorties d’affichage. Ce sont des composants de calcul sans tête. Rien de ce qui attend un framebuffer — un bureau virtuel, un poste de travail distant, un serveur de jeu — n’a sa place dessus.

L’A100 n’est pas obsolète, et la carte de 40 Go n’est pas une erreur

L’A100 est la génération précédente, et elle lit ses poids à 1 555 Go/s avec 40 Go et à 1 935 Go/s avec 80 Go. Pour un modèle qui tient, ce débit de lecture est ce qui détermine le nombre de jetons par seconde que vous obtenez, et il reste très loin devant toutes les cartes non empilées du catalogue. La carte de 40 Go contient confortablement un modèle de trente milliards de paramètres en précision huit bits, ce qui est la plupart de ce que les gens servent réellement, pour une fraction de ce que coûte le H100 chaque mois.

Achetez le H100 quand le modèle a réellement besoin de Hopper — le moteur transformer, le FP8, les unités tensor plus récentes — ou quand l’exécution doit se terminer plus tôt plutôt que simplement se terminer. Achetez une A100 quand la question est de savoir si ça tient et à quelle vitesse ça lit, ce qui est la question la plus courante.

Les spécifications, telles que publiées

Chiffres tirés des propres fiches techniques de NVIDIA et des tableaux de spécifications Tesla, cités dans la source de cette page. Lorsqu’un chiffre n’a pas pu être vérifié par rapport à la pièce exacte que nous installons, cette page n’affiche rien plutôt qu’une supposition.

Le H100 n’affiche ni nombre de cœurs ni bande passante ci-dessus, et c’est délibéré. Notre pièce est enregistrée dans la boutique sous un nombre de cœurs appartenant au module SXM, qui est une carte qui se boulonne sur une carte de base plutôt que dans un slot ; la mémoire HBM2e de 80 Go qu’elle enregistre également appartient à la carte PCIe, qui est ce qui va réellement dans ces machines. Plutôt que d’en choisir un et de l’afficher avec assurance, la page affiche la mémoire sur laquelle les deux sources s’accordent et omet le reste. Demandez-nous et nous vous dirons exactement quelle carte sera installée dans la vôtre.

Les trois côte à côte, et ce qui se trouve au-dessus

Depuis nos propres rayons. Toutes sont commandables aujourd’hui, dans le même châssis, donc la question est de savoir laquelle vaut la différence.

La dernière ligne est là parce que c’est la comparaison honnête et que la plupart des fiches la cachent : la RTX PRO 6000 Blackwell contient 96 Go, plus que n’importe quel accélérateur de cette page. Comparez sa mémoire et son prix à ceux du H100 dans le tableau ci-dessus plutôt que de nous croire sur parole pour l’un ou l’autre. Ce à quoi elle renonce, c’est le débit de lecture et NVLink ; ce qu’elle gagne, ce sont quatre encodeurs vidéo et le ray tracing. Si votre question est est-ce que ça tiendra, lisez /rtx60 avant de vous engager sur ce rayon.

Dans quelle machine elles vont, et quelle liaison elles y obtiennent

L’A100 est une carte PCIe Gen 4 et le H100 est Gen 5, tandis que nos plateformes sont Gen 3 et Gen 4. Le H100 n’obtient donc jamais le bus complet pour lequel il a été conçu sur aucune machine que nous exploitons, et cette page le dit plutôt que de vous laisser le découvrir.

Que cela vous coûte quelque chose dépend entièrement de la forme du travail. Un point de terminaison d’inférence dont les poids sont résidents touche à peine le slot et ne s’en apercevra pas. Une boucle d’entraînement qui diffuse un nouveau lot depuis la mémoire hôte à chaque étape s’en apercevra à chaque étape. Si vous n’êtes pas sûr de votre cas, dites-nous quel est le travail avant de commander — c’est cela qui décide de la machine, pas la carte.

Ce qui tient réellement dans 80 Go

L’A100 de 40 Go contient le même tableau un cran plus bas : un modèle de trente à trente-quatre milliards de paramètres ne tient avec de la marge qu’en quatre bits, et en huit bits ses 34 Go de poids ne passent même pas la barre la plus stricte. Un modèle de soixante-dix milliards en seize bits ne tient sur aucune carte unique que nous vendons — c’est une configuration à deux cartes, et la raison pour laquelle la ligne NVLink ci-dessus compte.

Ce tableau répond à « qu’est-ce qui tient dans cette carte ». La question dans l’autre sens — combien de mémoire un modèle nécessite, et quelle carte la satisfait — fait l’objet d’une page à part entière.

Ce qu’elles coûtent, avec les machines dans lesquelles elles vont

La carte est une ligne sur la facture et la machine en est une autre. Les deux moitiés ci-dessous proviennent d’une seule lecture du catalogue de commandes, donc le prix et la spécification à côté appartiennent toujours l’un à l’autre.

La bande passante est non mesurée dans les deux sens sans frais de sortie, ce qui sur ce rayon est généralement le coût caché le plus important ailleurs — un entraînement qui tire un jeu de données en entrée et pousse des points de contrôle en sortie déplace un très grand nombre d’octets, et la sortie par gigaoctet est facturée sur chacun d’eux. Une adresse IPv4 est incluse, il n’y a pas de contrat et un mois est la durée par défaut. Pour toutes les autres cartes que nous installons, au même prix, lisez tout le catalogue, avec les prix. Pour les machines en rack prêtes aujourd’hui, /instant.