Les accélérateurs — et ce qu'ils ne feront pas

Deux choses qui surprennent les gens

Ils ne peuvent pas encoder de vidéo. Du tout.

La matrice de compatibilité d'encodage et de décodage de NVIDIA indique l'absence de moteurs NVENC sur les puces A100 et H100. Elles prennent en charge le décodage (cinq moteurs sur l'A100, sept sur la H100), mais ne disposent d'aucun encodeur intégré. Par conséquent, chaque image produite par ces cartes doit être encodée par le processeur. Si votre flux de traitement inclut un signal vidéo, ce modèle n'est pas adapté ; le modèle L40S, avec ses trois encodeurs AV1, est le plus approprié. Il est présenté sur la page suivante : /l40s .

Ces cartes ne possèdent pas non plus de sortie vidéo. Ce sont des composants de calcul sans interface graphique. Aucun système nécessitant un tampon d'affichage (bureau virtuel, station de travail distante, serveur de jeu) ne peut y être installé.

Le A100 n'est pas obsolète, et la carte de 40 Go n'est pas une erreur.

L'A100, de la génération précédente, atteint une vitesse de lecture de 1 555 Go/s avec une carte de 40 Go et de 1 935 Go/s avec une carte de 80 Go. Pour un modèle compatible, cette vitesse de lecture détermine le nombre de jetons traités par seconde, et elle reste largement supérieure à celle de toutes les autres cartes non empilables du catalogue. La carte de 40 Go peut contenir sans problème un modèle de trente milliards de paramètres avec une précision de huit bits, ce qui correspond à la plupart des besoins réels, pour un coût mensuel bien inférieur à celui de la H100.

Optez pour le H100 si le modèle nécessite réellement le Hopper (moteur à transformateur, FP8, unités tensorielles plus récentes) ou si l'impression doit se terminer plus rapidement. Choisissez un A100 si la question est de savoir s'il est compatible et quelle est sa vitesse de lecture, ce qui est le cas le plus fréquent.

Les spécifications, telles que publiées

Les données proviennent des fiches techniques de NVIDIA et des tableaux de spécifications de Tesla, cités dans la source de cette page. Lorsqu'une valeur n'a pas pu être trouvée pour la pièce exacte testée, cette page n'affiche rien d'autre qu'une estimation.

Le H100 n'affiche ni nombre de cœurs ni bande passante, et c'est intentionnel. Notre composant est référencé en magasin avec un nombre de cœurs correspondant au module SXM, une carte qui se fixe directement sur la carte mère et non dans un emplacement PCIe. La mémoire HBM2e de 80 Go mentionnée correspond à la carte PCIe, celle qui équipe réellement ces machines. Plutôt que de choisir une information et de l'imprimer avec certitude, la page affiche la mémoire sur laquelle les deux sources s'accordent et omet le reste. N'hésitez pas à nous contacter pour connaître la carte mère exacte de votre ordinateur.

Tous les trois côte à côte, et ce qui se trouve au-dessus

Nous les avons en stock. Tous ces modèles sont disponibles dès aujourd'hui, dans le même châssis ; la question est donc de savoir lequel justifie la différence de prix.

La dernière ligne est présente car elle offre une comparaison objective, souvent omise : la RTX PRO 6000 Blackwell dispose de 96 Go de mémoire, soit plus que n'importe quel autre accélérateur présenté sur cette page. Comparez plutôt ses caractéristiques (mémoire et prix) à celles du H100 dans le tableau ci-dessus. Elle perd en vitesse de lecture et en compatibilité NVLink, mais gagne en performances grâce à quatre encodeurs vidéo et au ray tracing. Si vous vous demandez si elle est compatible avec votre boîtier, consultez la documentation relative à la RTX 60 avant de faire votre choix.

Dans quelle machine entrent-ils et quel lien obtiennent-ils ?

La carte A100 est une carte PCIe Gen 4 et la H100 est de génération 5, tandis que nos plateformes sont de génération 3 et 4. La carte H100 ne bénéficie donc jamais de la pleine capacité du bus pour lequel elle a été conçue sur aucune des machines que nous utilisons, et cette page l'indique plutôt que de vous laisser le découvrir par vous-même.

Le coût de cette opération dépend entièrement de la nature du travail. Un point d'inférence dont les poids sont stockés localement n'interagit quasiment pas avec l'emplacement et ne s'en apercevra pas. En revanche, une boucle d'apprentissage qui traite un nouveau lot depuis la mémoire hôte à chaque étape le remarquera systématiquement. Si vous n'êtes pas certain de votre cas, veuillez nous indiquer la nature du travail avant de passer commande : c'est la machine, et non la carte, qui détermine le type de carte.

Que peut-on réellement contenir dans 80 Go ?

La carte A100 de 40 Go présente le même problème, à un niveau inférieur : un modèle de 30 à 34 milliards de paramètres avec une précision de 8 bits est compatible, mais pas le même modèle avec 16 bits. Un modèle de 70 milliards de paramètres avec 16 bits ne tient sur aucune carte que nous vendons ; il faut donc une configuration à deux cartes, d’où l’importance de la gamme NVLink mentionnée plus haut.

Ce qu'ils coûtent, avec les machines dans lesquelles ils sont installés

La fiche technique figure sur une ligne de la facture, la machine sur une autre. Ces deux parties proviennent d'une même lecture du catalogue de commandes ; le prix et les spécifications qui l'accompagnent sont donc toujours liés.

La bande passante est illimitée dans les deux sens, sans frais de sortie. Sur ce type de serveur, ces frais représentent généralement le coût caché le plus important : une simulation d'entraînement, par exemple, qui importe un jeu de données et envoie des points de contrôle, déplace un grand nombre d'octets, et chaque gigaoctet de sortie est facturé. Une adresse IPv4 est incluse, sans engagement, avec une durée d'un mois par défaut. Pour toute autre carte installée, le prix est identique ; consultez le catalogue complet . Pour des machines opérationnelles immédiatement, contactez- nous.