Los aceleradores y lo que no harán

Dos cosas que sorprenden a la gente

No pueden codificar vídeo. En absoluto.

La matriz de soporte de codificación y decodificación de NVIDIA registra cero motores NVENC en la A100 y cero en la H100. Decodifican (cinco motores en la A100, siete en la H100), pero no hay codificador en la placa, por lo que cada fotograma que producen estas tarjetas debe ser codificado por el procesador. Si su canal de procesamiento tiene salida de vídeo, esta no es la placa adecuada, y la L40S con sus tres codificadores AV1 es la correcta. Esto se encuentra en la página siguiente en /l40s .

Estas tarjetas tampoco tienen salidas de vídeo. Son componentes de computación sin interfaz gráfica. Ningún programa que requiera un búfer de fotogramas (un escritorio virtual, una estación de trabajo remota, un servidor de juegos) debería estar instalado en ellas.

El A100 no está obsoleto y la tarjeta de 40 GB no es un error.

La A100 es de la generación anterior y lee sus pesos a 1555 GB/s con 40 GB y a 1935 GB/s con 80 GB. Para un modelo compatible, esta velocidad de lectura determina la cantidad de tokens por segundo que se obtienen, y sigue estando muy por delante de todas las tarjetas no apiladas del catálogo. La tarjeta de 40 GB almacena cómodamente un modelo de treinta mil millones de parámetros con una precisión de ocho bits, que es lo que la mayoría de los usuarios realmente utilizan, a una fracción del costo mensual de la H100.

Compra el H100 cuando el modelo realmente necesite Hopper (el motor transformador, el FP8, las unidades tensoriales más recientes) o cuando la ejecución deba finalizar antes de lo previsto. Compra un A100 cuando la pregunta más común sea si cabe y qué tan rápido lee.

Las especificaciones, tal como se publicaron

Las cifras provienen de las hojas de datos de NVIDIA y de las tablas de especificaciones de Tesla, citadas en la fuente de esta página. Cuando no se pudo encontrar una cifra que coincidiera exactamente con la pieza que instalamos, esta página no muestra nada, solo una estimación.

El H100 no muestra el número de núcleos ni el ancho de banda, y esto es intencional. Nuestra pieza está registrada en la tienda con un número de núcleos correspondiente al módulo SXM, que es una tarjeta que se atornilla a la placa base en lugar de insertarse en una ranura; la memoria HBM2e de 80 GB que también registra pertenece a la tarjeta PCIe, que es la que realmente se instala en estas máquinas. En lugar de seleccionar una y mostrarla con seguridad, la página muestra la memoria en la que coinciden ambas fuentes y omite el resto. Consúltenos y le diremos exactamente qué tarjeta se instalará en su equipo.

Los tres uno al lado del otro, y lo que se sienta arriba

Disponibles en nuestro catálogo. Todos estos modelos se pueden encargar hoy mismo, con el mismo chasis, así que la pregunta es cuál merece la pena la diferencia.

La última fila está ahí porque es la comparación honesta y la mayoría de las listas la ocultan: la RTX PRO 6000 Blackwell tiene 96 GB, más que cualquier acelerador en esta página. Consulta su memoria y su precio en comparación con la H100 en la tabla anterior en lugar de fiarte de nuestra palabra. Lo que sacrifica es velocidad de lectura y NVLink; lo que gana son cuatro codificadores de vídeo y trazado de rayos. Si te preguntas si cabe en tu estante, lee /rtx60 antes de decidirte por este.

¿En qué máquina entran y a qué enlace llegan?

La A100 es una tarjeta PCIe Gen 4 y la H100 es Gen 5, mientras que nuestras plataformas son Gen 3 y Gen 4. Por lo tanto, la H100 nunca recibe el bus completo para el que fue diseñada en ninguna de las máquinas que utilizamos, y esta página lo indica en lugar de dejar que usted lo averigüe.

Si esto le costará algo depende completamente del tipo de trabajo. Un punto final de inferencia cuyos pesos son residentes apenas interactúa con la ranura y no lo notará. Un bucle de entrenamiento que transmite un nuevo lote desde la memoria del host en cada paso sí lo notará en cada paso. Si no está seguro de cuál es su caso, díganos en qué consiste el trabajo antes de realizar el pedido; esto determinará la máquina, no la tarjeta.

¿Qué cabe realmente en 80 GB?

La A100 de 40 GB mantiene la misma tabla, un nivel por debajo: un modelo de entre treinta y treinta y cuatro mil millones de parámetros con precisión de ocho bits encaja, pero el mismo modelo con dieciséis bits no. Un modelo de setenta mil millones con dieciséis bits no cabe en ninguna de las tarjetas que vendemos; se trata de una configuración de dos tarjetas, y por eso la línea NVLink mencionada anteriormente es importante.

Lo que cuestan, con las máquinas en las que van

La tarjeta aparece en una línea de la factura y la máquina en otra. Ambas partes provienen de una misma lectura del catálogo de pedidos, por lo que el precio y la especificación que aparece a su lado siempre están relacionados.

El ancho de banda es ilimitado en ambas direcciones sin cargo de salida, que en este estante suele ser el mayor costo oculto en otros lugares: una ejecución de entrenamiento que descarga un conjunto de datos y envía puntos de control mueve una gran cantidad de bytes, y se cobra por gigabyte de salida en cada uno de ellos. Se incluye una dirección IPv4, no hay contrato y el plazo predeterminado es de un mes. Para cualquier otra tarjeta que instalemos, con el mismo precio, consulte el catálogo completo, precio . Para máquinas en rack y listas hoy, /instant .