Los aceleradores — y lo que no harán

Dos cosas que sorprenden a la gente

No pueden codificar vídeo. En absoluto.

La propia matriz de soporte de codificación y decodificación de NVIDIA registra cero motores NVENC en la A100 y cero en la H100. Decodifican — cinco motores en la A100, siete en la H100 — pero no hay codificador en la placa, así que cada fotograma que producen estas tarjetas tiene que codificarlo el procesador. Si tu flujo de trabajo produce vídeo, este no es el estante correcto, y la L40S con sus tres codificadores AV1 sí lo es. Eso está a una página de distancia en /l40s.

Estas tarjetas tampoco tienen salidas de pantalla. Son piezas de cómputo sin cabeza. Nada que espere un framebuffer — un escritorio virtual, una estación de trabajo remota, un servidor de juegos — pertenece a ellas.

La A100 no está obsoleta, y la tarjeta de 40 GB no es un error

La A100 es de la generación anterior, y lee sus pesos a 1.555 GB/s con 40 GB y a 1.935 GB/s con 80 GB. Para un modelo que cabe, esa velocidad de lectura es lo que decide cuántos tokens por segundo obtienes, y sigue muy por delante de todas las tarjetas sin memoria apilada del catálogo. La tarjeta de 40 GB aloja cómodamente un modelo de treinta mil millones de parámetros con precisión de ocho bits, que es la mayoría de lo que la gente realmente sirve, por una fracción de lo que cuesta la H100 al mes.

Compra la H100 cuando el modelo necesite de verdad Hopper — el motor transformer, FP8, las unidades tensoriales más nuevas — o cuando la ejecución tenga que terminar antes en lugar de simplemente terminar. Compra una A100 cuando la pregunta sea si cabe y a qué velocidad lee, que es la pregunta más habitual.

Las especificaciones, tal como se publican

Cifras de las propias hojas de datos de NVIDIA y de las tablas de especificaciones de Tesla, citadas en el código fuente de esta página. Cuando una cifra no pudo verificarse contra la pieza exacta que instalamos, esta página no imprime nada en lugar de una suposición.

La H100 no muestra arriba ni número de núcleos ni ancho de banda, y es deliberado. Nuestra pieza está registrada en la tienda con un número de núcleos que pertenece al módulo SXM, que es una tarjeta que se atornilla a una placa base en lugar de insertarse en una ranura; la memoria HBM2e de 80 GB que también registra pertenece a la tarjeta PCIe, que es la que realmente va en estas máquinas. En lugar de elegir una y publicarla con seguridad, la página publica la memoria en la que ambas fuentes coinciden y omite el resto. Pregúntanos y te diremos exactamente qué placa irá en la tuya.

Las tres lado a lado, y lo que está por encima

De nuestros propios estantes. Todas se pueden pedir hoy, en el mismo chasis, así que la pregunta es cuál vale la diferencia.

La última fila está ahí porque es la comparación honesta y la mayoría de los listados la ocultan: la RTX PRO 6000 Blackwell tiene 96 GB, más que cualquier acelerador de esta página. Compara su memoria y su precio con los de la H100 en la tabla de arriba en lugar de fiarte de nuestra palabra. Lo que cede es velocidad de lectura y NVLink; lo que gana son cuatro codificadores de vídeo y trazado de rayos. Si tu pregunta es ¿cabrá?, lee /rtx60 antes de comprometerte con este estante.

En qué máquina van y qué enlace obtienen allí

La A100 es una tarjeta PCIe Gen 4 y la H100 es Gen 5, mientras que nuestras plataformas son Gen 3 y Gen 4. Por lo tanto, la H100 nunca obtiene el bus completo para el que fue diseñada en ninguna máquina que operamos, y esta página lo dice en lugar de dejarte descubrirlo.

Si eso te cuesta algo depende por completo de la forma del trabajo. Un endpoint de inferencia con pesos residentes apenas toca la ranura y no lo notará. Un bucle de entrenamiento que transmite un lote nuevo desde la memoria del host en cada paso lo notará en cada paso. Si no estás seguro de cuál eres, dinos cuál es el trabajo antes de hacer el pedido — eso decide la máquina, no la tarjeta.

Qué cabe realmente en 80 GB

La A100 de 40 GB tiene la misma tabla un peldaño más abajo: un modelo de treinta a treinta y cuatro mil millones de parámetros cabe con margen solo a cuatro bits, y a ocho bits sus 34 GB de pesos no superan ni siquiera el listón más ajustado. Un modelo de setenta mil millones a dieciséis bits no cabe en ninguna tarjeta individual que vendamos — eso es una configuración de dos tarjetas, y la razón por la que la línea de NVLink de arriba importa.

Esa tabla responde a “qué cabe en esta tarjeta”. La pregunta al revés — cuánta memoria necesita un modelo y qué tarjeta la supera — es una página propia.

Cuánto cuestan, con las máquinas en las que van

La tarjeta es una línea de la factura y la máquina es otra. Ambas mitades de abajo provienen de una sola lectura del catálogo de pedidos, así que el precio y la especificación que lo acompaña siempre se corresponden.

El ancho de banda no tiene medición en ninguna de las dos direcciones y sin cargo por salida, lo que en este estante suele ser el mayor coste oculto en otros sitios — un entrenamiento que trae un conjunto de datos y saca checkpoints mueve muchísimos bytes, y la salida por gigabyte se cobra por cada uno de ellos. Se incluye una dirección IPv4, no hay contrato y un mes es el plazo predeterminado. Para todas las demás tarjetas que instalamos, con el mismo sistema de precios, lee el catálogo completo, con precios. Para máquinas en rack listas hoy, /instant.