Os aceleradores — e o que eles não farão

Duas coisas que surpreendem as pessoas

Elas não codificam vídeo. De forma alguma.

A própria matriz de suporte de codificação e decodificação da NVIDIA registra zero motores NVENC na A100 e zero na H100. Elas decodificam — cinco motores na A100, sete na H100 — mas não há codificador na placa, então cada quadro que essas placas produzem precisa ser codificado pelo processador. Se o seu pipeline gera vídeo, esta é a prateleira errada, e a L40S com seus três codificadores AV1 é a certa. Isso está a uma página de distância em /l40s.

Essas placas também não têm saídas de vídeo. São peças de computação headless. Nada que espere um framebuffer — um desktop virtual, uma estação de trabalho remota, um servidor de jogos — pertence a elas.

A A100 não está obsoleta, e a placa de 40 GB não é um erro

A A100 é a geração anterior, e lê seus pesos a 1.555 GB/s com 40 GB e 1.935 GB/s com 80 GB. Para um modelo que cabe, essa taxa de leitura é o que decide quantos tokens por segundo você obtém, e continua muito à frente de todas as placas sem memória empilhada do catálogo. A placa de 40 GB comporta confortavelmente um modelo de trinta bilhões de parâmetros em precisão de oito bits, que é a maior parte do que as pessoas realmente servem, por uma fração do que a H100 custa por mês.

Compre a H100 quando o modelo realmente precisar de Hopper — o transformer engine, FP8, as unidades tensor mais novas — ou quando a execução tiver que terminar mais cedo em vez de apenas terminar. Compre uma A100 quando a questão for se cabe e quão rápido lê, que é a pergunta mais comum.

As especificações, como publicadas

Números das próprias fichas técnicas da NVIDIA e das tabelas de especificação Tesla, citados no código-fonte desta página. Quando um número não pôde ser verificado em relação à peça exata que instalamos, esta página não imprime nada em vez de um palpite.

A H100 não mostra contagem de núcleos nem largura de banda acima, e isso é deliberado. Nossa peça está registrada na loja com uma contagem de núcleos pertencente ao módulo SXM, que é uma placa que se aparafusa a uma base em vez de um slot; a memória HBM2e de 80 GB que ela também registra pertence à placa PCIe, que é o que realmente vai nessas máquinas. Em vez de escolher um e imprimi-lo com confiança, a página imprime a memória com a qual ambas as fontes concordam e omite o resto. Pergunte-nos e diremos exatamente qual placa vai na sua.

As três lado a lado, e o que está acima

Das nossas próprias prateleiras. Todas podem ser encomendadas hoje, no mesmo chassi, então a questão é qual vale a diferença.

A última linha está lá porque é a comparação honesta e a maioria das listagens a esconde: a RTX PRO 6000 Blackwell tem 96 GB, mais do que qualquer acelerador nesta página. Leia sua memória e seu preço contra os da H100 na tabela acima em vez de aceitar nossa palavra sobre qualquer um dos dois. O que ela cede é taxa de leitura e NVLink; o que ganha são quatro codificadores de vídeo e ray tracing. Se a sua pergunta é vai caber, leia /rtx60 antes de se comprometer com esta prateleira.

Em qual máquina elas vão, e qual link recebem lá

A A100 é uma placa PCIe Gen 4 e a H100 é Gen 5, enquanto nossas plataformas são Gen 3 e Gen 4. A H100, portanto, nunca recebe o barramento completo para o qual foi projetada em nenhuma máquina que operamos, e esta página diz isso em vez de deixar você descobrir.

Se isso custa algo a você depende inteiramente do formato do trabalho. Um endpoint de inferência cujos pesos estão residentes mal toca o slot e não notará. Um loop de treinamento transmitindo um lote novo da memória do host a cada passo notará a cada passo. Se não tiver certeza de qual é o seu caso, diga-nos qual é o trabalho antes de encomendar — é isso que decide a máquina, não a placa.

O que realmente cabe em 80 GB

A A100 de 40 GB comporta a mesma tabela um degrau abaixo: um modelo de trinta a trinta e quatro bilhões de parâmetros cabe com folga apenas em quatro bits, e em oito bits seus 34 GB de pesos não passam nem pela barra mais apertada. Um modelo de setenta bilhões em dezesseis bits não cabe em nenhuma placa única que vendemos — isso é uma configuração de duas placas, e a razão pela qual a linha NVLink acima importa.

Essa tabela responde “o que cabe nesta placa”. A pergunta no sentido inverso — quanta memória um modelo precisa, e qual placa a comporta — é uma página própria.

Quanto custam, com as máquinas em que vão

A placa é uma linha na fatura e a máquina é outra. Ambas as metades abaixo vêm de uma única leitura do catálogo de pedidos, então o preço e a especificação ao lado sempre pertencem um ao outro.

A largura de banda é ilimitada em ambas as direções sem cobrança de egresso, que nesta prateleira costuma ser o maior custo oculto em outros lugares — uma execução de treinamento puxando um conjunto de dados e enviando checkpoints move muitos bytes, e o egresso por gigabyte é cobrado em cada um deles. Um endereço IPv4 está incluído, não há contrato e um mês é o prazo padrão. Para todas as outras placas que instalamos, com preços da mesma forma, leia o catálogo completo, com preços. Para máquinas em rack prontas hoje, /instant.