Os aceleradores — e o que eles não farão

Duas coisas que surpreendem as pessoas

Eles não conseguem codificar vídeo. De jeito nenhum.

A matriz de suporte de codificação e decodificação da própria NVIDIA registra zero mecanismos NVENC no A100 e zero no H100. Eles decodificam — cinco mecanismos no A100, sete no H100 — mas não há codificador na placa, então cada quadro produzido por essas placas precisa ser codificado pelo processador. Se o seu fluxo de trabalho envolve vídeo, este não é o modelo ideal, e o L40S, com seus três codificadores AV1, é o correto. Isso está na página /l40s .

Essas placas também não possuem saídas de vídeo. São componentes de computação sem monitor. Nada que dependa de um framebuffer — uma área de trabalho virtual, uma estação de trabalho remota, um servidor de jogos — deve ser executado nelas.

O A100 não está obsoleto e o cartão de 40 GB não é um erro.

O A100 é da geração anterior e lê seus dados a 1.555 GB/s com 40 GB e 1.935 GB/s com 80 GB. Para um modelo adequado, essa taxa de leitura é o que determina quantos tokens por segundo você obtém, e continua muito à frente de qualquer outro cartão não-empilhado no catálogo. O cartão de 40 GB suporta confortavelmente um modelo de trinta bilhões de parâmetros com precisão de oito bits, que é o que a maioria dos servidores realmente utiliza, por uma fração do custo mensal do H100.

Compre a H100 quando o modelo realmente precisar do Hopper — o mecanismo Transformer, FP8, as unidades Tensor mais recentes — ou quando a impressão precisar terminar mais rápido, em vez de apenas concluir a impressão. Compre uma A100 quando a questão for se ela cabe no seu dispositivo e qual a velocidade de leitura, que é a pergunta mais comum.

As especificações, conforme publicadas

Os dados são provenientes das fichas técnicas da NVIDIA e das tabelas de especificações da Tesla, citadas na fonte desta página. Quando não foi possível encontrar um valor específico para a peça que utilizamos, esta página não exibe nenhum dado, em vez de uma estimativa.

O H100 não mostra contagem de núcleos nem largura de banda acima, e isso é intencional. Nossa peça está registrada na loja com uma contagem de núcleos pertencente ao módulo SXM, que é uma placa parafusada à placa-mãe em vez de encaixada em um slot; a memória HBM2e de 80 GB também registrada pertence à placa PCIe, que é o que de fato vai nesses computadores. Em vez de escolher uma e imprimir com certeza, a página imprime a memória com a qual ambas as fontes concordam e omite o restante. Pergunte-nos e diremos exatamente qual placa vai no seu computador.

Os três lado a lado, e o que está acima deles

Diretamente das nossas prateleiras. Todos esses modelos podem ser encomendados hoje, no mesmo chassi, então a questão é qual deles vale a diferença.

A última linha está lá porque representa a comparação honesta, e a maioria das listas a esconde: a RTX PRO 6000 Blackwell possui 96 GB de memória, mais do que qualquer acelerador nesta página. Compare a memória e o preço dela com os da H100 na tabela acima, em vez de confiar apenas na nossa palavra. Ela perde em velocidade de leitura e NVLink; ganha em quatro codificadores de vídeo e ray tracing. Se a sua dúvida é se ela cabe no seu gabinete , leia /rtx60 antes de decidir por esta placa.

Em qual máquina eles entram e qual link eles acessam?

A placa A100 é PCIe Gen 4 e a H100 é Gen 5, enquanto nossas plataformas são Gen 3 e Gen 4. Portanto, a H100 nunca utiliza todo o barramento para o qual foi projetada em nenhuma máquina que utilizamos, e esta página informa isso em vez de deixar você descobrir por conta própria.

Se isso lhe custará algo depende inteiramente do tipo de trabalho. Um endpoint de inferência cujos pesos estão residentes mal utiliza o slot e não será afetado. Um loop de treinamento que transmite um novo lote da memória do host a cada passo será afetado em cada passo. Se você não tiver certeza de qual é o seu caso, informe-nos qual é o trabalho antes de fazer o pedido — isso determina a máquina, não a placa.

O que realmente cabe em 80 GB?

O A100 de 40 GB comporta a mesma tabela um nível abaixo: um modelo de trinta a trinta e quatro bilhões de parâmetros com precisão de oito bits cabe, o mesmo modelo com dezesseis bits não. Um modelo de setenta bilhões com dezesseis bits não cabe em nenhuma placa individual que vendemos — isso requer uma configuração com duas placas, e é por isso que a linha NVLink acima é importante.

O custo deles, incluindo as máquinas em que são instalados.

O cartão é uma linha na fatura e a máquina é outra. Ambas as metades abaixo provêm de uma única leitura do catálogo de pedidos, portanto o preço e a especificação ao lado sempre pertencem um ao outro.

A largura de banda é ilimitada em ambas as direções, sem cobrança de saída, que geralmente é o maior custo oculto em outros lugares — uma execução de treinamento que baixa um conjunto de dados e envia checkpoints transfere muitos bytes, e a saída é cobrada por gigabyte. Um endereço IPv4 está incluído, não há contrato e o prazo padrão é de um mês. Para todos os outros cartões que instalamos, com preços semelhantes, consulte o catálogo completo . Para máquinas prontas para instalação hoje, /instant .