Servidores GPU · A100 e H100
Servidor dedicado A100 H100 com a GPU completa, nunca uma fatia
Um servidor dedicado A100 H100, como o alugamos, é uma máquina inteira com uma GPU NVIDIA passada diretamente para o seu próprio sistema operacional: a A100 com 40 ou 80 GB, ou a H100 com 80 GB. Você paga por mês, ninguém mais roda nela, e a porta é sem medição de tráfego, então mover conjuntos de dados e checkpoints não custa nada a mais.
- H100 80 GB$1,682.67Hopper · HBM2e · PCIe Gen 5 · FP8
- A100 80 GB$972.47Ampere · HBM2e · 1.935 GB/s
- A100 40 GB$772.47Ampere · HBM2 · 1.555 GB/s
Sem codificador de vídeo em nenhuma das três. Memória ECC nas três.
Tem uma A100 ou H100 parada?
Anuncie a máquina no marketplace da Primcast e alugue-a para quem precisa de computação, mês a mês.
00Marketplace
Ou alugue uma A100 ou H100 de quem tem uma
Estas são máquinas que os donos anunciam no nosso marketplace. Um anúncio marcado como mantido pela nossa empresa irmã, Server Room, é alugado no serverroom.net em vez daqui.
01Para que servem
Um servidor de IA H100 para treinar, uma A100 para servir modelos
Essas GPUs fazem um trabalho: manter um modelo em memória rápida e fazer as contas nele. Se você está treinando ou fazendo ajuste fino, ou respondendo a requisições de um modelo já treinado, esta é a prateleira certa.
01Velocidade de memória
Elas leem o modelo rapidamente
Quando um modelo está na memória da GPU, a rapidez da resposta depende principalmente da velocidade com que a GPU lê os pesos. A A100 80 GB lê 1.935 GB/s, mais que o dobro dos 864 GB/s da L40S.
02Treinamento
A H100 adiciona FP8
A Hopper traz o Transformer Engine e o FP8, e é por isso que as pessoas escolhem a H100 para treinar ou fazer ajuste fino de modelos grandes. Se a sua execução precisa terminar mais cedo, e não apenas terminar, esse é o motivo para pagar por ela.
03Execuções longas
Feita para semanas de carga
Memória com correção de erros em todo o conjunto e hardware de data center feito para rodar no máximo. Para um treinamento que dura semanas e custa dinheiro de verdade, um bit invertido que você nunca percebe é o risco que você elimina.
04Um único locatário
A GPU completa é sua
Sem fatia MIG, sem perfil vGPU, sem compartilhamento de tempo e sem outro cliente na máquina. Algumas ofertas de A100 na nuvem são uma fração de uma GPU, então verifique isso antes de comparar preços.
02Antes de pedir
Duas coisas para saber sobre a NVIDIA H100 e a A100
Elas não codificam vídeo
A própria tabela de suporte a codificação e decodificação da NVIDIA lista zero codificadores NVENC na A100 e na H100. Elas decodificam (cinco motores na A100, sete na H100), mas cada quadro que sai delas precisa ser codificado pelo processador. Elas também não têm saídas de vídeo, então desktops remotos, estações de trabalho e servidores de jogos não pertencem a este lugar.
Se você precisa de saída de vídeo, a NVIDIA L40S com três codificadores AV1 é a GPU para alugar, e nossa página de transcodificação mostra quantos canais ao vivo uma delas suporta.
A A100 ainda é uma boa compra
É a geração anterior e, para um modelo que cabe nela, muitas vezes é a melhor compra. A A100 de 40 GB comporta um modelo de 13 bilhões de parâmetros em 8 bits com folga, e a de 80 GB leva um modelo de 30 bilhões em 8 bits.
Alugue a H100 quando o seu código usa FP8 e os núcleos tensor mais novos, ou quando o tempo até o resultado é o que você está pagando. Alugue uma A100 quando a pergunta é “cabe, e quão rápido ela lê”.
03Especificações
Especificações da NVIDIA H100 e A100
Números das fichas técnicas da NVIDIA e de suas tabelas de especificações publicadas. Quando não conseguimos casar um número com a placa exata que instalamos, a tabela o omite.
H100 80GB
Hopper
80 GB HBM2e
350 W
PCIe Gen 5 x16
None. Decode only (7 engines)
Yes
A100 80GB
Ampere
80 GB HBM2e
6,912
1,935 GB/s
300 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
A100 40GB
Ampere
40 GB HBM2
6,912
1,555 GB/s
250 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
Por que a H100 não mostra contagem de núcleos nem largura de banda: nosso registro de loja para ela mistura duas placas, o módulo SXM que se aparafusa a uma placa-base e a GPU PCIe que vai nos nossos servidores. A memória HBM2e de 80 GB é da GPU PCIe, e é essa que você recebe. Pergunte no chat e diremos exatamente qual placa vai na sua máquina.
04Escolhendo
A100 vs H100: qual alugar
Cada GPU é uma linha mensal em cima do servidor em que vai instalada, então a verdadeira pergunta é se o degrau vale a pena para o seu trabalho. A tabela coloca a memória e o custo mensal lado a lado.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
A RTX PRO 6000 Blackwell está na tabela de propósito: ela tem 96 GB, mais que qualquer GPU desta página. Você abre mão do NVLink e de um pouco de velocidade de memória, e ganha quatro codificadores de vídeo. Se a sua única pergunta é se o modelo cabe, leia a página da RTX PRO 6000 antes de decidir.
Escolher entre as duas A100s é primeiro uma questão de capacidade. Se o seu modelo e o contexto dele cabem em 40 GB com um quinto de sobra, leve a menor. Se você está perto do limite, a A100 de 80 GB dá o espaço e ainda lê mais rápido.
05A máquina
Qual servidor A100 ou máquina H100, e o link PCIe que ela recebe
A A100 é uma GPU PCIe Gen 4 e a H100 é Gen 5, enquanto nossas plataformas de servidor são Gen 3 e Gen 4. Então a H100 nunca recebe aqui o barramento completo para o qual foi projetada, e preferimos que você saiba disso agora.
Intel Xeon Silver / Gold
AMD EPYC
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
Se isso importa depende do seu trabalho. Um servidor de inferência com os pesos já carregados quase não toca no slot. Um loop de treinamento que puxa um lote novo da memória do host a cada passo sente isso a cada passo. Não sabe qual é o seu caso? Diga-nos o que você vai rodar e indicaremos a máquina.
06Dimensionamento
O que cabe em 80 GB de memória de GPU
Somente pesos, para a A100 de 80 GB e a H100. Deixe espaço para o contexto e o runtime por cima.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — fits |
Na A100 de 40 GB, um modelo de 30 a 34 bilhões cabe com folga apenas em 4 bits. Um modelo de 70 bilhões em 16 bits não cabe em nenhuma GPU única que vendemos; isso exige mais de uma GPU, e é aí que o NVLink entra. Para calcular no sentido inverso, do seu modelo para a GPU, use a página de dimensionamento de memória para LLM.
07Preços
Hospedagem de GPU A100 e preços da H100, com a máquina
A GPU é uma linha na sua fatura e o servidor é outra. Ambas vêm do mesmo catálogo de pedidos que o checkout usa, então cada preço abaixo pertence à máquina exata ao lado.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| A100 40GB | Intel Xeon E5-2600 v3/v4 | $699 | $772.47 Configure this build → |
| A100 40GB | Intel Xeon Silver / Gold | $699 | $782.67 Configure this build → |
| A100 40GB | AMD EPYC | $699 | $916.59 Configure this build → |
| A100 80GB | Intel Xeon E5-2600 v3/v4 | $899 | $972.47 Configure this build → |
| A100 80GB | Intel Xeon Silver / Gold | $899 | $982.67 Configure this build → |
| A100 80GB | AMD EPYC | $899 | $1,116.59 Configure this build → |
| H100 80GB | Intel Xeon Silver / Gold | $1,599 | $1,682.67 Configure this build → |
| H100 80GB | AMD EPYC | $1,599 | $1,816.59 Configure this build → |
A porta é sem medição de tráfego nas duas direções, sem cobrança de saída, e nesse tipo de trabalho essa costuma ser a maior conta em outros lugares. Um endereço IPv4 vem com o servidor, não há contrato, e você paga um mês por vez. Para todas as outras GPUs que instalamos, com preços no mesmo formato, veja todos os servidores GPU com preços.
08Entrega e ajuda
Em quanto tempo você recebe, e quem responde
Essas GPUs são as peças com maior probabilidade de serem compradas para você. Você é informado sobre qual destas quatro situações se aplica antes de pagar.
- Cerca de 30 minutos
Já no rack
Uma máquina com a GPU instalada está parada em um rack. Ela é sua cerca de 30 minutos depois que o pedido é aprovado.
- 4 a 24 horas
Temos a GPU
Instalamos uma GPU que temos em estoque no servidor que você escolheu.
- 5 a 10 dias úteis
Nós a compramos
A GPU é encomendada para você de um distribuidor e depois instalada no seu servidor.
- 10 a 15 dias úteis
Sob alocação
Os aceleradores atuais às vezes são racionados pelo distribuidor, e este é o prazo mais longo que informamos.
Perguntas antes ou depois do pedido vão para o nosso chat. Um assistente de IA responde em segundos e pode consultar sua conta e seu servidor, e uma pessoa da nossa equipe entra sempre que você pedir. Máquinas que estão no rack e prontas agora estão em servidores instantâneos.
09Perguntas
Perguntas sobre alugar um A100 ou H100
01Posso treinar modelos de IA em um único servidor H100?
Sim. Um H100 com 80 GB treina e ajusta modelos cujos pesos, gradientes e estado do otimizador cabem nessa memória, e o FP8 através do Transformer Engine amplia até onde ele chega. O treinamento completo de um modelo grande geralmente exige mais de uma GPU. Várias GPUs em uma máquina, ou várias máquinas juntas, é uma configuração que orçamos: veja servidores multi-GPU e multi-nó.
02Isso é o mesmo que um NVIDIA DGX H100?
Não. Um DGX H100 é o sistema próprio da NVIDIA com oito módulos H100 SXM em uma única placa-base. O que alugamos é uma GPU H100 PCIe em um servidor padrão, adequada para treinamento com uma GPU, ajuste fino e inferência. Se você precisar de várias GPUs interligadas, veja servidores multi-GPU.
03Posso transcodificar vídeo em um A100 ou em um H100?
Não em hardware. Nenhuma das GPUs tem codificador de vídeo, então a codificação fica a cargo do processador e roda na velocidade do processador. Elas decodificam, então um trabalho que lê vídeo e gera outra saída funciona bem. Para saída de vídeo, alugue a L40S, que tem três codificadores AV1.
04A GPU é dividida em instâncias MIG ou compartilhada?
Não. Você recebe a GPU completa repassada ao seu próprio sistema operacional, em uma máquina que ninguém mais usa. Ambas as GPUs suportam MIG, então você mesmo pode particionar a sua se isso se adequar ao seu trabalho. Essa é uma escolha sua, feita na sua própria máquina.
05Devo alugar o A100 de 40 GB ou o de 80 GB?
Comece pela capacidade. Se o modelo e seu contexto couberem em 40 GB com cerca de um quinto livre, a GPU menor é a melhor compra. O A100 de 80 GB também lê mais rápido, 1.935 GB/s contra 1.555 GB/s, então escolha-o se você estiver perto do limite de memória ou de velocidade.
06Qual driver NVIDIA e versão CUDA receberei?
Os que você instalar. O servidor chega com um sistema operacional limpo e acesso root, e você fixa as versões do driver, CUDA e framework nas quais seu código foi testado. Nada é atualizado pelas suas costas. Se quiser o driver instalado antes da entrega, diga isso no pedido e informe a versão.
07Posso colocar dois A100s ou H100s em um servidor?
Sim, como uma configuração orçada, não como opção de checkout. Ambas as GPUs suportam NVLink, então duas delas podem compartilhar trabalho por uma ponte rápida. Qual chassi, quantas GPUs e o prazo dependem da GPU, então conte-nos o que você planeja rodar e retornamos com a configuração.
08Em quanto tempo posso ter um servidor A100 ou H100?
Depende de onde a GPU está. Cerca de 30 minutos após a aprovação se uma máquina em rack já a tiver, 4 a 24 horas se tivermos a GPU em estoque, 5 a 10 dias úteis se a comprarmos, e 10 a 15 dias úteis para uma GPU sob alocação. Você é informado de qual caso se aplica antes de pagar. Máquinas em rack estão listadas em servidores instantâneos.
Escolha a GPU e depois a máquina ao redor dela
Cada configuração de A100 e H100 tem o preço acima com seu servidor. Escolha uma, configure-a, e o pedido mostra o total mensal completo antes de você pagar.