A GPU completa, não uma fração
Cada GPU é ligada diretamente ao seu sistema operativo. Sem hipervisor, sem partição MIG, sem perfil vGPU e sem partilha de tempo, para que os seus drivers e frameworks vejam o hardware tal como ele é.
Servidores de IA dedicados · treino, inferência, renderização
Alojamento de servidores de IA dedicados de uma GPU a um cluster completo
Um servidor de IA dedicado é uma máquina física inteira com as GPUs ligadas diretamente ao seu próprio sistema operativo, para que o modelo que treina ou serve não partilhe o hardware com mais ninguém. Quando uma máquina não chega, pode acrescentar-lhe GPUs ou colocar mais máquinas ao lado dela. Esta página mostra quanto custa cada caminho, a que velocidade as máquinas conseguem falar entre si e qual das nossas cidades 5 tem cada plataforma.
Mensal, sem fidelização. A porta de cada máquina é só sua no switch e nada mede o tráfego que passa por ela.
Plataformas de GPU4
Porta mais rápida100 Gbps
Memória por máquina1 TB
Desconto de prazo mais longo15%
01O que cada máquina inclui
O que recebe com um servidor de IA dedicado aqui
As mesmas quatro coisas em cada nó, de uma máquina para um trabalho de afinação a várias para uma execução de treino.
Uma porta que é sua
A porta de rede não é partilhada no switch de acesso e nada a mede, em nenhum dos sentidos. Copiar um conjunto de dados ou um checkpoint entre os seus nós não acrescenta nada à fatura.
Mês a mês
Cada máquina funciona com o seu próprio período de um mês, sem contrato. Pagar por três, seis ou doze meses reduz até 15%.
Respostas em segundos
O nosso chat de IA responde em segundos e pode consultar a sua conta e os seus servidores enquanto ajuda. Peça uma pessoa sempre que quiser.
02Escalar para além de uma GPU
Mais GPUs num servidor, ou mais servidores?
Parecem a mesma decisão, mas custam de forma diferente, chegam em datas diferentes e esgotam-se por razões diferentes. Descubra qual precisa antes de comparar qualquer outra coisa.
AAumentar a máquina
Adicione GPUs ao servidor que tem
Escolha esta opção quando lhe falta memória de GPU ou velocidade de GPU e o resto da máquina está bem. Várias GPUs num chassis é uma configuração que orçamentamos, não uma caixa que marca no checkout: quantas cabem depende da largura da GPU que escolher e da potência que o chassis lhe consegue fornecer.
- O que decide
- A GPU que escolher. Indique-a no chat e a resposta indica o chassis, quantas cabem e a data.
- Vale a pena saber
- Duas GPUs não são uma GPU maior. A memória delas só soma quando o seu software divide o modelo pelas duas (paralelismo de tensor ou pipeline, que as ferramentas comuns de treino e inferência suportam), e alguma velocidade perde-se no tráfego entre elas. Se o seu trabalho são muitos trabalhos separados, duas GPUs simplesmente fazem o dobro.
BAumentar o cluster
Adicione máquinas ao lado da primeira
Escolha esta opção quando a própria máquina está cheia: sem processadores, sem memória ou sem espaço para o próximo trabalho. A maior plataforma aqui fica-se por 2 sockets de processador e 1 TB de memória, e a partir daí a resposta é outro servidor.
- O que decide
- A cidade e a porta. Máquinas que trabalham em conjunto pertencem ao mesmo edifício, e a ligação entre elas é a porta de rede de cada uma, paga por máquina.
- Vale a pena saber
- Não há produto de cluster nem número mínimo de nós. Cada servidor é encomendado, faturado, atualizado e substituído por si, para poder começar com dois e acrescentar um terceiro no mês seguinte.
03As plataformas
Escolha o seu servidor de machine learning pelo que o limita
Cada plataforma em que montamos uma GPU, comparada no que importa quando passa de uma máquina. Leia as duas colunas do meio em conjunto: a plataforma com o caminho mais largo para a GPU tem a porta de topo mais lenta, e a porta mais rápida está num barramento mais antigo.
| Plataforma | Pistas para a GPU | Porta de topo | Sockets | Memória, até | Cidades |
|---|---|---|---|---|---|
| Intel Xeon Silver / Gold | 48 lanes per socketPCIe 3.0 | 100 Gbps1 Gbps incl. | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v3/v4 | 40 lanes per socketPCIe 3.0 | 40 Gbps1 Gbps incl. | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v1/v2 | 40 lanes per socketPCIe 3.0 | 20 Gbps1 Gbps incl. | 2 | 256 GB | 3 |
| AMD EPYC | 128 lanes per socketPCIe 4.0 | 20 Gbps1 Gbps incl. | 2 | 1 TB | 2 |
- Pistas para a GPUA velocidade a que os dados se movem entre o processador e a GPU. Importa quando faz streaming de lotes de treino ou uma renderização alimenta dados de cena a cada frame, e quase nada quando um modelo já está carregado e permanece na memória da GPU.
- Porta de topoA velocidade a que uma máquina fala com a seguinte. Um único servidor a fazer o seu próprio trabalho nunca dá por ela. Para um trabalho dividido por várias máquinas, é toda a questão.
- EntãoUm trabalho que cabe numa máquina e depende do barramento quer as pistas mais largas. Um trabalho distribuído por várias máquinas quer a porta e pode viver com um barramento mais antigo. Ambos ao mesmo tempo é a única combinação que não temos, e deve saber isso antes de pagar.
Qual a GPU que entra em cada uma destas, e quanto acrescenta por mês, está em servidores dedicados com GPU, com cada preço mostrado junto da máquina a que pertence. Esta página não atribui preço a nenhuma GPU, para que um número nunca apareça ao lado do servidor errado.
04A ligação entre as máquinas
Um cluster de GPU com vários nós paga a porta em cada nó
A ligação de rede faz parte de cada servidor, por isso quatro máquinas a 10 Gbps significam quatro portas de 10 Gbps todos os meses. Esta é a linha que surpreende quem só fez contas para um único servidor, e a tabela abaixo faz a multiplicação por si.
| Porta | Um servidor | Dois | Quatro | Plataformas |
|---|---|---|---|---|
| 1 Gbps | incl. | incl. | incl. | 4 / 4 |
| 2 Gbps | $189 | $378 | $756 | 4 / 4 |
| 3 Gbps | $299 | $598 | $1,196 | 4 / 4 |
| 5 Gbps | $459 | $918 | $1,836 | 4 / 4 |
| 10 Gbps | $529 | $1,058 | $2,116 | 4 / 4 |
| 20 Gbps | $1,629 | $3,258 | $6,516 | 4 / 4 |
| 40 Gbps | $2,799 | $5,598 | $11,196 | 2 / 4 |
| 100 Gbps | $3,999 | $7,998 | $15,996 | 1 / 4 |
Um cluster mais largo pode custar menos do que um mais rápido. Em certos pontos da tabela, duas máquinas um nível abaixo custam menos do que uma máquina um nível acima, e ainda fica com um servidor extra. Isso só compensa se o seu trabalho se dividir entre máquinas.
O que não vendemos entre máquinas. O nosso catálogo lista portas Ethernet e nada mais: sem estrutura InfiniBand e sem ponte NVLink. Se a sua configuração precisar de alguma delas, pergunte antes de encomendar. A resposta é um orçamento, e pode ser não. A configuração multi-nó mais pequena que alugamos é o NVIDIA DGX Spark, onde até quatro unidades se ligam entre si através de ConnectX-7.
A porta de uma única máquina, por si só, está coberta em largura de banda não medida.
05Onde pode viver
Para um cluster de GPU, escolha primeiro a cidade
Máquinas que trabalham em conjunto pertencem ao mesmo edifício, e os nossos centros de dados não têm todos as mesmas plataformas. Se escolher primeiro a plataforma, pode descobrir que a cidade de que precisa não a tem. New York and Bucharest têm todas.
- New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
- Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
- Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
- San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
- Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Cada edifício e as suas ligações estão descritos em centros de dados. Se a sua configuração tiver de abranger duas cidades, peça ao suporte para medir a latência entre elas antes de encomendar.
06Prazos de entrega
Quando é que os seus servidores de IA ficam operacionais
Uma configuração destas envolve frequentemente várias máquinas e peças que não estão em stock, por isso recebe uma data antes de pagar, calculada com os mesmos passos das nossas montagens de servidores personalizados.
- ~30 min
Já instalado tal como está
Nada é montado ou movido. Servidores instantâneos lista as máquinas prontas a usar, vale a pena ver primeiro se os seus nós forem comuns.
- 4–24 horas
Peças que temos
O caso habitual. Os técnicos instalam as GPUs, preparam os discos e instalam o sistema operativo em cada máquina, em paralelo e não uma após a outra.
- 5–10 dias úteis
Peças que compramos
Algo na especificação não é uma peça que mantemos em stock, por isso encomendamos e depois montamos. Com várias GPUs numa máquina, a caixa é normalmente o que demora mais.
- 10–15 dias úteis
Uma peça escassa
Os aceleradores da geração atual são enviados por atribuição, e a data é a do distribuidor. Quando compramos hardware para um cliente, pedimos três meses de antecedência.
Cada passo começa depois de a encomenda passar no pagamento e na verificação de fraude. A maioria passa em poucas horas; uma primeira encomenda grande de uma conta nova pode demorar mais, e um pagamento por transferência ou stablecoin costuma ser mais rápido do que um pagamento por cartão.
Marketplace
Máquinas com várias GPUs listadas pelos seus donos
Os donos listam máquinas com várias GPUs, e pares ligados, no nosso marketplace por um preço mensal que eles definem. Os anúncios detidos pela nossa empresa irmã, Server Room, são alugados em serverroom.net.
Tem um servidor de GPU parado?
Anuncie-o no marketplace da Primcast e alugue-o a equipas de IA por mês, pelo preço que escolher.
07Perguntas
Perguntas sobre servidores dedicados de IA
01O que é um servidor dedicado de IA?
É um servidor físico alugado exclusivamente para si e equipado com uma ou mais GPUs para treinar, ajustar ou servir modelos. Aqui as GPUs são passadas diretamente para o seu próprio sistema operativo, sem hipervisor e sem mais ninguém na máquina, e paga por mês, sem contrato.
02Posso alugar um servidor GPU bare metal para aprendizagem profunda?
Sim. Todos os servidores GPU que alugamos são bare metal: tem root na máquina inteira e instala o driver, a versão CUDA e a framework que o seu código espera. As GPUs e os seus preços mensais estão em Servidores dedicados GPU, cada uma indicada junto da máquina onde cabe.
03Um servidor pode ter mais do que uma GPU?
Sim, como configuração por orçamento e não como opção de checkout. Quantas cabem depende da largura da GPU e da potência que o chassis consegue fornecer, por isso diga-nos no chat qual a GPU que quer e a resposta indica o chassis, a quantidade e a data.
04Como construo um cluster de GPUs convosco?
Encomende as máquinas na mesma cidade, numa plataforma que alcance a velocidade de porta de que precisa, e escolha essa velocidade em cada uma. Ficam como servidores separados, com faturas separadas, por isso pode começar com dois e acrescentar mais depois. Diga-nos primeiro o número de nós e o trabalho, e verificamos a cidade e a plataforma antes de pagar.
05Oferecem InfiniBand ou NVLink entre servidores?
Não como opção listada. As máquinas ligam-se por portas Ethernet até 100 Gbps. Se a sua configuração precisar de InfiniBand ou de uma ponte NVLink, pergunte antes de encomendar: seria um orçamento, e a resposta pode ser não.
06Um servidor dedicado é melhor do que GPUs na cloud para aprendizagem automática?
Depende da regularidade com que o utiliza. Um servidor dedicado de IA custa o mesmo todos os meses, quer trabalhe a pleno ou fique parado, por isso adequa-se a treinos longos e a modelos servidos 24 horas por dia. O tráfego não é medido aqui, portanto mover conjuntos de dados entre nós ou enviar resultados a utilizadores não acrescenta nada. Para um trabalho que corre algumas horas por mês, alugar à hora pode sair mais barato.
07O que é um servidor HPC, e vocês alugam-nos?
HPC significa computação de alto desempenho: simulações, renderização, código científico e treino de modelos distribuídos por muitos processadores ou GPUs. Nós alugamos as peças, ou seja, máquinas com até 2 sockets e 1 TB de memória, GPUs lá dentro e portas entre elas. O agendador configura-o você, Slurm ou Kubernetes ou o que a sua equipa já usar.
08Quanto custa um servidor dedicado de IA?
A máquina e a sua GPU têm o preço em conjunto em Servidores dedicados GPU. Uma porta mais rápida do que a incluída está na tabela desta página, por máquina e por mês. Pagar por três, seis ou doze meses dá até 15% de desconto, e uma configuração personalizada tem uma taxa única de instalação que o configurador mostra antes de pagar.
09Quanto tempo demora a receber um?
Cerca de quatro a vinte e quatro horas quando temos as peças, cinco a dez dias úteis quando têm de ser compradas, e dez a quinze dias úteis para uma peça escassa. Uma máquina que já esteja montada como a quer pode estar a correr em cerca de 30 minutos.
10Alugam servidores CMP 170HX para IA?
Sim. Têm página própria, Servidores CMP 170HX, com as configurações e os seus preços mensais.
11Onde estão os vossos servidores GPU?
Em Nova Iorque, Miami, São Francisco, Amesterdão e Bucareste. Nem todas as plataformas estão em todas as cidades; New York and Bucharest têm-nas todas, o que as torna os sítios mais fáceis para fazer crescer um cluster.
12Que ajuda tenho se algo avariar?
O nosso chat de IA responde em segundos e pode verificar a sua conta e os seus servidores enquanto ajuda, e uma pessoa assume sempre que pedir. Os tempos de resposta e a substituição de hardware estão em suporte.
08Páginas relacionadas
Para onde ir a seguir
- Servidores dedicados GPUCada GPU que instalamos e quanto custa cada uma na sua máquina.
- Alojamento de LLMO que um modelo de um determinado tamanho precisa para correr bem.
- Alojamento DGX SparkUnidades pequenas que se ligam entre si, até quatro de cada vez.
- Configurações de servidor personalizadasUma especificação completa com preço e data antes de se comprometer.
- Largura de banda não medidaVelocidades de porta numa máquina, e quanto custa cada uma.
- Centros de dadosOs cinco edifícios e o que cada um contém.
Planeie connosco
Diga-nos o que o seu modelo tem de fazer
O número de nós, se o trabalho se divide, e com o que tem de comunicar. O nosso chat de IA responde em segundos, uma pessoa junta-se quando pedir, e se uma só máquina fizer o trabalho, nós dizemos.