Placas gráficas em bare metal · Primcast LLC · desde 2004

Diga qual é o trabalho. Ela diz qual é a placa.

A maior parte da dificuldade em comprar um servidor com GPU não é a compra. É saber qual placa é suficiente — e todos os catálogos deste setor são organizados pelo quão impressionante é a peça, e não pelo que você está tentando executar. Este aqui é organizado ao contrário. Diga qual é o trabalho e quanta memória de placa ele precisa, e o que sobra é a resposta, com preço completo.

Encontre a placa A placa é minha?

Um locatário por máquina. A placa é repassada ao seu sistema operacional — não fatiada, não compartilhada por tempo, não virtualizada.

Transforme suas GPUs em receita mensal passiva

Tem configurações de GPU de servidor ou desktop paradas? Anuncie-as hoje no marketplace da Primcast e ganhe aluguéis mensais constantes de equipes de IA, desenvolvedores e empresas que precisam de computação de nível de produção.

Ir para o Marketplace

A bancada

Duas perguntas.

Nada é reservado, nenhuma conta é criada, e o valor ao lado de cada placa é o servidor inteiro com aquela placa — processador, memória, discos espelhados, porta sem medição, um endereço — não a placa sozinha. A parte da própria placa está impressa abaixo dela para você ver qual metade do dinheiro é qual.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Estimativas do mesmo catálogo que o checkout fatura, não cotações. Onde um valor de memória está ausente, não conseguimos encontrar um publicado pelo fabricante, então a placa diz isso em vez de adivinhar — e essas placas desaparecem assim que você move o controle de memória, porque filtrar por um número que não temos esconderia silenciosamente peças que poderiam servir para você. Pergunte e leremos na placa. Várias peças cabem em mais de um chassi por mais de um preço; o valor aqui é a maneira mais barata de ter aquela placa, e o configurador mostra o restante.

O que está por trás dessa lista

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Contado a partir do catálogo de pedidos quando esta página foi servida, não digitado. Se uma placa for retirada amanhã, esta faixa será menor amanhã. O que está em um rack esta manhã é uma pergunta diferente, e servidores instantâneos é onde ela é respondida.

A primeira pergunta que todo mundo faz

A placa é minha, ou estou compartilhando ela?

Sua. A placa inteira, a máquina inteira, mais ninguém nela.

A placa fica em um slot PCIe de um servidor físico alugado para uma conta, e é entregue diretamente ao seu sistema operacional: seu próprio driver, seu próprio CUDA ou ROCm, seus próprios processos. Não há hipervisor entre você e ela, nem partição MIG, nem escalonador de fatias de tempo decidindo quando é a sua vez, e nenhum segundo locatário cujo job em lote faz a latência da sua inferência oscilar às quatro da tarde.

O resto da máquina é seu nos mesmos termos — cada núcleo, toda a memória, todos os discos, root, e o próprio HPE iLO ou Dell iDRAC do servidor para console, mídia virtual e energia. Se um driver derrubar a rede, você ainda consegue ver a tela.

  • Não é uma fatiaSem MIG, sem vGPU, sem alocação fracionária. Uma placa, um locatário.
  • Não é uma filaNada interrompe seu processo. A placa fica ociosa quando você fica ocioso.
  • Não é um contêinerBare metal. Carregue seus próprios módulos de kernel, fixe sua própria versão de driver.
  • Não é medidoPesos entram, checkpoints saem, renderizações saem. Nada conta os bytes.

Por que os valores acima têm essa aparência

A placa é uma linha na fatura, não um nível de produto.

Em todo outro lugar, uma GPU é um nível: você aluga “uma instância H100” e alguém já decidiu quanto o processador, a memória, os discos e a rede ao redor dela devem custar para você. Aqui os dois são linhas separadas que são somadas — e é por isso que uma placa em qualquer extremidade da lista acima entra no mesmo chassi, e você paga a diferença entre as placas e nada mais.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

O configurador arredonda um preço por disco e fica um ou dois centavos fora desses valores. Ciclos de cobrança mais longos têm desconto adicional; preços tem tudo em um só lugar, e hardware mais antigo, preço mais baixo é o argumento para por que o fim desta lista existe.

Quanta memória de cartão?

A única especificação que determina se funciona.

A velocidade do clock e a quantidade de núcleos determinam a velocidade de execução de um modelo. A memória da placa determina se ela funciona ou não — os pesos ou são suficientes ou não, e uma placa com dois gigabytes a menos não é mais lenta, é um problema grave. Portanto, esse é o número que deve ser definido antes de qualquer outro, e é o que quase ninguém divulga junto com o preço.

A aritmética consiste em multiplicar os parâmetros pelos bytes por parâmetro. Pesos de dezesseis bits ocupam dois bytes cada, de oito bits ocupam um byte e de quatro bits ocupam meio byte. A quantização para quatro bits é o que transforma uma máquina incapaz de armazenar um modelo em uma capaz, com alguma perda de qualidade.

Deixe espaço de sobra. Os valores abaixo representam apenas os pesos. O tempo de execução, as ativações e o cache de chave-valor para um contexto longo residem na mesma memória, e o cache cresce a cada token na conversa. Um modelo cujos pesos totalizam 38 GB não funciona confortavelmente em um cartão de 40 GB. Reserve de 25% a 50% a mais de espaço, ou entre em contato conosco para que possamos dimensioná-lo de acordo com a sua necessidade real.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

O que está embaixo do cartão?

Quatro chassis utilizam um único chassi, e eles não são intercambiáveis.

Cada um utiliza uma parte diferente do catálogo e atribui uma ligação diferente ao processador. Essa última coluna está aqui porque custa dinheiro às pessoas e ninguém a imprime: um cliente migrou de uma geração de cartão de consumo para a seguinte, num barramento de terceira geração, que ficou mais lento , e descobriu o porquê antes de nós. Por isso, está na página.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

O que a geração de ônibus realmente muda

Uma placa projetada para um barramento mais recente funciona perfeitamente bem em um mais antigo; ela simplesmente não consegue transferir dados pela conexão tão rapidamente. Se isso importa ou não, depende inteiramente da tarefa.

  • Isso é importante quando os dados atravessam o barramento continuamente — um loop de treinamento transmitindo lotes do disco ou da memória do sistema, uma renderização alimentando o cartão com dados da cena a cada quadro, qualquer coisa que transborde da memória do cartão.
  • Não importa depois que os pesos estiverem residentes e permanecerem lá — inferência em um modelo que se ajuste, transcodificação de vídeo, a maioria das simulações. O link transporta solicitações e resultados, e estes são pequenos.
  • Pergunte se tiver dúvidas. Informe-nos a carga de trabalho e diremos claramente se a plataforma representa um gargalo, inclusive quando a resposta honesta for que uma placa mais barata em uma conexão melhor é melhor do que uma placa mais cara em uma conexão pior.

O que vem junto com isso

Tudo que torna o cartão utilizável, e nada que você precise comprar.

  • Raiz raiz, e a pilha de drivers é sua.

    Instalamos um sistema operacional limpo e entregamos as chaves. Você escolhe a versão do driver, a versão do CUDA ou ROCm e a compilação do framework, e as fixa — que é a essência do bare metal e o oposto de um runtime gerenciado que se atualiza sem o seu conhecimento na semana anterior ao prazo final. Se preferir que instalemos o driver antes da entrega, mencione isso no pedido e faremos.

  • O próprio console da máquina, em uma rede separada.

    HPE iLO ou Dell iDRAC: console de teclado e tela, mídia virtual, controle de energia, integridade do hardware e registro de hardware. Um driver gráfico que causa a perda da conexão de vídeo ou de rede é mais um inconveniente do que um problema que exige a abertura de um chamado de suporte, pois ainda é possível acompanhar a inicialização do computador.

  • Um porto sem medição, em ambas as direções.

    Não há limite de transferência a ser excedido e nenhuma linha de saída em qualquer fatura. Conjuntos de dados de entrada, pontos de verificação de saída, renderizações de saída, um modelo servido a usuários reais — tudo isso trafega pelo preço da porta, sem nenhum byte a mais. A largura de banda ilimitada é o nível acima da velocidade incluída e é a principal diferença entre isso e uma fatura de um hiperescalador.

  • Reinstale quantas vezes quiser.

    Imagens do sistema operacional em um clique, reinstaláveis ​​sem necessidade de abertura de chamado e sem custo adicional, de forma que um experimento com um driver que termina mal custe apenas vinte minutos. O DNS reverso é editável por você, o IPv6 está incluído e o IPv4 é uma linha de catálogo, não uma negociação.

  • Pessoas, a qualquer hora

    Suporte por telefone, chat ao vivo e abertura de chamados, inclusos em todos os planos, e substituição de componentes com defeito em até quatro horas após a comunicação por telefone ou chat. O suporte fornece os tempos de resposta e a tabela de créditos por escrito.

  • Cinco cômodos para colocá-lo.

    Nova York, Miami, São Francisco, Amsterdã e Bucareste — e a localização da máquina determina a latência para quem estiver ligando e a qual regime de proteção de dados ela se enquadra. Data centers se referem aos edifícios.

Quão cedo isso existe

Entre meia hora e três semanas, dependendo de onde a carta estiver posicionada.

Não um único número, porque nunca foi um único número. Um cartão já instalado em uma máquina já instalada é uma entrega. Um cartão que precisa ser comprado é uma ordem de compra. Informar qual deles você está solicitando — antes de pagar, em vez de depois — é a única versão que realmente importa.

  1. Aproximadamente 30 minutos

    O cartão já está em uma máquina na prateleira.

    Nada é instalado e nada é movido. A máquina é formatada e entregue. Servidores instantâneos é a lista do que está lá neste momento.

  2. 4–24 horas

    Um cartão que temos em mãos é ajustado, ou uma máquina empilhada é reorganizada.

    O procedimento padrão para tudo nesta página. A peça está em nosso próprio depósito; um técnico a instala, monta o array e instala o sistema operacional. Uma máquina na prateleira que seja semelhante, mas não exatamente igual — memória adicionada, um disco trocado, o array reconstruído de acordo com sua escolha — passa pelo mesmo processo, realizado no local, sem que a máquina precise ser retirada do rack.

  3. 5 a 10 dias úteis

    O cartão precisa ser comprado em

    Alguns itens da lista não estão em nosso estoque. Nós os encomendamos e depois os fabricamos. A página "Fabricação sob encomenda" apresenta a especificação completa desse tipo de produto.

  4. 10 a 15 dias úteis

    O cartão é raro

    Os aceleradores de última geração funcionam por alocação, e a data é definida pelo distribuidor, não por nós. Informaremos o prazo de entrega antes da sua confirmação, e não depois. Quando o hardware é adquirido para um único cliente, solicitamos o pagamento de três meses antecipadamente, pois se trata de uma máquina que não podemos realugar caso a conta seja encerrada na segunda semana.

Cada etapa começa quando o pedido passa pela aprovação do pagamento e pela análise de fraude, que é a única etapa para a qual não podemos garantir um prazo: a maioria dos pedidos é aprovada em algumas horas, mas o primeiro pedido de uma nova conta pode demorar mais. Aceitamos cartão de crédito, PayPal, ACH e transferência bancária, além de criptomoedas — que, para pedidos maiores, costumam ser a opção mais rápida de aprovação.

Perguntas já feitas

As doze perguntas que esta página existe para responder.

Tiradas do que as pessoas realmente nos perguntam no chat e nos tickets, aproximadamente na ordem em que perguntam. A primeira já nos custou pedidos, por isso também está em primeiro lugar aqui.

A GPU é dedicada ou compartilhada?
Dedicada. Uma máquina física, uma conta, e a placa passada diretamente para o seu sistema operacional. Sem hypervisor, sem partição MIG, sem perfil vGPU, sem escalonador de fatias de tempo, e sem carga de trabalho de mais ninguém na placa. O que você medir na primeira tarde é o que você mantém.
Posso ter mais de uma placa em uma máquina?
Sim, e é uma configuração que orçamos em vez de uma caixa que você marca. O número que cabe depende do chassi, da largura física da placa e do orçamento de energia, então a resposta honesta precisa da placa específica. Pergunte, e a resposta informa o chassi, a quantidade e o prazo. Vários clientes usam duas, e o motivo mais comum é memória em vez de velocidade — duas placas de 48 GB comportam um modelo que uma de 80 GB não comporta. Mais de uma placa ou máquina é a página para toda essa questão, incluindo o que muda quando a segunda placa se torna uma segunda máquina.
Qual driver e versão de CUDA eu recebo?
Qualquer um que você instalar. Esse é o ponto do bare metal: a máquina chega com um sistema operacional limpo e root, e você fixa o driver, a versão do CUDA ou ROCm e a compilação do framework no que seu código foi testado — e nada é atualizado por baixo de você. Se preferir que o driver seja instalado antes da entrega, diga isso no pedido e informe a versão. Se precisar de uma versão específica do CUDA suportada por uma placa específica, pergunte antes de pagar e verificaremos em vez de adivinhar.
E se a placa que eu quero não estiver em estoque hoje?
Então ela é instalada ou encomendada, e você é informado de qual antes de pagar. Uma placa que temos em estoque é instalada em quatro a vinte e quatro horas. Uma placa que precisamos comprar leva de cinco a dez dias úteis, e um acelerador de geração atual sob alocação pode levar de dez a quinze. Esta página deliberadamente não mostra contagem de estoque, porque uma placa é uma peça que instalamos em vez de um produto que vai e vem — mas se você quiser uma máquina hoje, servidores instantâneos é a lista do que está genuinamente em um rack agora.
Posso adicionar ou trocar a placa depois?
Sim, na máquina que você já tem — sem migração, sem reinstalação, sem novo endereço. É uma visita agendada ao rack e uma breve interrupção enquanto a máquina fica desligada, e o valor mensal muda pela diferença entre as duas placas. Memória, discos e velocidade de porta são atualizados da mesma forma.
O que acontece quando uma placa falha?
Ela é substituída, e o contrato estipula um prazo: quatro horas a partir do momento em que você reportar por telefone ou chat ao vivo. Depois disso, você tem direito a crédito de serviço conforme uma tabela publicada, em vez de mediante solicitação. O suporte tem a tabela e o número de telefone por escrito.
A largura de banda é medida? Quanto custa o tráfego de saída?
Nada é medido e o tráfego de saída não custa nada, em todas as velocidades de porta que vendemos. Não há franquia de transferência para exceder e nenhuma linha de cobrança extra em qualquer fatura. Para trabalho com GPU, esse costuma ser o maior custo oculto em outros lugares: uma execução de treinamento que baixa um conjunto de dados e envia checkpoints, ou um endpoint de inferência respondendo a tráfego real, move muitos bytes, e a saída por gigabyte em um hyperscaler é cobrada em cada um deles. Largura de banda não medida é o degrau acima da velocidade de porta incluída.
Como isso se compara a alugar uma GPU por hora?
A aritmética decide. Uma placa por hora é mais barata se o trabalho for intermitente e realmente parar — algumas centenas de horas por mês ou menos. Passando de aproximadamente dois terços do mês, não chega nem perto, e isso antes da saída, antes do armazenamento que precisa persistir entre execuções, e antes do tempo que seu job passa na fila esperando capacidade. Mensal aqui também significa a mesma máquina, os mesmos discos e o mesmo endereço no mês seguinte, o que importa mais do que as pessoas esperam quando algo entra em produção.
Posso minerar, ou rodar nós de blockchain e computação descentralizada?
Sim. Ambos são cargas de trabalho comuns aqui e sempre foram, e várias das placas nesta página foram compradas exatamente para isso. Servidores de mineração é a página para o caso de mineração especificamente, incluindo as partes que só fazem sentido para isso.
Como eu pago, e há contrato?
Cartão, PayPal, ACH, transferência bancária ou criptomoeda. Sem contrato: um mês é o prazo padrão e único, ciclos de três, seis e doze meses têm desconto, e o preço não aumenta na renovação. Pagamentos com cripto cobre as moedas aceitas; para um primeiro pedido maior, uma transferência ou stablecoin geralmente compensa mais rápido que um cartão, o que vale saber antes que uma verificação de fraude atrase uma montagem.
Posso obter reembolso se não for o que eu precisava?
Dentro de três dias corridos da primeira ativação, depois que a solução de problemas tiver sido esgotada — a política de reembolso tem o texto exato. É exatamente por isso que as seções de dimensionamento e geração de barramento acima existem: é mais barato para nós dois se você comprar a placa certa da primeira vez, e preferimos convencê-lo a levar uma menor do que vender uma devolução.
Vocês têm a placa mais nova?
Às vezes, e essa é a pergunta errada. A peça mais nova é uma peça escassa sob alocação, em uma plataforma que não lhe dará a geração de barramento para a qual foi projetada, a um preço que presume que você precisa de cada bit dela. A maior parte do trabalho com GPU aqui não é treinar um modelo de fronteira — é servir um que já cabe, codificar vídeo, renderizar quadros ou conduzir desktops, e para tudo isso a placa certa geralmente está duas gerações atrás e custa um quarto do valor. Diga-nos o trabalho. Se a resposta realmente for a peça mais nova, diremos isso, e também diremos quanto custará e quando poderá existir.

Para onde ir em seguida

As páginas de cada lado desta.

Esta página trata de uma pergunta: quais placas instalamos e quanto custam. Tudo adjacente a essa pergunta tem sua própria página, e estas são todas elas, na ordem em que os visitantes desta página realmente clicam.

Ainda não tem certeza de qual placa? e alguém que já dimensionou uma dessas antes responderá — inclusive quando a resposta for uma placa mais barata do que aquela pela qual você veio.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.