Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
Placas gráficas em bare metal · Primcast LLC · desde 2004
A maior parte da dificuldade em comprar um servidor com GPU não é a compra. É saber qual placa é suficiente — e todos os catálogos deste setor são organizados pelo quão impressionante é a peça, e não pelo que você está tentando executar. Este aqui é organizado ao contrário. Diga qual é o trabalho e quanta memória de placa ele precisa, e o que sobra é a resposta, com preço completo.
Encontre a placa A placa é minha?
Um locatário por máquina. A placa é repassada ao seu sistema operacional — não fatiada, não compartilhada por tempo, não virtualizada.
A bancada
Nada é reservado, nenhuma conta é criada, e o valor ao lado de cada placa é o servidor inteiro com aquela placa — processador, memória, discos espelhados, porta sem medição, um endereço — não a placa sozinha. A parte da própria placa está impressa abaixo dela para você ver qual metade do dinheiro é qual.
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
Estimativas do mesmo catálogo que o checkout fatura, não cotações. Onde um valor de memória está ausente, não conseguimos encontrar um publicado pelo fabricante, então a placa diz isso em vez de adivinhar — e essas placas desaparecem assim que você move o controle de memória, porque filtrar por um número que não temos esconderia silenciosamente peças que poderiam servir para você. Pergunte e leremos na placa. Várias peças cabem em mais de um chassi por mais de um preço; o valor aqui é a maneira mais barata de ter aquela placa, e o configurador mostra o restante.
O que está por trás dessa lista
Contado a partir do catálogo de pedidos quando esta página foi servida, não digitado. Se uma placa for retirada amanhã, esta faixa será menor amanhã. O que está em um rack esta manhã é uma pergunta diferente, e servidores instantâneos é onde ela é respondida.
A primeira pergunta que todo mundo faz
Sua. A placa inteira, a máquina inteira, mais ninguém nela.
A placa fica em um slot PCIe de um servidor físico alugado para uma conta, e é entregue diretamente ao seu sistema operacional: seu próprio driver, seu próprio CUDA ou ROCm, seus próprios processos. Não há hipervisor entre você e ela, nem partição MIG, nem escalonador de fatias de tempo decidindo quando é a sua vez, e nenhum segundo locatário cujo job em lote faz a latência da sua inferência oscilar às quatro da tarde.
O resto da máquina é seu nos mesmos termos — cada núcleo, toda a memória, todos os discos, root, e o próprio HPE iLO ou Dell iDRAC do servidor para console, mídia virtual e energia. Se um driver derrubar a rede, você ainda consegue ver a tela.
Por que os valores acima têm essa aparência
Em todo outro lugar, uma GPU é um nível: você aluga “uma instância H100” e alguém já decidiu quanto o processador, a memória, os discos e a rede ao redor dela devem custar para você. Aqui os dois são linhas separadas que são somadas — e é por isso que uma placa em qualquer extremidade da lista acima entra no mesmo chassi, e você paga a diferença entre as placas e nada mais.
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
O configurador arredonda um preço por disco e fica um ou dois centavos fora desses valores. Ciclos de cobrança mais longos têm desconto adicional; preços tem tudo em um só lugar, e hardware mais antigo, preço mais baixo é o argumento para por que o fim desta lista existe.
Quanta memória de cartão?
A velocidade do clock e a quantidade de núcleos determinam a velocidade de execução de um modelo. A memória da placa determina se ela funciona ou não — os pesos ou são suficientes ou não, e uma placa com dois gigabytes a menos não é mais lenta, é um problema grave. Portanto, esse é o número que deve ser definido antes de qualquer outro, e é o que quase ninguém divulga junto com o preço.
A aritmética consiste em multiplicar os parâmetros pelos bytes por parâmetro. Pesos de dezesseis bits ocupam dois bytes cada, de oito bits ocupam um byte e de quatro bits ocupam meio byte. A quantização para quatro bits é o que transforma uma máquina incapaz de armazenar um modelo em uma capaz, com alguma perda de qualidade.
Deixe espaço de sobra. Os valores abaixo representam apenas os pesos. O tempo de execução, as ativações e o cache de chave-valor para um contexto longo residem na mesma memória, e o cache cresce a cada token na conversa. Um modelo cujos pesos totalizam 38 GB não funciona confortavelmente em um cartão de 40 GB. Reserve de 25% a 50% a mais de espaço, ou entre em contato conosco para que possamos dimensioná-lo de acordo com a sua necessidade real.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
O que está embaixo do cartão?
Cada um utiliza uma parte diferente do catálogo e atribui uma ligação diferente ao processador. Essa última coluna está aqui porque custa dinheiro às pessoas e ninguém a imprime: um cliente migrou de uma geração de cartão de consumo para a seguinte, num barramento de terceira geração, que ficou mais lento , e descobriu o porquê antes de nós. Por isso, está na página.
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Uma placa projetada para um barramento mais recente funciona perfeitamente bem em um mais antigo; ela simplesmente não consegue transferir dados pela conexão tão rapidamente. Se isso importa ou não, depende inteiramente da tarefa.
O que vem junto com isso
Instalamos um sistema operacional limpo e entregamos as chaves. Você escolhe a versão do driver, a versão do CUDA ou ROCm e a compilação do framework, e as fixa — que é a essência do bare metal e o oposto de um runtime gerenciado que se atualiza sem o seu conhecimento na semana anterior ao prazo final. Se preferir que instalemos o driver antes da entrega, mencione isso no pedido e faremos.
HPE iLO ou Dell iDRAC: console de teclado e tela, mídia virtual, controle de energia, integridade do hardware e registro de hardware. Um driver gráfico que causa a perda da conexão de vídeo ou de rede é mais um inconveniente do que um problema que exige a abertura de um chamado de suporte, pois ainda é possível acompanhar a inicialização do computador.
Não há limite de transferência a ser excedido e nenhuma linha de saída em qualquer fatura. Conjuntos de dados de entrada, pontos de verificação de saída, renderizações de saída, um modelo servido a usuários reais — tudo isso trafega pelo preço da porta, sem nenhum byte a mais. A largura de banda ilimitada é o nível acima da velocidade incluída e é a principal diferença entre isso e uma fatura de um hiperescalador.
Imagens do sistema operacional em um clique, reinstaláveis sem necessidade de abertura de chamado e sem custo adicional, de forma que um experimento com um driver que termina mal custe apenas vinte minutos. O DNS reverso é editável por você, o IPv6 está incluído e o IPv4 é uma linha de catálogo, não uma negociação.
Suporte por telefone, chat ao vivo e abertura de chamados, inclusos em todos os planos, e substituição de componentes com defeito em até quatro horas após a comunicação por telefone ou chat. O suporte fornece os tempos de resposta e a tabela de créditos por escrito.
Nova York, Miami, São Francisco, Amsterdã e Bucareste — e a localização da máquina determina a latência para quem estiver ligando e a qual regime de proteção de dados ela se enquadra. Data centers se referem aos edifícios.
Quão cedo isso existe
Não um único número, porque nunca foi um único número. Um cartão já instalado em uma máquina já instalada é uma entrega. Um cartão que precisa ser comprado é uma ordem de compra. Informar qual deles você está solicitando — antes de pagar, em vez de depois — é a única versão que realmente importa.
Nada é instalado e nada é movido. A máquina é formatada e entregue. Servidores instantâneos é a lista do que está lá neste momento.
O procedimento padrão para tudo nesta página. A peça está em nosso próprio depósito; um técnico a instala, monta o array e instala o sistema operacional. Uma máquina na prateleira que seja semelhante, mas não exatamente igual — memória adicionada, um disco trocado, o array reconstruído de acordo com sua escolha — passa pelo mesmo processo, realizado no local, sem que a máquina precise ser retirada do rack.
Alguns itens da lista não estão em nosso estoque. Nós os encomendamos e depois os fabricamos. A página "Fabricação sob encomenda" apresenta a especificação completa desse tipo de produto.
Os aceleradores de última geração funcionam por alocação, e a data é definida pelo distribuidor, não por nós. Informaremos o prazo de entrega antes da sua confirmação, e não depois. Quando o hardware é adquirido para um único cliente, solicitamos o pagamento de três meses antecipadamente, pois se trata de uma máquina que não podemos realugar caso a conta seja encerrada na segunda semana.
Cada etapa começa quando o pedido passa pela aprovação do pagamento e pela análise de fraude, que é a única etapa para a qual não podemos garantir um prazo: a maioria dos pedidos é aprovada em algumas horas, mas o primeiro pedido de uma nova conta pode demorar mais. Aceitamos cartão de crédito, PayPal, ACH e transferência bancária, além de criptomoedas — que, para pedidos maiores, costumam ser a opção mais rápida de aprovação.
Perguntas já feitas
Tiradas do que as pessoas realmente nos perguntam no chat e nos tickets, aproximadamente na ordem em que perguntam. A primeira já nos custou pedidos, por isso também está em primeiro lugar aqui.
Para onde ir em seguida
Esta página trata de uma pergunta: quais placas instalamos e quanto custam. Tudo adjacente a essa pergunta tem sua própria página, e estas são todas elas, na ordem em que os visitantes desta página realmente clicam.
Ainda não tem certeza de qual placa? e alguém que já dimensionou uma dessas antes responderá — inclusive quando a resposta for uma placa mais barata do que aquela pela qual você veio.
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.