Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
Placas gráficas em bare metal · Primcast LLC · desde 2004
A maior parte da dificuldade em comprar um servidor GPU não está na compra. Está em saber qual placa é suficiente — e todos os catálogos deste setor são organizados pelo quão impressionante é a peça, e não pelo que você está tentando executar. Este aqui é organizado ao contrário. Diga qual é o trabalho e quanta memória de placa ele precisa, e o que sobra é a resposta, com o preço completo.
Encontre a placa A placa é minha?
Um locatário por máquina. A placa é repassada ao seu sistema operacional — não fatiada, não compartilhada por tempo, não virtualizada.
A bancada
Nada é reservado, nenhuma conta é criada, e o valor ao lado de cada placa é o servidor inteiro com aquela placa dentro — processador, memória, discos espelhados, porta sem medição, um endereço — não a placa sozinha. A parte da própria placa está impressa abaixo dela para que você veja qual metade do dinheiro é qual.
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP 170HX 64GB HBM2e8 GB HBM2e, 64 GB unlockedIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
Estimativas do mesmo catálogo que o checkout fatura, não cotações. Onde um valor de memória está ausente, não conseguimos encontrar um publicado pelo fabricante, então a placa diz isso em vez de adivinhar — e essas placas desaparecem assim que você move o controle de memória, porque filtrar por um número que não temos esconderia silenciosamente peças que poderiam servir para você. Pergunte e leremos na placa. Várias peças cabem em mais de um chassi por mais de um preço; o valor aqui é a maneira mais barata de ter aquela placa, e o configurador mostra o restante.
O que está por trás dessa lista
Contado a partir do catálogo de pedidos quando esta página foi servida, não digitado. Se uma placa for retirada amanhã, esta faixa será menor amanhã. O que está em um rack esta manhã é uma pergunta diferente, e servidores instantâneos é onde ela é respondida.
A primeira pergunta que todo mundo faz
Sua. A placa inteira, a máquina inteira, mais ninguém nela.
A placa fica em um slot PCIe de um servidor físico alugado para uma conta, e é entregue diretamente ao seu sistema operacional: seu próprio driver, seu próprio CUDA ou ROCm, seus próprios processos. Não há hipervisor entre você e ela, nenhuma partição MIG, nenhum escalonador de fatias de tempo decidindo quando é a sua vez, e nenhum segundo locatário cujo job em lote faz a latência da sua inferência oscilar às quatro da tarde.
O resto da máquina é seu nos mesmos termos — cada núcleo, toda a memória, todos os discos, root, e o próprio HPE iLO ou Dell iDRAC do servidor para console, mídia virtual e energia. Se um driver derrubar a rede, você ainda consegue ver a tela.
Por que os valores acima têm essa aparência
Em todos os outros lugares, uma GPU é um nível: você aluga “uma instância H100” e alguém já decidiu quanto o processador, a memória, os discos e a rede ao redor dela devem custar para você. Aqui os dois são linhas separadas que são somadas — e é por isso que uma placa em qualquer extremidade da lista acima entra no mesmo chassi, e você paga a diferença entre as placas e nada mais. A metade de máquina tem páginas próprias, por fabricante: servidores dedicados AMD para a linha EPYC, que aceita essas placas, e servidores dedicados Intel para Xeon.
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
O configurador arredonda um preço por disco e fica um ou dois centavos fora desses valores. Ciclos de cobrança mais longos têm um desconto adicional; preços tem tudo em um só lugar, e hardware mais antigo, preço mais baixo é o argumento para explicar por que a parte de baixo desta lista existe.
Do marketplace
Os proprietários colocam suas próprias máquinas GPU em nosso marketplace e as precificam por mês. Onde uma placa diz que nossa empresa irmã, Server Room, detém o anúncio, você a aluga em serverroom.net.
Quanta memória de placa
Velocidades de clock e contagem de núcleos decidem quão rápido um modelo roda. A memória da placa decide se ele roda de todo — os pesos ou cabem ou não cabem, e uma placa com dois gigabytes a menos não é mais lenta, é uma falha. Então este é o número a definir antes de qualquer outro, e é o que quase ninguém publica ao lado de um preço.
A aritmética é parâmetros multiplicados por bytes por parâmetro. Pesos de dezesseis bits são dois bytes cada, de oito bits são um, de quatro bits são meio. Quantizar para quatro bits é o que transforma uma máquina que não consegue comportar um modelo em uma que consegue, com algum custo em qualidade.
Deixe folga. Os números abaixo são os pesos e nada mais. O runtime, as ativações e o cache chave-valor para um contexto longo vivem todos na mesma memória, e o cache cresce com cada token da conversa. Um modelo cujos pesos são 38 GB não roda confortavelmente em uma placa de 40 GB. Reserve de um quarto a metade a mais por cima, ou pergunte-nos e dimensionaremos contra o que você está de fato executando.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
O que há por baixo da placa
Cada um pega uma parte diferente do catálogo e dá à placa uma ligação diferente com o processador. Aquela última coluna está aqui porque custa dinheiro às pessoas e ninguém a imprime: um cliente passou de uma geração de placa de consumo para a seguinte em um barramento de terceira geração e renderizou mais lento, e descobriu o porquê antes de nós. Então está na página.
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Há também um desktop: peças de classe de escritório, uma placa NVIDIA já dentro, vendido como uma máquina só por um preço mensal só. É o mínimo que você pode nos pagar por uma caixa dedicada com GPU, o que o torna um lugar sensato para aprender CUDA, rodar um modelo pequeno, transcodificar com NVENC ou manter uma estação de trabalho remota. O preço compra menos do que um chassis, e preferimos que você saiba já: um único disco sem RAID, sem console fora de banda (reinstalações e ciclos de energia passam por nós), uma fonte de alimentação.
€89.00the whole machine, card included, per month
Intel Core i5-9500 @ 3.0GHz, 6 cores · 32 GB memory · NVMe-SSD 256 GB · 1 Gbps Unmetered · Bucharest
Uma placa projetada para um barramento mais novo funciona perfeitamente bem em um mais antigo; simplesmente não consegue mover dados pelo enlace tão rápido. Se isso importa depende inteiramente do trabalho.
O que vem junto
Instalamos um sistema operacional limpo e entregamos as chaves. Você escolhe a versão do driver, a release do CUDA ou ROCm e o build do framework, e os fixa — que é o ponto do bare metal e o oposto de um runtime gerenciado que atualiza por baixo de você na semana antes de um prazo. Se preferir que instalemos o driver antes da entrega, diga no pedido e instalaremos.
HPE iLO ou Dell iDRAC: console de teclado e tela, mídia virtual, controle de energia, saúde do hardware e o log de hardware. Um driver gráfico que derruba o display ou a rede junto é um inconveniente em vez de um ticket de suporte, porque você ainda consegue ver a máquina iniciar.
Não há franquia de transferência a exceder e nenhuma linha de egresso em fatura alguma. Datasets entrando, checkpoints saindo, renders saindo, um modelo servido a usuários reais — tudo isso se move pelo preço da porta e nem um byte a mais. Banda sem medição é o degrau acima da velocidade incluída, e é a maior diferença entre isto e uma conta de um hyperscaler.
Imagens de sistema operacional em um clique, reinstaláveis sem ticket e sem custo, de modo que um experimento de driver que termina mal custa vinte minutos. O DNS reverso é seu para editar, IPv6 está incluído, e mais IPv4 é uma linha de catálogo em vez de uma negociação.
Telefone, chat ao vivo e tickets, incluídos em todo plano, e um componente com falha substituído em até quatro horas após ser reportado por telefone ou chat. Suporte tem os tempos de resposta e o cronograma de créditos por escrito.
Nova York, Miami, São Francisco, Amsterdã e Bucareste — e onde a máquina fica decide sua latência para quem a chama e sob qual regime de proteção de dados ela cai. Data centers descreve os prédios.
Em quanto tempo existe
Não é um número só, porque nunca foi um número só. Uma placa já instalada em uma máquina já no rack é uma entrega. Uma placa que precisa ser comprada é uma ordem de compra. Dizer qual dessas você está pedindo — antes de pagar em vez de depois — é a única versão disto que vale alguma coisa.
Nada é instalado e nada é movido. A máquina é imageada e entregue. Servidores instantâneos é a lista do que está parado lá agora.
O caso comum para tudo nesta página. A peça está em nosso próprio depósito; um técnico a instala, monta o array e instala o sistema operacional. Uma máquina na prateleira que é próxima mas não exata — memória adicionada, um drive trocado, o array reconstruído em torno da sua escolha — é o mesmo trabalho, feito no lugar sem a máquina sair do rack.
Algo na lista não é estoque que carregamos. Nós a encomendamos, depois montamos. Montar sob encomenda é a página para uma especificação inteira desse tipo.
Aceleradores da geração atual rodam por alocação e a data é do distribuidor, não nossa. Nomearemos o item crítico antes de você se comprometer, não depois. Onde hardware é comprado para um cliente só, pedimos três meses adiantados, porque é uma máquina que não conseguimos realugar se a conta fechar na segunda semana.
Cada degrau começa quando o pedido passa pelo pagamento e pela revisão de fraude, que é o único passo para o qual não faremos promessa: a maioria passa em algumas horas, um primeiro pedido de uma conta nova pode demorar mais. Cartão, PayPal, ACH e transferência são todos aceitos, e também criptomoeda — que para pedidos maiores costuma ser a mais rápida delas a compensar.
Perguntas já feitas
Tiradas do que as pessoas realmente nos perguntam no chat e nos tickets, aproximadamente na ordem em que perguntam. A primeira já nos custou pedidos, por isso também está em primeiro lugar aqui.
Para onde ir em seguida
Esta página trata de uma pergunta: quais placas instalamos e quanto custam. Tudo adjacente a essa pergunta tem sua própria página, e estas são todas elas, na ordem em que os visitantes desta página realmente clicam.
Ainda não sabe qual placa? e alguém que já dimensionou uma dessas antes responderá — inclusive quando a resposta for uma placa mais barata do que a que você veio buscar.
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.