Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
Placas gráficas em bare metal · Primcast LLC · desde 2004
A maior parte da dificuldade em comprar um servidor GPU não está na compra. Está em saber qual placa é suficiente — e todos os catálogos deste setor são organizados pelo quão impressionante é a peça, e não pelo que você está tentando executar. Este aqui é organizado ao contrário. Diga qual é o trabalho e quanta memória de placa ele precisa, e o que sobra é a resposta, com o preço completo.
Encontre a placa A placa é minha?
Um locatário por máquina. A placa é repassada ao seu sistema operacional — não fatiada, não compartilhada por tempo, não virtualizada.
A bancada
Nada é reservado, nenhuma conta é criada, e o valor ao lado de cada placa é o servidor inteiro com aquela placa dentro — processador, memória, discos espelhados, porta sem medição, um endereço — não a placa sozinha. A parte da própria placa está impressa abaixo dela para que você veja qual metade do dinheiro é qual.
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP 170HX 64GB HBM2e8 GB HBM2e, 64 GB unlockedIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
Estimativas do mesmo catálogo que o checkout fatura, não cotações. Onde um valor de memória está ausente, não conseguimos encontrar um publicado pelo fabricante, então a placa diz isso em vez de adivinhar — e essas placas desaparecem assim que você move o controle de memória, porque filtrar por um número que não temos esconderia silenciosamente peças que poderiam servir para você. Pergunte e leremos na placa. Várias peças cabem em mais de um chassi por mais de um preço; o valor aqui é a maneira mais barata de ter aquela placa, e o configurador mostra o restante.
O que está por trás dessa lista
Contado a partir do catálogo de pedidos quando esta página foi servida, não digitado. Se uma placa for retirada amanhã, esta faixa será menor amanhã. O que está em um rack esta manhã é uma pergunta diferente, e servidores instantâneos é onde ela é respondida.
A primeira pergunta que todo mundo faz
Sua. A placa inteira, a máquina inteira, mais ninguém nela.
A placa fica em um slot PCIe de um servidor físico alugado para uma conta, e é entregue diretamente ao seu sistema operacional: seu próprio driver, seu próprio CUDA ou ROCm, seus próprios processos. Não há hipervisor entre você e ela, nenhuma partição MIG, nenhum escalonador de fatias de tempo decidindo quando é a sua vez, e nenhum segundo locatário cujo job em lote faz a latência da sua inferência oscilar às quatro da tarde.
O resto da máquina é seu nos mesmos termos — cada núcleo, toda a memória, todos os discos, root, e o próprio HPE iLO ou Dell iDRAC do servidor para console, mídia virtual e energia. Se um driver derrubar a rede, você ainda consegue ver a tela.
Por que os valores acima têm essa aparência
Em todos os outros lugares, uma GPU é um nível: você aluga “uma instância H100” e alguém já decidiu quanto o processador, a memória, os discos e a rede ao redor dela devem custar para você. Aqui os dois são linhas separadas que são somadas — e é por isso que uma placa em qualquer extremidade da lista acima entra no mesmo chassi, e você paga a diferença entre as placas e nada mais. A metade de máquina tem páginas próprias, por fabricante: servidores dedicados AMD para a linha EPYC, que aceita essas placas, e servidores dedicados Intel para Xeon.
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
O configurador arredonda um preço por disco e fica um ou dois centavos fora desses valores. Ciclos de cobrança mais longos têm um desconto adicional; preços tem tudo em um só lugar, e hardware mais antigo, preço mais baixo é o argumento para explicar por que a parte de baixo desta lista existe.
Do marketplace
Os proprietários colocam suas próprias máquinas GPU em nosso marketplace e as precificam por mês. Onde uma placa diz que nossa empresa irmã, Server Room, detém o anúncio, você a aluga em serverroom.net.
Quanta memória de placa
Velocidades de clock e contagem de núcleos decidem quão rápido um modelo roda. A memória da placa decide se ele roda de todo — os pesos ou cabem ou não cabem, e uma placa com dois gigabytes a menos não é mais lenta, é uma falha. Então este é o número a definir antes de qualquer outro, e é o que quase ninguém publica ao lado de um preço.
A aritmética é parâmetros multiplicados por bytes por parâmetro. Pesos de dezesseis bits são dois bytes cada, de oito bits são um, de quatro bits são meio. Quantizar para quatro bits é o que transforma uma máquina que não consegue comportar um modelo em uma que consegue, com algum custo em qualidade.
Deixe folga. Os números abaixo são os pesos e nada mais. O runtime, as ativações e o cache chave-valor para um contexto longo vivem todos na mesma memória, e o cache cresce com cada token da conversa. Um modelo cujos pesos são 38 GB não roda confortavelmente em uma placa de 40 GB. Reserve de um quarto a metade a mais por cima, ou pergunte-nos e dimensionaremos contra o que você está de fato executando.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
O que há por baixo da placa
Cada um pega uma parte diferente do catálogo e dá à placa uma ligação diferente com o processador. Aquela última coluna está aqui porque custa dinheiro às pessoas e ninguém a imprime: um cliente passou de uma geração de placa de consumo para a seguinte em um barramento de terceira geração e renderizou mais lento, e descobriu o porquê antes de nós. Então está na página.
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Há também um desktop: peças de classe de escritório, uma placa NVIDIA já dentro, vendido como uma máquina só por um preço mensal só. É o mínimo que você pode nos pagar por uma caixa dedicada com GPU, o que o torna um lugar sensato para aprender CUDA, rodar um modelo pequeno, transcodificar com NVENC ou manter uma estação de trabalho remota. O preço compra menos do que um chassis, e preferimos que você saiba já: um único disco sem RAID, sem console fora de banda (reinstalações e ciclos de energia passam por nós), uma fonte de alimentação.
€82.29the whole machine, card included, per month
Intel Core i5-9500 @ 3.0GHz, 6 cores · 32 GB memory · NVMe-SSD 256 GB · 1 Gbps Unmetered · Bucharest
Uma placa projetada para um barramento mais novo funciona perfeitamente bem em um mais antigo; simplesmente não consegue mover dados pelo enlace tão rápido. Se isso importa depende inteiramente do trabalho.
O que vem junto
Instalamos um sistema operacional limpo e entregamos as chaves. Você escolhe a versão do driver, a release do CUDA ou ROCm e o build do framework, e os fixa — que é o ponto do bare metal e o oposto de um runtime gerenciado que atualiza por baixo de você na semana antes de um prazo. Se preferir que instalemos o driver antes da entrega, diga no pedido e instalaremos.
HPE iLO ou Dell iDRAC: console de teclado e tela, mídia virtual, controle de energia, saúde do hardware e o log de hardware. Um driver gráfico que derruba o display ou a rede junto é um inconveniente em vez de um ticket de suporte, porque você ainda consegue ver a máquina iniciar.
Não há franquia de transferência a exceder e nenhuma linha de egresso em fatura alguma. Datasets entrando, checkpoints saindo, renders saindo, um modelo servido a usuários reais — tudo isso se move pelo preço da porta e nem um byte a mais. Banda sem medição é o degrau acima da velocidade incluída, e é a maior diferença entre isto e uma conta de um hyperscaler.
Imagens de sistema operacional em um clique, reinstaláveis sem ticket e sem custo, de modo que um experimento de driver que termina mal custa vinte minutos. O DNS reverso é seu para editar, IPv6 está incluído, e mais IPv4 é uma linha de catálogo em vez de uma negociação.
Telefone, chat ao vivo e tickets, incluídos em todo plano, e um componente com falha substituído em até quatro horas após ser reportado por telefone ou chat. Suporte tem os tempos de resposta e o cronograma de créditos por escrito.
Nova York, Miami, São Francisco, Amsterdã e Bucareste — e onde a máquina fica decide sua latência para quem a chama e sob qual regime de proteção de dados ela cai. Data centers descreve os prédios.
Em quanto tempo existe
Não é um número só, porque nunca foi um número só. Uma placa já instalada em uma máquina já no rack é uma entrega. Uma placa que precisa ser comprada é uma ordem de compra. Dizer qual dessas você está pedindo — antes de pagar em vez de depois — é a única versão disto que vale alguma coisa.
Nada é instalado e nada é movido. A máquina é imageada e entregue. Servidores instantâneos é a lista do que está parado lá agora.
O caso comum para tudo nesta página. A peça está em nosso próprio depósito; um técnico a instala, monta o array e instala o sistema operacional. Uma máquina na prateleira que é próxima mas não exata — memória adicionada, um drive trocado, o array reconstruído em torno da sua escolha — é o mesmo trabalho, feito no lugar sem a máquina sair do rack.
Algo na lista não é estoque que carregamos. Nós a encomendamos, depois montamos. Montar sob encomenda é a página para uma especificação inteira desse tipo.
Aceleradores da geração atual rodam por alocação e a data é do distribuidor, não nossa. Nomearemos o item crítico antes de você se comprometer, não depois. Onde hardware é comprado para um cliente só, pedimos três meses adiantados, porque é uma máquina que não conseguimos realugar se a conta fechar na segunda semana.
Cada degrau começa quando o pedido passa pelo pagamento e pela revisão de fraude, que é o único passo para o qual não faremos promessa: a maioria passa em algumas horas, um primeiro pedido de uma conta nova pode demorar mais. Cartão, PayPal, ACH e transferência são todos aceitos, e também criptomoeda — que para pedidos maiores costuma ser a mais rápida delas a compensar.
Perguntas já feitas
Tiradas do que as pessoas realmente nos perguntam no chat e nos tickets, aproximadamente na ordem em que perguntam. A primeira já nos custou pedidos, por isso também está em primeiro lugar aqui.
Para onde ir em seguida
Esta página responde a uma pergunta: quais placas instalamos e quanto custam. Tudo adjacente a essa pergunta tem sua própria página, e estas são todas elas, na ordem em que os visitantes desta página realmente clicam.
Ainda não tem certeza de qual placa? e alguém que já dimensionou uma dessas antes responderá — inclusive quando a resposta for uma placa mais barata do que aquela pela qual você veio.
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.