Tarjetas gráficas en hardware físico · Primcast LLC · desde 2004

Dile cuál es el trabajo. Te dirá la tarjeta.

La mayor dificultad al comprar un servidor GPU no radica en la compra en sí, sino en saber qué tarjeta es suficiente. En este sector, los catálogos se organizan según la potencia del componente, en lugar de según la aplicación. Este, en cambio, funciona al revés: basta con indicar la tarea y la cantidad de memoria de la tarjeta que se necesita, y el precio final se muestra completo.

Encuentra la tarjeta ¿La tarjeta es mía?

Un usuario por máquina. La tarjeta se transfiere directamente a su sistema operativo; no se divide, no se comparte el tiempo ni se virtualiza.

La magistratura

Dos preguntas.

No se reserva nada, no se crea ninguna cuenta, y la cifra que aparece junto a cada tarjeta corresponde al servidor completo que la contiene (procesador, memoria, discos duplicados, puerto ilimitado, una dirección IP), no a la tarjeta en sí. Debajo de la tarjeta se muestra la parte que le corresponde a cada una para que pueda ver a qué parte del dinero corresponde cada una.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  47. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  48. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  49. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  50. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  51. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  52. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  53. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  54. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  55. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  56. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Estimaciones del mismo catálogo del que se emiten las facturas, no cotizaciones. Cuando falta el dato de memoria, no pudimos encontrar uno publicado por el fabricante, por lo que la tarjeta lo indica en lugar de adivinarlo. Estas tarjetas se descartan en cuanto se modifica el control de memoria, ya que filtrar por un número que desconocemos ocultaría discretamente piezas que podrían serle útiles. Si lo solicita, se lo leeremos de la tarjeta. Varias piezas son compatibles con más de un chasis y tienen distintos precios; el dato que se muestra aquí es la opción más económica para esa tarjeta, y el configurador muestra el resto.

¿Qué hay detrás de esa lista?

  • 56Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Se contó a partir del catálogo de pedidos cuando se sirvió esta página, no se introdujo manualmente. Si se retira una tarjeta mañana, esta tira será más pequeña. Lo que hay en un estante esta mañana es otra cuestión, y la respuesta se encuentra en los servidores instantáneos .

La primera pregunta que todo el mundo hace

¿La tarjeta es mía o la estoy compartiendo?

Tuya. Toda la tarjeta, toda la máquina, nadie más la usa.

La tarjeta se encuentra en una ranura PCIe de un servidor físico alquilado a una sola cuenta y se entrega directamente a su sistema operativo: su propio controlador, su propio CUDA o ROCm, sus propios procesos. No hay ningún hipervisor entre usted y el sistema, ninguna partición MIG, ningún planificador de división de tiempo que decida cuándo le toca su turno, ni ningún otro usuario cuyo trabajo por lotes afecte su latencia de inferencia a las cuatro de la tarde.

El resto del equipo es suyo en las mismas condiciones: todos los núcleos, toda la memoria, todos los discos, la raíz y el propio HPE iLO o Dell iDRAC del servidor para la consola, los medios virtuales y la alimentación. Si un controlador interrumpe la red, podrá seguir viendo la pantalla.

  • Ni una porción. Sin MIG, sin vGPU, sin asignación fraccionada. Una tarjeta, un inquilino.
  • No es una cola. Nada interrumpe tu proceso. La tarjeta está inactiva cuando tú estás inactivo.
  • No es un contenedor . Es hardware físico. Carga tus propios módulos del kernel y define tu propia versión del controlador.
  • No se mide el peso de entrada, se establecen puntos de control de salida, se renderizan los datos. Nada cuenta los bytes.

¿Por qué las cifras anteriores tienen ese aspecto?

La tarjeta es una línea en la factura, no una categoría de producto.

En cualquier otro lugar, una GPU se considera un nivel: se alquila una instancia H100 y alguien ya ha determinado el precio del procesador, la memoria, los discos y la red. Aquí, ambos elementos se suman por separado, por lo que una tarjeta gráfica de cualquiera de los extremos de la lista anterior se instala en el mismo chasis, y solo se paga la diferencia entre ambas tarjetas.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

El configurador redondea el precio por disco y le resta uno o dos centavos. Los ciclos de facturación más largos obtienen un descuento adicional; la información sobre precios se centraliza, y el hardware antiguo y el precio más bajo son la razón por la que existe la parte inferior de esta lista.

¿Cuánta memoria de tarjeta?

La única especificación que decide si funciona.

La velocidad de reloj y el número de núcleos determinan la velocidad de ejecución de un modelo. La memoria de la tarjeta gráfica determina si funciona o no: los parámetros son compatibles o no, y una tarjeta con dos gigabytes menos no es más lenta, sino que provoca un fallo. Por lo tanto, este es el dato que hay que considerar antes que ningún otro, y es el que casi nadie publica junto al precio.

La aritmética consiste en multiplicar los parámetros por el número de bytes que ocupa cada parámetro. Los pesos de dieciséis bits ocupan dos bytes cada uno, los de ocho bits uno, y los de cuatro bits medio. La cuantización a cuatro bits es lo que transforma una máquina que no puede almacenar un modelo en una que sí puede, aunque con una pérdida de calidad.

Deje margen de seguridad. Las cifras que se muestran a continuación corresponden a los pesos y nada más. El tiempo de ejecución, las activaciones y la caché de clave-valor para un contexto extenso residen en la misma memoria, y la caché crece con cada token en la conversación. Un modelo cuyos pesos ocupan 38 GB no funcionará correctamente en una tarjeta de 40 GB. Calcule entre un cuarto y la mitad más, o consúltenos y lo dimensionaremos según sus necesidades.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

¿Qué hay debajo de la tarjeta?

Cuatro chasis ocupan uno, y no son intercambiables.

Cada una toma una parte diferente del catálogo y le asigna a la tarjeta un enlace distinto con el procesador. Esa última columna está aquí porque cuesta dinero a la gente y nadie la imprime: un cliente pasó de una generación de tarjeta de consumo a la siguiente en un bus de tercera generación y la tarjeta se ralentizó , y descubrió el motivo antes que nosotros. Por eso está en la página.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
43
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
47
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Lo que realmente cambia con la generación de autobuses

Una tarjeta diseñada para un bus más moderno funciona perfectamente en uno más antiguo; simplemente no puede transmitir datos a través del enlace con la misma rapidez. Que esto sea relevante o no depende completamente de la aplicación.

  • Es importante cuando los datos cruzan el bus continuamente: un bucle de entrenamiento que transmite lotes desde el disco o la memoria del sistema, un renderizado que alimenta los datos de la escena en la tarjeta en cada fotograma, cualquier cosa que se desborde de la memoria de la tarjeta.
  • No importa una vez que los pesos se establecen y permanecen allí: inferencia en un modelo que se ajusta, transcodificación de video, la mayoría de las simulaciones. El enlace transmite solicitudes y resultados, y estos son pequeños.
  • Si tiene dudas, pregunte. Díganos la carga de trabajo y le diremos claramente si la plataforma supone un cuello de botella, incluso cuando la respuesta honesta sea que una tarjeta más barata con una mejor conexión es mejor que una tarjeta más cara con una peor.

Lo que viene con ello

Todo lo necesario para usar la tarjeta, y nada que tengas que comprar.

  • Root, y la pila de controladores es tuya

    Instalamos un sistema operativo limpio y le entregamos las claves. Usted elige la versión del controlador, la versión de CUDA o ROCm y la compilación del framework, y las fija; esta es la esencia del bare metal y lo opuesto a un entorno de ejecución gestionado que se actualiza automáticamente la semana antes de la fecha límite. Si prefiere que instalemos el controlador antes de la entrega, indíquelo en el pedido y lo haremos.

  • La propia consola de la máquina, en una red separada.

    HPE iLO o Dell iDRAC: consola con teclado y pantalla, medios virtuales, control de energía, estado del hardware y registro de hardware. Un controlador gráfico que afecta la pantalla o la red es más un inconveniente que un problema que requiere soporte técnico, ya que aún se puede observar el arranque del equipo.

  • Un puerto sin medidor, en ambas direcciones.

    No hay límite de transferencia ni línea de salida en ninguna factura. Los conjuntos de datos de entrada, los puntos de control de salida, los renderizados de salida, un modelo servido a usuarios reales: todo se transfiere al precio del puerto y ni un byte más. El ancho de banda ilimitado es el nivel superior a la velocidad incluida, y es la principal diferencia con una factura de un proveedor de hiperescala.

  • Reinstálalo tantas veces como quieras.

    Imágenes del sistema operativo con un solo clic, reinstalables sin necesidad de ticket ni coste alguno, por lo que un experimento con controladores que salga mal solo te costará veinte minutos. Puedes editar el DNS inverso, IPv6 está incluido y la compatibilidad con IPv4 está disponible en el catálogo, no requiere negociación.

  • Personas, a cualquier hora

    Servicio telefónico, chat en vivo y sistema de tickets incluidos en todos los planes. Si un componente falla, se reemplazará en un plazo de cuatro horas tras ser reportado por teléfono o chat. El servicio de soporte tiene por escrito los tiempos de respuesta y el calendario de créditos.

  • Cinco habitaciones para colocarlo

    Nueva York, Miami, San Francisco, Ámsterdam y Bucarest: la ubicación del dispositivo determina la latencia con quien lo llama y el régimen de protección de datos al que está sujeto. Los centros de datos son los edificios.

Qué tan pronto existe

Entre media hora y tres semanas, y cuál de ellas depende de dónde se encuentre la tarjeta.

No es un solo número, porque nunca lo ha sido. Una tarjeta ya instalada en una máquina ya preparada es una entrega. Una tarjeta que hay que comprar es una orden de compra. Indicarle cuál de las dos está solicitando —antes de pagar, no después— es la única versión que tiene algún valor.

  1. ~30 minutos

    La tarjeta ya está en una máquina en el estante.

    No se instala nada ni se mueve nada. Se formatea la imagen de la máquina y se entrega. La lista de servidores instantáneos es la que se encuentra allí en este momento.

  2. 4–24 horas

    Una tarjeta que tenemos en la mano se ajusta, o una máquina en bastidor se reorganiza.

    Este es el caso habitual para todo lo que aparece en esta página. La pieza se encuentra en nuestro almacén; un técnico la instala, ensambla el arreglo e instala el sistema operativo. Si la máquina que tenemos en la estantería es similar pero no idéntica (se le ha añadido memoria, se ha cambiado un disco duro, se ha reconstruido el arreglo según sus preferencias), el proceso es el mismo, realizado in situ sin que la máquina salga del rack.

  3. 5-10 días laborables

    La tarjeta debe comprarse en

    Algunos artículos de la lista no están en stock. Los encargamos y luego los fabricamos. La página "Fabricación bajo pedido" contiene información sobre especificaciones de este tipo.

  4. 10-15 días laborables

    La tarjeta es escasa.

    Los aceleradores de última generación funcionan con un sistema de asignación y la fecha la establece el distribuidor, no nosotros. Le indicaremos la fecha límite antes de que se comprometa, no después. Cuando se adquiere hardware para un solo cliente, solicitamos un pago por adelantado de tres meses, ya que se trata de una máquina que no podemos volver a alquilar si la cuenta se cancela en la segunda semana.

Cada etapa comienza cuando se aprueba el pago y la revisión de fraude del pedido, un paso que no podemos garantizar: la mayoría se procesan en un par de horas, aunque un primer pedido de una cuenta nueva puede tardar más. Aceptamos tarjetas, PayPal, transferencias bancarias (ACH) y criptomonedas , que suelen ser las más rápidas en procesarse para pedidos grandes.

Preguntado anteriormente

Las doce preguntas que esta página pretende responder.

Recopilado de las preguntas que nos hacen en el chat y en los tickets, aproximadamente en el orden en que las formulan. La primera nos ha costado pedidos, así que también aparece primero aquí.

¿La GPU es dedicada o compartida?
Dedicada. Una máquina física, una cuenta y la tarjeta se conecta directamente a tu sistema operativo. Sin hipervisor, sin partición MIG, sin perfil vGPU, sin planificador de división de tiempo y sin carga de trabajo de otros usuarios en la tarjeta. Lo que midas la primera tarde es lo que conservas.
¿Puedo tener más de una tarjeta en una misma máquina?
Sí, y se trata de una configuración que le cotizamos, no de una casilla que usted marque. La cantidad que cabe depende del chasis, el ancho físico de la tarjeta y el presupuesto de energía, por lo que para dar una respuesta precisa necesitamos la tarjeta específica. Pregunte y le responderemos indicando el chasis, la cantidad y el plazo de entrega. Varios clientes usan dos, y la razón más común es la memoria más que la velocidad: dos tarjetas de 48 GB albergan un modelo que una de 80 GB no admite. Más de una tarjeta o máquina es el tema que se aborda en la página correspondiente, incluyendo qué cambia cuando la segunda tarjeta se convierte en una segunda máquina.
¿Qué controlador y versión de CUDA debo obtener?
Independientemente de lo que instales. Esa es la ventaja del bare metal: la máquina llega con un sistema operativo y root limpios, y tú configuras el controlador, la versión de CUDA o ROCm y la compilación del framework según con qué se haya probado tu código; así, nada se actualiza automáticamente. Si prefieres que el controlador se instale antes de la entrega, indícalo en el pedido y especifica la versión. Si necesitas una versión específica de CUDA compatible con una tarjeta gráfica concreta, pregúntanos antes de pagar y lo comprobaremos en lugar de adivinar.
¿Qué pasa si la tarjeta que quiero no está disponible hoy?
Luego se instala o se solicita, y se le informa cuál es la opción antes de pagar. Una tarjeta que tenemos en reserva se entrega en un plazo de cuatro a veinticuatro horas. Una tarjeta que debemos comprar tarda de cinco a diez días hábiles, y un acelerador de última generación, sujeto a asignación, puede tardar de diez a quince días. Esta página no muestra el inventario deliberadamente, ya que una tarjeta es una pieza que instalamos, no un producto que entra y sale del mercado; pero si necesita una máquina hoy mismo , la lista de servidores instantáneos muestra lo que realmente está disponible en un rack en este momento.
¿Puedo añadir o cambiar la tarjeta más adelante?
Sí, en la máquina que ya tiene: sin migración, sin reinstalación, sin nueva dirección. Se trata de una visita programada al rack y una breve interrupción mientras la máquina está fuera de servicio, y el importe mensual varía según la diferencia entre las dos tarjetas. La memoria, los discos y la velocidad de los puertos se actualizan de la misma manera.
¿Qué ocurre cuando falla una tarjeta?
Se realiza el reemplazo, y el acuerdo establece un plazo: cuatro horas a partir del momento en que lo reporte por teléfono o chat en vivo. Transcurrido ese plazo, se le otorgará crédito de servicio según un calendario publicado, no a solicitud. El equipo de soporte tiene el calendario y el número de teléfono por escrito.
¿El ancho de banda se mide? ¿Cuánto cuesta la salida de datos?
No se mide el consumo de datos ni se cobra por la salida de datos, independientemente de la velocidad del puerto que ofrezcamos. No hay límite de transferencia ni cargos adicionales en ninguna factura. En el caso del trabajo con GPU, este suele ser el mayor coste oculto: una ejecución de entrenamiento que carga un conjunto de datos y envía puntos de control, o un punto final de inferencia que responde al tráfico real, mueve una gran cantidad de bytes, y en un proveedor de servicios en la nube se cobra por gigabyte de salida en cada una de ellas. El ancho de banda ilimitado es el nivel superior a la velocidad del puerto incluida.
¿Cómo se compara esto con alquilar una GPU por horas?
La aritmética lo determina. Una tarjeta por hora es más barata si el trabajo es intermitente y se detiene por completo: unos cientos de horas al mes o menos. Pasado aproximadamente dos tercios del mes, la diferencia es abismal, y eso sin contar la salida de datos, el almacenamiento que debe persistir entre ejecuciones y el tiempo que el trabajo pasa en cola por capacidad. En este caso, la opción mensual también implica la misma máquina, los mismos discos y la misma dirección el mes siguiente, lo cual es más importante de lo que se suele pensar una vez que el sistema está en producción.
¿Puedo minar criptomonedas o ejecutar nodos de blockchain y computación descentralizada?
Sí. Ambas son cargas de trabajo habituales aquí y siempre lo han sido, y varias de las tarjetas de esta página se compraron precisamente para eso. La página de servidores de minería está dedicada específicamente al caso de minería, incluyendo las partes que solo tienen sentido para ello.
¿Cómo puedo pagar y hay algún contrato?
Tarjeta, PayPal, ACH, transferencia bancaria o criptomoneda. Sin contrato: el plazo predeterminado es de un mes, los ciclos de tres, seis y doce meses tienen descuento y el precio no aumenta al renovar. Los pagos con criptomonedas cubren las monedas aceptadas; para un primer pedido grande, una transferencia bancaria o una stablecoin suele procesarse más rápido que una tarjeta, lo cual conviene saber antes de que una verificación de fraude retrase la producción.
¿Puedo obtener un reembolso si no es lo que necesitaba?
Dentro de los tres días naturales posteriores a la primera activación, una vez agotadas las opciones de solución de problemas, la política de reembolsos se expresa con toda exactitud. Precisamente por eso existen las secciones sobre tamaño y generación de bus mencionadas anteriormente: nos conviene a ambos que compre la tarjeta adecuada desde el principio, y preferimos convencerle de que elija una más pequeña a venderle una de vuelta.
¿Tienes la tarjeta más reciente?
A veces, y es la pregunta equivocada. El componente más novedoso es escaso y limitado, en una plataforma que no le proporciona la generación de bus para la que fue diseñado, a un precio que presupone que se necesita todo su potencial. La mayor parte del trabajo con GPU aquí no consiste en entrenar un modelo de vanguardia, sino en dar soporte a uno ya existente, codificar vídeo, renderizar fotogramas o gestionar ordenadores de sobremesa, y para todos esos casos la tarjeta adecuada suele ser de dos generaciones anteriores y cuesta una cuarta parte. Díganos cuál es la tarea. Si la respuesta es realmente el componente más novedoso, se lo diremos, y también le diremos cuánto costará y cuándo estará disponible.

¿Adónde ir después?

Las páginas que están a ambos lados de esta.

Esta página se centra en una sola pregunta: qué tarjetas son compatibles y cuánto cuestan. Todo lo relacionado con esa pregunta tiene su propia página, y aquí se muestran todas, en el orden en que los visitantes hacen clic en esta página.

¿Aún no sabes qué tarjeta elegir? y alguien que ya haya evaluado una de estas opciones te responderá, incluso si la respuesta es una tarjeta más económica que la que buscabas.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
56 add-in cards, in 3 classes: 14 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.