Servidores GPU · A100 y H100
Servidor dedicado A100 H100 con la GPU completa, nunca una fracción
Un servidor dedicado A100 H100, tal como lo alquilamos, es una máquina entera con una GPU NVIDIA pasada directamente a tu propio sistema operativo: la A100 con 40 o 80 GB, o la H100 con 80 GB. Pagas por mes, nadie más la usa y el puerto no tiene medición, así que mover conjuntos de datos y puntos de control no cuesta nada extra.
- H100 80 GB$1,682.67Hopper · HBM2e · PCIe Gen 5 · FP8
- A100 80 GB$972.47Ampere · HBM2e · 1.935 GB/s
- A100 40 GB$772.47Ampere · HBM2 · 1.555 GB/s
Sin codificador de vídeo en ninguna de las tres. Memoria ECC en las tres.
¿Tienes una A100 o H100 sin usar?
Publica la máquina en el marketplace de Primcast y alquílala a quienes necesitan la computación, mes a mes.
00Marketplace
O alquila una A100 o H100 a alguien que la posee
Estas son máquinas que sus dueños publican en nuestro marketplace. Un anuncio marcado como gestionado por nuestra empresa hermana, Server Room, se alquila en serverroom.net en lugar de aquí.
01Para qué sirven
Un servidor de IA H100 para entrenar, una A100 para servir modelos
Estas GPU hacen un trabajo: mantener un modelo en memoria rápida y hacer los cálculos sobre él. Si estás entrenando o ajustando, o respondiendo peticiones de un modelo ya entrenado, este es el estante que debes mirar.
01Velocidad de memoria
Leen el modelo rápidamente
Una vez que un modelo está en la memoria de la GPU, lo rápido que responde depende sobre todo de lo rápido que la GPU puede leer sus pesos. La A100 80 GB lee 1.935 GB/s, más del doble de los 864 GB/s de la L40S.
02Entrenamiento
La H100 añade FP8
Hopper trae el Transformer Engine y FP8, por eso la gente elige la H100 para entrenar o ajustar modelos grandes. Si tu ejecución necesita terminar antes, no solo terminar, esa es la razón para pagar por ella.
03Ejecuciones largas
Hechas para semanas de carga
Memoria con corrección de errores en todo el sistema y hardware de centro de datos hecho para funcionar a pleno rendimiento. Para un entrenamiento que dura semanas y cuesta dinero real, un bit invertido que nunca notas es el riesgo que estás eliminando.
04Un solo inquilino
La GPU completa es tuya
Sin partición MIG, sin perfil vGPU, sin tiempo compartido y sin otro cliente en la máquina. Algunas ofertas de A100 en la nube son una fracción de una GPU, así que compruébalo antes de comparar precios.
02Antes de pedir
Dos cosas que debes saber sobre la NVIDIA H100 y la A100
No pueden codificar vídeo
La propia matriz de soporte de codificación y decodificación de NVIDIA lista cero codificadores NVENC en la A100 y en la H100. Pueden decodificar (cinco motores en la A100, siete en la H100), pero cada fotograma que sale de ellas tiene que ser codificado por el procesador. Tampoco tienen salidas de pantalla, así que los escritorios remotos, las estaciones de trabajo y los servidores de juegos no pertenecen aquí.
Si necesitas salida de vídeo, la NVIDIA L40S con tres codificadores AV1 es la GPU que debes alquilar, y nuestra página de transcodificación muestra cuántos canales en directo soporta una.
La A100 sigue siendo una buena compra
Es de la generación anterior, y para un modelo que cabe, a menudo es la mejor compra. La A100 de 40 GB aloja un modelo de 13 mil millones de parámetros a 8 bits con espacio de sobra, y la de 80 GB admite un modelo de 30 mil millones a 8 bits.
Alquila la H100 cuando tu código use FP8 y los núcleos tensoriales más nuevos, o cuando el tiempo hasta el resultado sea lo que estás pagando. Alquila una A100 cuando la pregunta sea “¿cabe y qué tan rápido lee?”.
03Especificaciones
Especificaciones de la NVIDIA H100 y la A100
Cifras de las hojas de datos de NVIDIA y de sus tablas de especificaciones publicadas. Donde no pudimos hacer coincidir una cifra con la placa exacta que instalamos, la hoja la omite.
H100 80GB
Hopper
80 GB HBM2e
350 W
PCIe Gen 5 x16
None. Decode only (7 engines)
Yes
A100 80GB
Ampere
80 GB HBM2e
6,912
1,935 GB/s
300 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
A100 40GB
Ampere
40 GB HBM2
6,912
1,555 GB/s
250 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
Por qué la H100 no muestra recuento de núcleos ni ancho de banda: nuestro registro de tienda mezcla dos placas, el módulo SXM que se atornilla a una placa base y la GPU PCIe que va en nuestros servidores. La memoria HBM2e de 80 GB es la de la GPU PCIe, y esa es la que recibes. Pregunta en el chat y te diremos exactamente qué placa va en tu máquina.
04Elegir
A100 vs H100: cuál alquilar
Cada GPU es una línea mensual además del servidor en el que va, así que la verdadera pregunta es si el salto vale la pena para tu trabajo. La tabla pone la memoria y el coste mensual lado a lado.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
La RTX PRO 6000 Blackwell está en la tabla a propósito: tiene 96 GB, más que cualquier GPU de esta página. Renuncias a NVLink y a algo de velocidad de memoria, y ganas cuatro codificadores de vídeo. Si tu única pregunta es si el modelo cabe, lee la página de la RTX PRO 6000 antes de decidir.
Elegir entre las dos A100 es sobre todo cuestión de capacidad. Si tu modelo y su contexto caben en 40 GB con un quinto de sobra, elige la más pequeña. Si estás cerca del límite, la A100 de 80 GB te da el espacio y además lee más rápido.
05La máquina
Qué servidor A100 o máquina H100, y el enlace PCIe que recibe
La A100 es una GPU PCIe Gen 4 y la H100 es Gen 5, mientras que nuestras plataformas de servidor son Gen 3 y Gen 4. Así que la H100 nunca obtiene aquí el bus completo para el que fue diseñada, y preferimos que lo sepas ahora.
Intel Xeon Silver / Gold
AMD EPYC
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
Si eso importa depende de tu trabajo. Un servidor de inferencia con los pesos ya cargados apenas toca la ranura. Un bucle de entrenamiento que trae un lote nuevo de la memoria del host en cada paso lo nota en cada paso. ¿No estás seguro de cuál es tu caso? Cuéntanos qué vas a ejecutar y te indicaremos la máquina.
06Dimensionamiento
Qué cabe en 80 GB de memoria de GPU
Solo pesos, para la A100 de 80 GB y la H100. Deja espacio para el contexto y el tiempo de ejecución encima.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — fits |
En la A100 de 40 GB, un modelo de 30 a 34 mil millones cabe con espacio solo a 4 bits. Un modelo de 70 mil millones a 16 bits no cabe en ninguna GPU individual que vendemos; eso requiere más de una GPU, que es donde entra NVLink. Para calcularlo al revés, de tu modelo a la GPU, usa la página de dimensionamiento de memoria para LLM.
07Precios
Hosting de GPU A100 y precios de H100, con la máquina
La GPU es una línea en tu factura y el servidor es otra. Ambas provienen del mismo catálogo de pedidos que usa la caja, así que cada precio de abajo pertenece a la máquina exacta que está a su lado.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| A100 40GB | Intel Xeon E5-2600 v3/v4 | $699 | $772.47 Configure this build → |
| A100 40GB | Intel Xeon Silver / Gold | $699 | $782.67 Configure this build → |
| A100 40GB | AMD EPYC | $699 | $916.59 Configure this build → |
| A100 80GB | Intel Xeon E5-2600 v3/v4 | $899 | $972.47 Configure this build → |
| A100 80GB | Intel Xeon Silver / Gold | $899 | $982.67 Configure this build → |
| A100 80GB | AMD EPYC | $899 | $1,116.59 Configure this build → |
| H100 80GB | Intel Xeon Silver / Gold | $1,599 | $1,682.67 Configure this build → |
| H100 80GB | AMD EPYC | $1,599 | $1,816.59 Configure this build → |
El puerto no tiene medición en ambas direcciones y sin cargo por salida, y en este tipo de trabajo eso suele ser la factura más grande en otros sitios. Una dirección IPv4 viene con el servidor, no hay contrato y pagas un mes a la vez. Para todas las demás GPU que instalamos, con precios de la misma manera, consulta todos los servidores GPU con precios.
08Entrega y ayuda
Qué tan pronto la recibes y quién responde
Estas GPU son las piezas que más probablemente se compren para ti. Se te dice cuál de estas cuatro opciones aplica antes de pagar.
- Unos 30 minutos
Ya en rack
Una máquina con la GPU instalada está en un rack. Es tuya unos 30 minutos después de que se apruebe el pedido.
- De 4 a 24 horas
Tenemos la GPU
Instalamos una GPU que tenemos en el estante en el servidor que elegiste.
- De 5 a 10 días laborables
La compramos para ti
La GPU se pide para ti a un distribuidor y luego se instala en tu servidor.
- De 10 a 15 días laborables
En asignación
Los aceleradores actuales a veces están racionados por el distribuidor, y esta es la espera más larga que cotizamos.
Las preguntas antes o después de tu pedido van a nuestro chat. Un asistente de IA responde en segundos y puede consultar tu cuenta y tu servidor, y una persona de nuestro equipo interviene cuando lo pidas. Las máquinas que están en rack y listas ahora mismo están en servidores instantáneos.
09Preguntas
Preguntas sobre el alquiler de una A100 o H100
01¿Puedo entrenar modelos de IA en un único servidor H100?
Sí. Una H100 con 80 GB entrena y ajusta modelos cuyos pesos, gradientes y estado del optimizador caben en esa memoria, y FP8 a través del Transformer Engine amplía hasta dónde llega. El entrenamiento completo de un modelo grande suele requerir más de una GPU. Varias GPUs en una máquina, o varias máquinas juntas, es una configuración que cotizamos: consulte servidores multi-GPU y multi-nodo.
02¿Es lo mismo que un NVIDIA DGX H100?
No. Un DGX H100 es el sistema propio de NVIDIA’s con ocho módulos H100 SXM en una placa base. Lo que alquilamos es una GPU H100 PCIe en un servidor estándar, adecuada para entrenamiento con una sola GPU, ajuste fino e inferencia. Si necesita varias GPUs conectadas entre sí, consulte servidores multi-GPU.
03¿Puedo transcodificar vídeo en una A100 o una H100?
No por hardware. Ninguna de las dos GPUs tiene codificador de vídeo, así que la codificación recae en el procesador y se ejecuta a la velocidad del procesador. Sí decodifican, por lo que un trabajo que lee vídeo y produce otra cosa funciona bien. Para salida de vídeo, alquile la L40S, que tiene tres codificadores AV1.
04¿La GPU está dividida en instancias MIG o compartida?
No. Recibe la GPU completa pasada a su propio sistema operativo, en una máquina que nadie más usa. Ambas GPUs admiten MIG, así que puede particionar la suya usted mismo si eso se adapta a su trabajo. Es su elección, hecha en su propia máquina.
05¿Debería alquilar la A100 de 40 GB o la de 80 GB?
Empiece por la capacidad. Si el modelo y su contexto caben en 40 GB con aproximadamente una quinta parte libre, la GPU más pequeña es la mejor compra. La A100 de 80 GB también lee más rápido, 1.935 GB/s frente a 1.555 GB/s, así que elíjala si está cerca del límite de memoria o de velocidad.
06¿Qué controlador NVIDIA y versión de CUDA recibiré?
Los que usted instale. El servidor llega con un sistema operativo limpio y acceso root, y usted fija las versiones del controlador, CUDA y framework con las que se probó su código. Nada se actualiza a sus espaldas. Si quiere el controlador instalado antes de la entrega, indíquelo en el pedido y especifique la versión.
07¿Puedo poner dos A100 o H100 en un servidor?
Sí, como configuración cotizada en lugar de una opción de pago. Ambas GPUs admiten NVLink, así que dos de ellas pueden compartir trabajo a través de un puente rápido. Qué chasis, cuántas GPUs y el plazo de entrega dependen de la GPU, así que cuéntenos qué planea ejecutar y le responderemos con la configuración.
08¿Cuánto tardaré en tener un servidor A100 o H100?
Depende de dónde esté la GPU. Unos 30 minutos después de la aprobación si una máquina en rack ya la lleva, de 4 a 24 horas si tenemos la GPU, de 5 a 10 días laborables si la compramos, y de 10 a 15 días laborables para una GPU bajo asignación. Se le informa de cuál aplica antes de pagar. Las máquinas en rack se listan en servidores instantáneos.
Elija la GPU y luego la máquina que la rodea
Cada configuración de A100 y H100 tiene su precio arriba con su servidor. Elija una, configúrela y el pedido muestra el total mensual completo antes de pagar.