Carga de trabajo · Alojar un modelo de lenguaje

Alojamiento de LLM en una GPU dedicada dimensionada para el modelo que quieres ejecutar

El alojamiento de LLM en Primcast es un servidor completo con una GPU dedicada, que ejecuta el modelo que elijas en el entorno de ejecución que elijas, por el mismo precio cada mes. Elige el tamaño y la precisión de tu modelo en la hoja de cálculo y te indicará la GPU más pequeña que lo aloja con margen para servir.

Si te equivocas con la memoria, nada más importa: un modelo dos gigabytes demasiado grande para su GPU o se niega a arrancar o avanza a paso de tortuga sobre el procesador. Por eso la hoja de cálculo es lo primero.

Consigue un servidor GPU para tu modelo Por qué un modelo que cabe puede fallar igualmente

Hoja de dimensionamientopesos × margen

Tamaño del modelo

Precisión

Quién lo usa

70B: 38 GB × 1.5 = 57 GB

Fits on one GPU. The smallest that clears it (3 larger also do):

Instinct MI21064 GB HBM2e

The link opens the machine it goes in. Its price is on GPU dedicated servers.

Convierte tus GPU en ingresos mensuales pasivos

¿Tienes configuraciones de GPU de servidor o de escritorio sin usar? Anúncialas hoy en el mercado de Primcast y obtén rentas mensuales estables de equipos de IA, desarrolladores y empresas que necesitan cómputo de grado de producción.

Ir al mercado

01 Memoria de GPU

¿Cuánta memoria de GPU necesita un LLM?

Multiplica el número de parámetros por los bytes que ocupa cada parámetro. En 16 bits son dos bytes, en 8 bits uno, en 4 bits medio byte. Un modelo de 70B son unos 140 GB de pesos en 16 bits y unos 38 GB en 4 bits.

Cuantizar a menos bits es lo que permite que un modelo grande quepa en una GPU más pequeña. Cuesta algo de calidad, y cuánto depende más del modelo y del método que del número de bits. Si la precisión te importa, prueba ambas versiones antes de elegir hardware.

Espera que la descarga real pese un poco más que esta suma, ya que los formatos populares de 4 bits dejan algunas capas con mayor precisión. La descarga predeterminada de Llama 3.1 70B de Ollama’s en 4 bits llega a 43 GB en lugar de 38. Una vez que hayas elegido el archivo, dimensiona a partir de lo que realmente pesa.

Estos son solo los pesos. Trátalos como el mínimo, nunca como el requisito: la siguiente sección es la parte que sorprende a la gente.

Weights only. The runtime, the activations and the conversation come on top, and the next section is about them.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB	8 GB	5 GB
13-14 billion parameters	28 GB	14 GB	8 GB
30-34 billion parameters	68 GB	34 GB	19 GB
70 billion parameters	140 GB	70 GB	38 GB

Modelos abiertos populares y la fila que usan

El número de parámetros es el del editor y es todo lo que la cuestión de ajuste necesita. Un modelo que falte en esta lista se dimensiona de la misma manera, y cada mes llegan nuevos sin cambiar la aritmética.

MoEMezcla de expertos

Un modelo descrito como “30B con 3B activos” necesita la memoria de un modelo de 30B y se ejecuta más cerca de la velocidad de uno de 3B. Todos los expertos deben permanecer cargados, porque cada token puede despertar a uno diferente. Dimensiona siempre a partir del total.

Familias de modelos de pesos abiertos y la fila de dimensionamiento en la que cae cada una
Modelo	Parámetros	Fila de dimensionamiento
Llama 3.1 / 3.3 Meta	8B · 70B	7–8B, y 70B
Llama 4 Scout Meta	109B total · 17B activos	Por encima de la fila de 70B: dimensiona desde 109B
Qwen3 Alibaba	8B · 14B · 32B	Las tres primeras filas
Qwen3 30B-A3B Alibaba	30B total · 3B activos	30–34B, dimensionado desde el total
DeepSeek-R1 destilado	7B – 70B	Uno por fila: elige el que tu GPU soporte
Mistral Small 3.2 Mistral AI	24B	Entre las filas dos y tres: haz la aritmética
Gemma 3 Google	12B · 27B	13–14B, y justo por debajo de 30–34B
Phi-4 Microsoft	14B	13–14B
gpt-oss OpenAI	20B · 120B	Enviado en 4 bits: una GPU de 16 GB, y una GPU de 80 GB

02 Margen

Por qué un modelo que cabe puede negarse a servir

Porque los pesos comparten la memoria de la GPU con el entorno de ejecución y con la conversación. La historia habitual: el modelo ocupa 38 GB, la GPU tiene 40, carga, y logra aproximadamente un chat corto antes de que las solicitudes empiecen a hacer cola. Mueve el control deslizante y observa cómo crece la conversación.

pesos, fijos

entorno de ejecución

caché clave-valor, crece

libre

La memoria de una GPU, dibujada a escala

Cuánta conversación: longitud de contexto × solicitudes a la vez

Un usuario, contexto corto: el multiplicador ×1.25 cubre esto.

Cada token de una conversación deja una entrada en la caché clave-valor para que no se calcule dos veces. La caché crece con la longitud del contexto, y de nuevo con cada solicitud que sirves al mismo tiempo.
Presupuesta un cuarto más sobre los pesos para un usuario a la vez y la mitad más para servir tráfico. Esos son los dos multiplicadores de la hoja de cálculo.
¿Vas justo? Antes de hacer el pedido, envíanos tu modelo, su cuantización, la longitud de contexto y el número de personas que lo usan a la vez. Dimensionarte una GPU ahora es mucho más fácil que moverte a una más grande después de la entrega.

03 Servidor GPU para LLM

Qué servidor GPU ejecuta qué modelo

Encuentra tu modelo a la izquierda y tu precisión en la parte superior. Cada celda nombra la GPU más pequeña que instalamos que contiene esos pesos con margen para servir, y enlaza a la máquina en la que va. Donde ninguna GPU individual es suficiente, la celda lo dice.

The smallest GPU we fit that holds the weights with room left to serve: 1.5× the weights, the generous end of the quarter-to-a-half head-room rule. Prices are on GPU dedicated servers, next to the machine each GPU goes in.
If you want to run	at 16-bit	at 8-bit	at 4-bit
7-8 billion parameters	TESLA P40 / QUADRO P600024 GB16 GB of weights	TITAN V12 GB HBM28 GB of weights	TESLA P48 GB GDDR55 GB of weights
13-14 billion parameters	RTX A600048 GB GDDR6 ECC28 GB of weights	TESLA P40 / QUADRO P600024 GB14 GB of weights	TITAN V12 GB HBM28 GB of weights
30-34 billion parameters	More than one GPUNothing we fit holds it alone68 GB of weights	Instinct MI21064 GB HBM2e34 GB of weights	Tesla V100 32GB32 GB HBM219 GB of weights
70 billion parameters	More than one GPUNothing we fit holds it alone140 GB of weights	More than one GPUNothing we fit holds it alone70 GB of weights	Instinct MI21064 GB HBM2e38 GB of weights

La GPU más pequeña que cabe no siempre es la que quieres. La memoria solo te dice si el modelo arrancará. El resto de la GPU decide a qué velocidad y para cuántas personas a la vez, así que si la velocidad importa más que el presupuesto, sube un escalón.
Las GPU más antiguas no hablan los formatos numéricos más nuevos. Varias de las GPU que instalamos son anteriores a FP8 y bfloat16, por lo que un entorno de ejecución que los espera recurre a algo más lento o se niega a arrancar. Pregunta por una GPU y un entorno de ejecución específicos antes de hacer el pedido.
Las GPU AMD ejecutan ROCm, no CUDA. Las GPU Instinct ofrecen mucha memoria por el precio y responden a más de una celda aquí, pero tu software debe ser compatible con ROCm. La mayoría de los entornos de ejecución actuales lo son y algunas herramientas a su alrededor todavía no. Estaremos encantados de comprobar el tuyo contigo.
Más de una GPU es una configuración que cotizamos, no una opción de pago, porque cuántas caben depende del ancho de la GPU y del presupuesto de energía del chasis. Nuestra página de multi-GPU lo explica. La otra respuesta a ese tamaño son 128 GB de memoria compartida por el procesador y la GPU en una máquina: alquilar un NVIDIA DGX Spark.

04 Las GPU

Cada GPU que instalamos, de mayor a menor memoria

Instalamos 56 GPU con una cifra de memoria publicada, y la más grande tiene 96 GB. Esta lista empieza por arriba porque la pregunta aquí es “cuál es el modelo más grande que puedo ejecutar”. Servidores dedicados GPU enumera las mismas GPU desde la máquina más barata, con precios. Una GPU cuyo fabricante no publica su memoria se omite en lugar de adivinarla.

Algunas GPU vienen en más de un chasis, y la generación PCIe de la máquina subyacente cambia lo que una GPU moderna puede hacer. Ambos están en servidores dedicados GPU. Si prefieres no esperar a una configuración, mira las máquinas terminadas en servidores instantáneos.

05 LLM autohospedado

Tu entorno de ejecución, tus versiones, nada en medio

Recibes el servidor con un sistema operativo recién instalado y acceso root. No hay ningún servicio de inferencia nuestro delante de tu modelo y nada se actualiza solo la semana antes de tu fecha límite. Mantén el controlador de la GPU, CUDA o ROCm y tu framework exactamente en las versiones con las que probaste. Si quieres que el controlador esté instalado antes de la entrega, dilo en el pedido e indica la versión.

vLLM y Ollama responden ambos en un endpoint compatible con OpenAI, de modo que el código escrito para una API alojada apunta a tu propio servidor cambiando una URL base.

vLLM
Para servir tráfico real
El procesamiento por lotes continuo y la atención paginada permiten que una GPU responda muchas solicitudes a la vez. Esa es la diferencia entre una demo y un servicio. Requiere una GPU razonablemente moderna.
llama.cpp
Para memoria ajustada o GPU más antiguas
Sus formatos cuantizados son la razón por la que un modelo grande cabe en una GPU pequeña, y puede dividir el trabajo entre el procesador y la GPU cuando los pesos no caben del todo.
TGI · SGLang
Para producción con extras
Servidores de producción de la misma familia, con diferentes fortalezas en salida estructurada, reutilización de prefijos y servicio de varios modelos. Se ejecutan aquí sin cambios.
Ollama
Para una primera respuesta en minutos
El camino más corto desde una máquina vacía hasta un modelo que responde en un puerto. Diez minutos con él te dicen si tu dimensionamiento fue correcto.

06 Alquila un servidor para tu LLM

Lo que te da tu propio servidor y una API no

Una API alojada es fácil para empezar. Estas son las cuatro razones por las que la gente mueve su modelo a una máquina propia.

Tus prompts permanecen en tu hardware

Los pesos, los prompts, los documentos recuperados y cada token generado permanecen en una máquina a la que solo tú puedes iniciar sesión. También eliges la jurisdicción: Ámsterdam o Bucarest mantiene los datos en la UE, San Francisco, Miami o Nueva York los mantiene en EE. UU. Qué GPU tiene cada ciudad está en la página de pedido.

Sin contador funcionando en tus tokens

Una API factura cada token, y un agente o un trabajo por lotes produce tokens todo el día. Tu propio servidor cuesta lo mismo cada mes por muy ocupado que esté, y nada mide el puerto tampoco, así que traer pesos y enviar respuestas no añade nada a la factura. Las cifras mensuales están en servidores dedicados GPU.

Nadie cambia el modelo debajo de ti

El modelo que fijas hoy responde de la misma manera dentro de seis meses. Sin techo de solicitudes por minuto, sin cola en la hora punta de otra persona, sin aviso de retirada. El trato justo es que las actualizaciones son tuyas para hacerlas, cuando te convenga.

Espacio para todo lo que rodea al modelo

La recuperación necesita un modelo de embeddings, un almacén de vectores y discos rápidos. Los agentes necesitan espacio para ejecutar sus herramientas. NVMe para el almacén, núcleos de procesador para el pipeline y la GPU para los tokens: una máquina lo lleva todo.

07 Velocidad

¿A qué velocidad responderá?

Depende de demasiadas cosas para dar una cifra honesta, así que no publicamos una cifra de tokens por segundo. El modelo, la cuantización, el entorno de ejecución y su versión, el tamaño del lote, las longitudes del prompt y de la respuesta y el número de usuarios a la vez pueden multiplicarla varias veces cada uno.

Lo que la impulsa: leer tu prompt está limitado por la aritmética de la GPU y ocurre una vez por solicitud. Escribir la respuesta está limitado por el ancho de banda de memoria, porque cada token nuevo lee los pesos de nuevo. El procesamiento por lotes reparte esa lectura entre muchas solicitudes, hasta que la caché clave-valor se queda sin espacio. Otra vez el margen.

Pídenos una respuesta real

Dinos el modelo, la cuantización, la longitud de contexto y aproximadamente cuántas solicitudes llegan a la vez. Si hemos ejecutado algo similar, te diremos lo que vimos y en qué GPU. Si no, también te lo diremos.

El chat en vivo te da una respuesta en segundos de una IA que consulta tu cuenta y tu servidor, y de un compañero siempre que lo pidas. Los tiempos de respuesta están en la página de soporte.

08 Servidores de entrenamiento de LLM

El ajuste fino necesita mucha más memoria que el servicio

Servir necesita los pesos. Entrenar necesita los pesos, los gradientes y el estado del optimizador para cada parámetro que actualiza, todo cargado a la vez, más las activaciones guardadas para el paso hacia atrás. Un modelo que se sirve cómodamente en una GPU puede ser varias veces demasiado grande para ajustarlo por completo en ella.

Los métodos eficientes en parámetros como LoRA actualizan una pequeña parte de los parámetros y necesitan una pequeña parte equivalente de la memoria adicional, por eso la mayoría del ajuste fino en nuestras máquinas usa uno. El entrenamiento también transmite lotes por el enlace entre el procesador y la GPU todo el tiempo, así que la generación PCIe de la máquina importa aquí de una manera que no importa para servir. Servidores dedicados GPU muestra qué plataforma da a cada GPU qué enlace.

Envíanos el modelo, el método, la longitud de secuencia y el tamaño del conjunto de datos y lo dimensionaremos contigo. Para más de una GPU, consulta servidores multi-GPU y de clúster.

09 In short

LLM hosting at Primcast, in ten lines

What decides whether a model runs: GPU memory, and almost nothing else on the order form. The weights either fit or they do not: on a GPU a couple of gigabytes short, most runtimes refuse to load the model, and the ones that can spill layers to the processor run far slower. Clock speed and core count decide how fast it is once it fits.
How much memory a model needs: Parameters multiplied by bytes per parameter: two bytes each at 16-bit, one at 8-bit, half at 4-bit. That is the WEIGHTS. The runtime, the activations and the conversation's key-value cache live in the same memory, so budget a quarter to a half again on top before choosing a GPU.
Largest model on a single GPU here: 70 billion parameters at 4-bit, with room left to serve. Past that the answer is more than one GPU in one machine, which is a build we quote rather than a checkout option. Multi-GPU and multi-node is the page for it.
Biggest GPU we fit: RTX PRO 6000 Blackwell 96GB, 96 GB GDDR7 ECC. GPU memory figures are the manufacturers' published ones; a GPU whose figure we could not source is left out of the comparison rather than guessed at.
Which runtime: Yours. You get the machine with a fresh operating system and root, and you install vLLM, llama.cpp, TGI, SGLang, Ollama or anything else, pinned to the version your code was tested against. Nothing upgrades underneath you, and there is no vendor runtime you have to go through.
Throughput: We publish no tokens-per-second figure, deliberately, because we have not measured one under conditions we would be willing to have quoted back at us. What governs it is the GPU's memory bandwidth while generating, its arithmetic while reading the prompt, and how many requests you batch. Ask with the model, the quantisation and the expected concurrency and we will say what we have actually seen.
Fine-tuning and training: Both are ordinary work here, and both need considerably more memory than serving the same model: gradients and optimiser state sit alongside the weights. A parameter-efficient method needs a fraction of what a full fine-tune does. Tell us the method and the model and we will size it rather than have you find out after delivery.
Tenancy: One tenant per physical machine and the full GPU passed straight through to your operating system. No hypervisor, MIG slicing, vGPU profile or time-sharing scheduler, and no other customer's work on the GPU. What you measure on the first afternoon is what you keep.
Bandwidth: Nothing meters the port, in either direction, and nobody shares it with you at the access switch. Pulling weights down and serving tokens back out costs nothing beyond the port.
What this page does not price: GPUs, or anything else. Every GPU we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, each figure against the exact machine it belongs to.

10 Preguntas

Lo que la gente pregunta antes de alojar un LLM con nosotros

Recopilado del chat en vivo y de los tickets. Las cuatro primeras deciden si un pedido sale bien.

01¿Qué es el alojamiento de LLM y qué obtengo aquí?

Alojar un LLM significa ejecutar un modelo de lenguaje grande en un servidor que controlas en lugar de llamar a la API de otra persona. Con nosotros, eso significa que alquilas un servidor físico completo con su propia GPU dedicada, acceso root y un sistema operativo recién instalado, y luego instalas el modelo y el runtime que quieras. Es de grado de producción en el sentido llano: la GPU es solo tuya y las versiones las eliges tú.

02¿Cuánta memoria de GPU necesita un modelo de lenguaje grande?

Toma el número de parámetros y multiplícalo por los bytes por parámetro, que son 2 para 16 bits, 1 para 8 bits y 0,5 para 4 bits. Un modelo de 7–8B son unos 16 GB de pesos en 16 bits, 8 GB en 8 bits y 5 GB en 4 bits. Un modelo de 70B son unos 140 GB, 70 GB y 38 GB. Eso son solo los pesos, así que planifica entre un 25 y un 50 por ciento más encima para el runtime, las activaciones y la caché que guarda la conversación.

03¿Qué servidor GPU necesito para un modelo de 70B como Llama 3.3?

En 4 bits los pesos son unos 38 GB, así que con margen para servir necesitas una GPU con 64 GB o más: una GPU, una máquina. En 8 bits los pesos son 70 GB, que solo aguantan nuestras GPU individuales más grandes, y solo para un usuario a la vez, así que planifica más de una GPU si sirves tráfico. En 16 bits ninguna GPU individual que montamos lo aguanta y se convierte en una configuración multi-GPU que cotizamos. La tabla de arriba nombra las GPU exactas, y los precios están en servidores dedicados GPU.

04¿Por qué mi modelo carga y luego falla al servir?

Porque los pesos no están solos en la memoria de la GPU. El runtime y sus búferes también están ahí, y cada token de una conversación deja una entrada en la caché clave-valor para que no se recalcule. Esa caché crece con la longitud del contexto y otra vez con cada petición servida al mismo tiempo, así que un modelo que apenas cabe aguanta aproximadamente una conversación corta. Dimensiona la GPU a una vez y cuarto o una vez y media los pesos.

05¿Qué software de inferencia puedo instalar?

Cualquiera. Tienes root en un sistema operativo limpio, sin ningún servicio de inferencia nuestro por medio. vLLM es la opción habitual para servir tráfico real, llama.cpp para memoria ajustada o GPU antiguas, y TGI y SGLang funcionan sin cambios. Ollama es la forma más rápida de tener un modelo respondiendo en un puerto. vLLM y Ollama ofrecen ambos un endpoint compatible con OpenAI, así que el código de cliente existente solo necesita una nueva URL base.

06¿Alquilar un servidor para un LLM es más barato que pagar por token?

Depende de cuánto lo uses. Una API cobra por token y no cuesta nada en reposo; tu propio servidor cuesta lo mismo cada mes y nada más cuando está ocupado. El tráfico constante, los agentes que funcionan todo el día, los trabajos por lotes y cualquier cosa con reglas de privacidad suelen salir ganando en su propia máquina, mientras que un modelo llamado diez veces al día no. Las cifras mensuales para esa suma están en servidores dedicados GPU.

07¿Cuántos tokens por segundo obtendré?

No publicamos una cifra, porque el modelo, la cuantización, la versión del runtime, el tamaño del lote, las longitudes del prompt y de la respuesta y el número de usuarios a la vez pueden cambiarla varias veces cada uno. Leer el prompt está limitado por la aritmética y escribir la respuesta por el ancho de banda de memoria, y el procesamiento por lotes reparte el coste entre las peticiones hasta que la caché se llena. Dinos tu modelo, cuantización y usuarios esperados y compartiremos lo que realmente hemos visto.

08¿La GPU se comparte con alguien más?

No. Cada servidor físico tiene un cliente, y tu sistema operativo ve la GPU completa directamente. No hay ninguna capa de máquina virtual, partición MIG, perfil vGPU ni tiempo compartido entre tú y ella, así que ningún otro trabajo la comparte y la carga de nadie más puede cambiar tu latencia.

09¿Qué pasa si mi modelo no cabe en una GPU?

Entonces es una configuración multi-GPU, que cotizamos en lugar de vender desde un carrito, porque cuántas GPU caben depende de su anchura y del presupuesto de energía del chasis. Dos GPU te dan la suma de su memoria solo si el runtime divide el modelo entre ambas, lo que todo runtime serio puede hacer con cierto coste en velocidad. Nuestra página multi-GPU muestra cómo es eso, y el DGX Spark ofrece 128 GB de memoria compartida en una máquina.

10¿Puedo usar el servidor para entrenar o ajustar un LLM?

Sí, y planifica mucha más memoria que para servir el mismo modelo. El entrenamiento guarda los pesos, los gradientes y el estado del optimizador para cada parámetro que actualiza, más las activaciones para el paso hacia atrás, así que un modelo que se sirve fácilmente en una GPU puede ser varias veces demasiado grande para ajustarlo por completo allí. Los métodos eficientes en parámetros como LoRA necesitan solo una fracción de esa memoria extra, por eso la mayoría del ajuste fino en nuestras máquinas usa uno.

11¿Puedo usar una GPU AMD y funciona ROCm?

Sí. Las GPU AMD Instinct están entre las de mayor memoria que montamos y a menudo son el mejor valor por gigabyte, pero tu software tiene que soportar ROCm en lugar de CUDA. La mayoría de los runtimes de inferencia actuales lo hacen, y algunas herramientas a su alrededor todavía no. Dinos tu runtime antes de pedir y lo comprobaremos por ti.

11 Siguiente

Páginas que continúan desde aquí

¿Listo para ejecutar tu propio modelo?

Elige la GPU que nombró la hoja de cálculo, elige una ciudad y haz el pedido. Sin contrato a largo plazo, y si tus números están cerca, lo dimensionaremos contigo primero.

Consigue un servidor GPU para tu modelo Volver a la hoja de cálculo