Servidor GPU · NVIDIA L40S
Servidor dedicado L40S para IA, renderizado y vídeo en directo en una sola GPU
Un servidor dedicado L40S de Primcast es una máquina física completa con una GPU NVIDIA L40S pasada directamente a tu propio sistema operativo: 48 GB GDDR6 ECC, tres codificadores de hardware AV1 y núcleos de trazado de rayos. Lo alquilas por meses, sin permanencia y con un puerto sin límite de tráfico que es solo tuyo.
- Memoria de la GPU
- 48 GB GDDR6 ECC
- Ancho de banda de memoria
- 864 GB/s
- Núcleos CUDA
- 18,176
- Motores de vídeo
- 3 NVENC + 3 NVDEC, AV1
- Interfaz, potencia
- PCIe Gen 4 x16, 350 W
- NVLink
- Ninguno
01Para qué sirve
Cuatro tareas que la GPU L40S hace bien
La mayoría de las GPU están pensadas para un solo tipo de trabajo. La NVIDIA L40S puede ejecutar un modelo, renderizar un fotograma y codificar una emisión en la misma placa, y por eso la gente la elige para flujos mixtos.
01Vídeo
L40S para codificación de vídeo
Tres codificadores y tres decodificadores gestionan AV1, HEVC y H.264 por hardware. Puedes recibir una señal, transcodificarla y servirla mientras un modelo en la misma GPU decide qué hacer con los fotogramas. Las A100 y H100 no tienen ningún codificador de vídeo, así que en esas GPU el vídeo recae sobre el procesador. Para ver el número de canales y la máquina completa, consulta servidores de transcodificación de vídeo en directo.
02IA
Inferencia en un modelo que cabe en 48 GB
El soporte de tensores FP8 y los 48 GB dejan espacio para un modelo de 7B o 13B a precisión completa de 16 bits, o un modelo de 30B a 4 bits. Para un endpoint que atiende a usuarios reales con un tamaño de lote moderado, esta GPU es más que suficiente. La tabla de dimensionado más abajo muestra dónde empieza a quedarse corta.
03Renderizado
Renders largos que no quieres repetir
Cada gigabyte de memoria está corregido contra errores, y los núcleos de trazado de rayos de tercera generación hacen el trabajo pesado. Las GPU de consumo cuestan menos por fotograma, pero un bit invertido en un trabajo nocturno sin supervisión significa volver a ejecutarlo. La ECC es lo que te permite lanzar un render e irte tranquilo.
04Escritorios
Estaciones de trabajo virtuales
La L40S es compatible con NVIDIA vGPU y tiene cuatro salidas DisplayPort, así que puedes repartirla entre tus propios escritorios virtuales. Las A100 y H100 no tienen salidas de pantalla. El particionado es decisión tuya en tu máquina: nosotros entregamos la GPU entera.
02Antes de pedir
Dos límites de la NVIDIA L40S
Ambos vienen de la especificación oficial de NVIDIA, y ambos son parte de por qué la L40S cuesta menos que las aceleradoras que tiene al lado.
Ancho de banda de memoria, no memoria apilada
La L40S lee su memoria a 864 GB/s. La A100 lee a 1.555 GB/s con 40 GB y 1.935 GB/s con 80 GB, aproximadamente el doble de rápido. Cuando generas tokens con un tamaño de lote grande, esa velocidad de lectura marca el techo. Así que una A100 sirve más peticiones por segundo desde el mismo modelo, aunque la L40S tenga más cómputo bruto. Si tu único problema es el rendimiento de servicio, elige la aceleradora.
Sin NVLink
Dos GPU L40S en una máquina son dos grupos separados de 48 GB que se comunican por la ranura PCIe. Nunca se convierten en un grupo de 96 GB. Las A100 y H100 pueden agrupar memoria; la L40S no. Si necesitas un espacio de direcciones mayor de 48 GB, la tabla comparativa de abajo muestra las GPU que te lo ofrecen.
Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.
03Especificación
Especificación de la GPU L40S
Arquitectura Ada Lovelace, núcleos Tensor de cuarta generación y núcleos RT de tercera generación. Las cifras son de NVIDIA, de su página de producto de la L40S.
L40S
Ada Lovelace
48 GB GDDR6 ECC
18,176
864 GB/s
350 W
PCIe Gen 4 x16
3 NVENC, 3 NVDEC, AV1
Yes
NVIDIA también indica 91,6 teraFLOPS de FP32, 212 teraFLOPS de rendimiento de trazado de rayos y 1.466 teraFLOPS de rendimiento de tensores FP8 con dispersión, a partir de 142 núcleos RT y 568 núcleos Tensor. Son picos en condiciones ideales. En la práctica, el ancho de banda de memoria suele decidir lo que obtienes.
04Dimensionado del modelo
¿Cabrá tu modelo en 48 GB?
Sí para modelos de 7B y 13B a cualquier precisión, y para 30B a 4 bits. Un modelo de 70B solo carga a 4 bits, con poco espacio restante para el contexto.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — tight | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — tight |
¿Prefieres partir del modelo? Dimensionado de servidores LLM calcula cuánta memoria de GPU necesita un modelo y qué GPU la cubre.
05El servidor que la rodea
Qué servidor GPU L40S elegir
La L40S es una GPU PCIe Gen 4 x16. Cada servidor en el que encaja le da un enlace distinto, y la diferencia importa para unos trabajos y no para otros.
Intel Xeon Silver / Gold
AMD EPYC
Para inferencia o transcodificación, la generación de la ranura apenas importa: los pesos del modelo permanecen en la GPU y los fotogramas de vídeo son pequeños. Importa para el entrenamiento que envía lotes nuevos desde el host en cada paso. Para eso, elige el servidor cuya ranura coincida con la GPU.
06Comparar
L40S frente a A40, RTX 6000 Ada y A100
Estas son las GPU a ambos lados de la L40S en nuestro propio catálogo, cada una con la máquina completa más barata en la que va.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| L40S | 48 GB GDDR6 ECC | $449 | $532.67 |
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
La A40 es la GPU Ampere a la que sustituyó la L40S: los mismos 48 GB, una arquitectura más antigua, sin AV1 y sin FP8. La RTX 6000 Ada es la GPU de estación de trabajo con la misma memoria y la misma generación. Pasa a una A100 cuando el ancho de banda o la memoria agrupada sea lo que te frena, y lee servidores A100 y H100 para los detalles.
07Precios
Precios del servidor dedicado L40S
La GPU es una línea de tu factura y el servidor es otra. Cada fila muestra la máquina completa, lo que añade la GPU y el total mensual, leído del mismo catálogo que usa el proceso de compra.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| L40S | Intel Xeon Silver / Gold | $449 | $532.67 Configure this build → |
| L40S | AMD EPYC | $449 | $666.59 Configure this build → |
- PuertoTráfico sin límite en ambas direcciones, en un puerto que sirve solo a tu máquina.
- DirecciónUna dirección IPv4 incluida.
- PlazoMensual por defecto, sin permanencia.
- AyudaNuestro asistente de chat responde en segundos y puede consultar tu cuenta y tu servidor. Pide hablar con una persona cuando quieras.
¿Quieres comparar todas las GPU que montamos? Servidores GPU, todos con precio las lista de la misma manera. ¿Necesitas una máquina hoy? Servidores instantáneos lista lo que ya está en rack.
Marketplace
Alquila una L40S a su propietario
Los propietarios publican sus máquinas L40S en nuestro marketplace y fijan su propio precio mensual. Si un anuncio indica que llega a través de nuestra empresa hermana, Server Room, lo alquilas en serverroom.net.
08Preguntas
Preguntas sobre la L40S que la gente hace antes de pedir
01¿Cuántos núcleos CUDA tiene la NVIDIA L40S?
La NVIDIA L40S tiene 18,176 núcleos CUDA, 568 núcleos Tensor de cuarta generación y 142 núcleos RT de tercera generación. Se sitúan junto a 48 GB GDDR6 ECC leídos a 864 GB/s, en una placa PCIe Gen 4 x16 que consume hasta 350 W.
02¿Es buena la L40S para codificación de vídeo?
Sí. Tiene tres codificadores NVENC y tres decodificadores NVDEC, y todos ellos manejan AV1 en ambas direcciones. La serie RTX 30 no puede codificar AV1, y las A100 y H100 no pueden codificar vídeo por hardware en absoluto. Para una configuración de transcodificación en vivo construida alrededor de una GPU, consulte servidores de transcodificación de vídeo en vivo.
03¿L40S o A100 para servir un modelo?
Si el modelo cabe en 48 GB y su tráfico es moderado, la L40S cuesta menos y además hace vídeo y gráficos. Si usa la GPU a pleno rendimiento con un tamaño de lote grande, la A100 lee sus pesos aproximadamente el doble de rápido y sirve más solicitudes por segundo. Si el modelo necesita más de 48 GB, elija la A100 de 80 GB.
04¿Puedo agrupar dos GPU L40S en 96 GB?
No. La L40S no tiene NVLink, así que dos de ellas son dos grupos separados de 48 GB que se comunican a través de la ranura PCIe. Su framework aún puede dividir un modelo más grande entre ellas, usando la ranura como enlace. Para un espacio de memoria único superior a 48 GB, elija la A100 de 80 GB de la tabla comparativa.
06¿Cuándo puedo tener un servidor L40S?
Depende de dónde esté la GPU, y se le informa antes de pagar. Una GPU que ya tenemos en stock se instala en un plazo de cuatro a veinticuatro horas. Una que tengamos que comprar tarda de cinco a diez días laborables. Para empezar hoy, servidores instantáneos enumera las máquinas ya montadas en rack.
07¿Quién me ayuda si algo sale mal?
Abra el chat en cualquier página. Nuestro asistente responde en segundos, puede ver su cuenta y su servidor, y le pasa con uno de nuestro equipo siempre que lo pida. Usted mantiene acceso root completo a la máquina en todo momento.
Consiga un servidor L40S para su pipeline
Elija el servidor, añada la L40S y vea el total mensual antes de pagar. Sin contrato, y el puerto no tiene límite de transferencia.