Servidor GPU · NVIDIA L40S

Servidor dedicado L40S para IA, renderização e vídeo ao vivo em uma única GPU

Um servidor dedicado L40S da Primcast é uma máquina física completa com uma GPU NVIDIA L40S passada diretamente para o seu próprio sistema operacional: 48 GB GDDR6 ECC, três codificadores de hardware AV1 e núcleos de ray tracing. Você aluga por mês, sem contrato e com uma porta sem limite de tráfego que é só sua.

Monte seu servidor L40S Ver configurações e preços

nvidia-l40s Ada Lovelace

Memória da GPU: 48 GB GDDR6 ECC
Largura de banda da memória: 864 GB/s
Núcleos CUDA: 18,176
Motores de vídeo: 3 NVENC + 3 NVDEC, AV1
Interface, potência: PCIe Gen 4 x16, 350 W
NVLink: Nenhum

01Para que serve

Quatro tarefas que a GPU L40S faz bem

A maioria das GPUs é feita para um tipo de trabalho. A NVIDIA L40S consegue rodar um modelo, renderizar um quadro e codificar uma transmissão na mesma placa, e é por isso que as pessoas a escolhem para pipelines mistos.

01Vídeo

L40S para codificação de vídeo

Três codificadores e três decodificadores lidam com AV1, HEVC e H.264 em hardware. Você pode receber um sinal, transcodificá-lo e distribuí-lo enquanto um modelo na mesma GPU decide o que fazer com os quadros. A A100 e a H100 não têm nenhum codificador de vídeo, então nessas GPUs o vídeo recai sobre o processador. Para contagens de canais e a máquina completa, veja servidores de transcodificação de vídeo ao vivo.

02IA

Inferência em um modelo que cabe em 48 GB

O suporte a tensores FP8 e os 48 GB deixam espaço para um modelo 7B ou 13B em precisão total de 16 bits, ou um modelo 30B em 4 bits. Para um endpoint que atende usuários reais com um tamanho de lote modesto, essa GPU é mais que suficiente. A tabela de dimensionamento mais abaixo mostra onde ela começa a ficar apertada.

03Renderização

Renderizações longas que você não quer repetir

Cada gigabyte de memória tem correção de erros, e os núcleos de ray tracing de terceira geração fazem o trabalho pesado. GPUs de consumo custam menos por quadro, mas um bit invertido em um trabalho noturno sem supervisão significa rodar tudo de novo. ECC é o que permite iniciar uma renderização e ir embora.

04Desktops

Estações de trabalho virtuais

A L40S suporta NVIDIA vGPU e tem quatro saídas DisplayPort, então você pode dividi-la entre seus próprios desktops virtuais. A A100 e a H100 não têm saídas de vídeo. O fatiamento é escolha sua na sua máquina: entregamos a GPU inteira.

02Antes de pedir

Dois limites da NVIDIA L40S

Ambos vêm da própria especificação da NVIDIA, e ambos são parte do motivo pelo qual a L40S custa menos que as aceleradoras ao lado dela.

Largura de banda da memória, não memória empilhada

A L40S lê sua memória a 864 GB/s. A A100 lê a 1.555 GB/s com 40 GB e 1.935 GB/s com 80 GB, aproximadamente o dobro da velocidade. Quando você gera tokens em um tamanho de lote grande, essa taxa de leitura define o teto. Então uma A100 atende mais requisições por segundo do mesmo modelo, mesmo que a L40S tenha mais computação bruta. Se a vazão de atendimento é todo o seu problema, escolha a aceleradora.

Sem NVLink

Duas GPUs L40S em uma máquina são dois pools separados de 48 GB que conversam pelo slot PCIe. Elas nunca se tornam um pool de 96 GB. A A100 e a H100 podem agrupar memória; a L40S não pode. Se você precisa de um espaço de endereçamento maior que 48 GB, a tabela de comparação abaixo mostra as GPUs que oferecem isso.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

03Especificação

Especificação da GPU L40S

Arquitetura Ada Lovelace, núcleos Tensor de quarta geração e núcleos RT de terceira geração. Os números são da NVIDIA, da página do produto L40S.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

A NVIDIA também lista 91,6 teraFLOPS de FP32, 212 teraFLOPS de vazão de ray tracing e 1.466 teraFLOPS de vazão de tensores FP8 com esparsidade, a partir de 142 núcleos RT e 568 núcleos Tensor. Esses são picos em condições ideais. Na prática, a largura de banda da memória geralmente decide o que você obtém.

04Dimensionamento de modelo

Seu modelo cabe em 48 GB?

Sim para modelos 7B e 13B em qualquer precisão, e para 30B em 4 bits. Um modelo 70B só carrega em 4 bits, com pouco espaço restante para contexto.

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

Prefere começar pelo modelo? Dimensionamento de servidor LLM calcula quanta memória de GPU um modelo precisa e qual GPU atende a isso.

05O servidor ao redor

Qual servidor GPU L40S escolher

A L40S é uma GPU PCIe Gen 4 x16. Cada servidor em que ela cabe dá a ela um link diferente, e a diferença importa para alguns trabalhos e não para outros.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Para inferência ou transcodificação, a geração do slot quase não importa: os pesos do modelo ficam na GPU e os quadros de vídeo são pequenos. Importa para treinamento que transmite lotes novos do host a cada passo. Para isso, escolha o servidor cujo slot corresponda à GPU.

06Comparar

L40S vs A40, RTX 6000 Ada e A100

Estas são as GPUs de cada lado da L40S em nosso próprio catálogo, cada uma com a máquina completa mais barata em que cabe.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

A A40 é a GPU Ampere que a L40S substituiu: os mesmos 48 GB, uma arquitetura mais antiga, sem AV1 e sem FP8. A RTX 6000 Ada é a GPU de estação de trabalho com a mesma memória e a mesma geração. Mude para uma A100 quando a largura de banda ou a memória agrupada for o que está segurando você, e leia servidores A100 e H100 para os detalhes.

07Preços

Preços de servidor dedicado L40S

A GPU é uma linha na sua fatura e o servidor é outra. Cada linha mostra a máquina completa, o que a GPU acrescenta e o total mensal, lido do mesmo catálogo que o checkout usa.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

PortaTráfego sem limite em ambas as direções, em uma porta que atende somente a sua máquina.
EndereçoUm endereço IPv4 incluído.
PrazoMensal por padrão, sem contrato.
AjudaNosso assistente de chat responde em segundos e pode verificar sua conta e seu servidor. Peça uma pessoa a qualquer momento.

Quer comparar todas as GPUs que instalamos? Servidores GPU, todos com preço lista da mesma forma. Precisa de uma máquina hoje? Servidores instantâneos lista o que já está montado.

08Perguntas

Perguntas frequentes sobre a L40S antes de encomendar

01Quantos núcleos CUDA tem a NVIDIA L40S?

A NVIDIA L40S tem 18,176 núcleos CUDA, 568 núcleos Tensor de quarta geração e 142 núcleos RT de terceira geração. Estão ao lado de 48 GB GDDR6 ECC de leitura a 864 GB/s, numa placa PCIe Gen 4 x16 que consome até 350 W.

02A L40S é boa para codificação de vídeo?

Sim. Tem três codificadores NVENC e três descodificadores NVDEC, e todos suportam AV1 nos dois sentidos. A série RTX 30 não consegue codificar AV1, e as A100 e H100 não conseguem codificar vídeo por hardware de todo. Para uma configuração de transcodificação em direto construída à volta de uma GPU, veja servidores de transcodificação de vídeo em direto.

03L40S ou A100 para servir um modelo?

Se o modelo couber em 48 GB e o seu tráfego for moderado, a L40S custa menos e também faz vídeo e gráficos. Se usar a GPU a todo o vapor com um tamanho de lote grande, a A100 lê os seus pesos cerca de duas vezes mais depressa e serve mais pedidos por segundo. Se o modelo precisar de mais de 48 GB, escolha a A100 de 80 GB.

04Posso juntar duas GPUs L40S em 96 GB?

Não. A L40S não tem NVLink, por isso duas delas são dois conjuntos separados de 48 GB que comunicam pela ranhura PCIe. A sua framework ainda pode dividir um modelo maior entre elas, usando a ranhura como ligação. Para um único espaço de memória acima de 48 GB, escolha a A100 de 80 GB na tabela de comparação.

05A GPU é partilhada, dividida ou virtualizada?

Por nós, não. É o único inquilino na máquina física, e a GPU vai diretamente para o seu sistema operativo sem hipervisor, sem partição MIG, sem perfil vGPU e sem partilha de tempo. Instala o driver e a versão CUDA que quiser. A L40S suporta vGPU, por isso pode dividi-la para os seus próprios ambientes de trabalho virtuais, se preferir.

06Em quanto tempo posso ter um servidor L40S?

Depende de onde está a GPU, e é informado antes de pagar. Uma GPU que já temos em stock é instalada entre quatro e vinte e quatro horas. Uma que tenhamos de comprar demora cinco a dez dias úteis. Para começar hoje, servidores instantâneos lista as máquinas já montadas em rack.

07Quem me ajuda se algo correr mal?

Abra o chat em qualquer página. O nosso assistente responde em segundos, pode ver a sua conta e o seu servidor, e passa-o para um elemento da nossa equipa sempre que pedir. Mantém acesso root total à máquina durante todo o tempo.

Obtenha um servidor L40S para o seu pipeline

Escolha o servidor, adicione a L40S e veja o total mensal antes de pagar. Sem contrato, e a porta é ilimitada.

Construa o seu servidor L40S Compare todas as GPUs