Serveur GPU · NVIDIA L40S

Serveur dédié L40S pour l’IA, le rendu et la vidéo en direct sur un seul GPU

Un serveur dédié L40S de Primcast est une machine physique complète avec un GPU NVIDIA L40S transmis directement à votre propre système d’exploitation : 48 GB GDDR6 ECC, trois encodeurs matériels AV1 et des cœurs de ray tracing. Vous le louez au mois, sans engagement, avec un port non mesuré qui vous est réservé.

Configurez votre serveur L40S Voir les configurations et les prix

nvidia-l40s Ada Lovelace

Mémoire GPU: 48 GB GDDR6 ECC
Bande passante mémoire: 864 GB/s
Cœurs CUDA: 18,176
Moteurs vidéo: 3 NVENC + 3 NVDEC, AV1
Interface, alimentation: PCIe Gen 4 x16, 350 W
NVLink: Aucun

01À quoi il sert

Quatre tâches que le GPU L40S accomplit bien

La plupart des GPU sont conçus pour un seul type de travail. Le NVIDIA L40S peut exécuter un modèle, rendre une image et encoder un flux sur la même carte, ce qui explique pourquoi on le choisit pour les pipelines mixtes.

01Vidéo

L40S pour l’encodage vidéo

Trois encodeurs et trois décodeurs prennent en charge l’AV1, le HEVC et le H.264 au niveau matériel. Vous pouvez recevoir un flux, le transcoder et le diffuser pendant qu’un modèle sur le même GPU décide quoi faire des images. Les A100 et H100 n’ont aucun encodeur vidéo, donc sur ces GPU la vidéo retombe sur le processeur. Pour le nombre de chaînes et la machine complète, consultez les serveurs de transcodage vidéo en direct.

02IA

Inférence sur un modèle qui tient dans 48 Go

La prise en charge des tenseurs FP8 et les 48 Go laissent de la place pour un modèle 7B ou 13B en précision 16 bits complète, ou un modèle 30B en 4 bits. Pour un point de terminaison répondant à de vrais utilisateurs avec une taille de lot modeste, ce GPU est largement suffisant. Le tableau de dimensionnement plus bas montre où cela devient juste.

03Rendu

Les longs rendus que vous ne voulez pas recommencer

Chaque gigaoctet de mémoire est corrigé contre les erreurs, et les cœurs de ray tracing de troisième génération font le gros du travail. Les GPU grand public coûtent moins cher par image, mais un bit inversé sur un travail nocturne sans surveillance signifie le relancer. L’ECC est ce qui vous permet de lancer un rendu et de partir.

04Bureaux

Postes de travail virtuels

Le L40S prend en charge NVIDIA vGPU et possède quatre sorties DisplayPort, vous pouvez donc le répartir entre vos propres bureaux virtuels. Les A100 et H100 n’ont aucune sortie d’affichage. Le découpage est votre choix sur votre machine : nous vous remettons le GPU entier.

02Avant de commander

Deux limites du NVIDIA L40S

Les deux proviennent des spécifications de NVIDIA, et les deux expliquent en partie pourquoi le L40S coûte moins cher que les accélérateurs qui l’entourent.

Bande passante mémoire, pas de mémoire empilée

Le L40S lit sa mémoire à 864 GB/s. L’A100 lit à 1 555 Go/s avec 40 Go et 1 935 Go/s avec 80 Go, soit environ deux fois plus vite. Lorsque vous générez des jetons avec une grande taille de lot, ce débit de lecture fixe le plafond. Un A100 sert donc plus de requêtes par seconde avec le même modèle, même si le L40S a plus de puissance de calcul brute. Si le débit de service est tout votre problème, choisissez l’accélérateur.

Pas de NVLink

Deux GPU L40S dans une même machine sont deux réserves distinctes de 48 Go qui communiquent via le slot PCIe. Ils ne deviennent jamais une réserve unique de 96 Go. Les A100 et H100 peuvent mutualiser la mémoire ; le L40S ne le peut pas. Si vous avez besoin d’un seul espace d’adressage de plus de 48 Go, le tableau comparatif ci-dessous montre les GPU qui vous l’offrent.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

03Spécifications

Spécifications du GPU L40S

Architecture Ada Lovelace, cœurs Tensor de quatrième génération et cœurs RT de troisième génération. Les chiffres sont ceux de NVIDIA, tirés de sa page produit L40S.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

NVIDIA indique également 91,6 téraFLOPS de FP32, 212 téraFLOPS de débit de ray tracing et 1 466 téraFLOPS de débit tensoriel FP8 avec sparsité, à partir de 142 cœurs RT et 568 cœurs Tensor. Ce sont des pics dans des conditions idéales. En pratique, la bande passante mémoire décide généralement de ce que vous obtenez.

04Dimensionnement du modèle

Votre modèle tiendra-t-il dans 48 Go ?

Oui pour les modèles 7B et 13B à n’importe quelle précision, et pour le 30B en 4 bits. Un modèle 70B ne se charge qu’en 4 bits, avec peu de place restante pour le contexte.

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

Vous partez plutôt du modèle ? Le dimensionnement de serveur LLM calcule la mémoire GPU nécessaire à un modèle et quel GPU la dégage.

05Le serveur autour

Quel serveur GPU L40S choisir

Le L40S est un GPU PCIe Gen 4 x16. Chaque serveur dans lequel il s’insère lui donne une liaison différente, et la différence compte pour certains travaux et pas pour d’autres.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Pour l’inférence ou le transcodage, la génération du slot importe peu : les poids du modèle restent sur le GPU et les images vidéo sont petites. Cela compte pour l’entraînement qui diffuse de nouveaux lots depuis l’hôte à chaque étape. Dans ce cas, choisissez le serveur dont le slot correspond au GPU.

06Comparer

L40S contre A40, RTX 6000 Ada et A100

Ce sont les GPU de part et d’autre du L40S dans notre propre catalogue, chacun avec la machine complète la moins chère dans laquelle il entre.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

L’A40 est le GPU Ampere que le L40S a remplacé : les mêmes 48 Go, une architecture plus ancienne, pas d’AV1 et pas de FP8. La RTX 6000 Ada est le GPU de station de travail avec la même mémoire et la même génération. Passez à un A100 lorsque la bande passante ou la mémoire mutualisée est ce qui vous retient, et lisez les serveurs A100 et H100 pour le détail.

07Prix

Prix des serveurs dédiés L40S

Le GPU est une ligne sur votre facture et le serveur en est une autre. Chaque ligne montre la machine complète, ce que le GPU ajoute et le total mensuel, lu dans le même catalogue que celui utilisé par le paiement.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

PortTrafic non mesuré dans les deux sens, sur un port qui dessert votre machine seule.
AdresseUne adresse IPv4 incluse.
DuréeMensuelle par défaut, sans engagement.
AideNotre assistant de chat répond en quelques secondes et peut vérifier votre compte et votre serveur. Demandez une personne à tout moment.

Vous voulez comparer tous les GPU que nous installons ? Les serveurs GPU, tous tarifés les liste de la même manière. Besoin d’une machine aujourd’hui ? Les serveurs instantanés liste ce qui est déjà en rack.

08Questions

Questions fréquentes avant de commander le L40S

01Combien de cœurs CUDA possède le NVIDIA L40S ?

Le NVIDIA L40S possède 18,176 cœurs CUDA, 568 cœurs Tensor de quatrième génération et 142 cœurs RT de troisième génération. Ils côtoient 48 GB GDDR6 ECC en lecture à 864 GB/s, sur une carte PCIe Gen 4 x16 qui consomme jusqu’à 350 W.

02Le L40S est-il adapté à l’encodage vidéo ?

Oui. Il dispose de trois encodeurs NVENC et de trois décodeurs NVDEC, et tous prennent en charge l’AV1 dans les deux sens. La série RTX 30 ne peut pas encoder l’AV1, et les A100 et H100 ne peuvent pas encoder la vidéo matériellement du tout. Pour une configuration de transcodage en direct construite autour d’un GPU, consultez les serveurs de transcodage vidéo en direct.

03L40S ou A100 pour servir un modèle ?

Si le modèle tient dans 48 Go et que votre trafic est modéré, le L40S coûte moins cher et gère aussi la vidéo et les graphismes. Si vous utilisez le GPU à plein régime avec une grande taille de lot, l’A100 lit ses poids environ deux fois plus vite et sert plus de requêtes par seconde. Si le modèle nécessite plus de 48 Go, choisissez l’A100 80 Go.

04Puis-je regrouper deux GPU L40S en 96 Go ?

Non. Le L40S n’a pas de NVLink, donc deux d’entre eux sont deux pools distincts de 48 Go qui communiquent via le slot PCIe. Votre framework peut toujours répartir un modèle plus grand entre eux, avec le slot comme lien. Pour un espace mémoire unique au-delà de 48 Go, choisissez l’A100 80 Go dans le tableau comparatif.

05Le GPU est-il partagé, découpé ou virtualisé ?

Pas par nous. Vous êtes le seul locataire sur la machine physique, et le GPU va directement à votre système d’exploitation sans hyperviseur, sans partition MIG, sans profil vGPU et sans découpage temporel. Vous installez le pilote et la version CUDA de votre choix. Le L40S prend en charge le vGPU, vous pouvez donc le découper pour vos propres bureaux virtuels si vous le souhaitez.

06Quand puis-je disposer d’un serveur L40S ?

Cela dépend de l’endroit où se trouve le GPU, et vous êtes informé avant de payer. Un GPU que nous détenons déjà est installé en quatre à vingt-quatre heures. Un GPU que nous devons acheter prend cinq à dix jours ouvrés. Pour commencer aujourd’hui, les serveurs instantanés répertorient les machines déjà en rack.

07Qui m’aide en cas de problème ?

Ouvrez le chat sur n’importe quelle page. Notre assistant répond en quelques secondes, peut consulter votre compte et votre serveur, et vous met en relation avec un membre de notre équipe dès que vous le demandez. Vous conservez un accès root complet à la machine en permanence.

Obtenez un serveur L40S pour votre pipeline

Choisissez le serveur, ajoutez le L40S et voyez le total mensuel avant de payer. Sans engagement, et le port est illimité.

Construisez votre serveur L40S Comparez tous les GPU