GPU-Server · NVIDIA L40S

L40S Dedicated Server für KI, Rendering und Live-Video auf einer GPU

Ein L40S Dedicated Server von Primcast ist eine vollständige physische Maschine mit einer NVIDIA L40S GPU, die direkt an Ihr eigenes Betriebssystem durchgereicht wird: 48 GB GDDR6 ECC, drei AV1-Hardware-Encoder und Raytracing-Kerne. Sie mieten ihn monatlich, ohne Vertrag und mit einem ungedrosselten Port, der Ihnen allein gehört.

Ihren L40S-Server konfigurieren Konfigurationen und Preise ansehen

nvidia-l40s Ada Lovelace

GPU-Speicher: 48 GB GDDR6 ECC
Speicherbandbreite: 864 GB/s
CUDA-Kerne: 18,176
Video-Engines: 3 NVENC + 3 NVDEC, AV1
Schnittstelle, Leistung: PCIe Gen 4 x16, 350 W
NVLink: Keiner

01Wofür sie gedacht ist

Vier Aufgaben, die die L40S GPU gut bewältigt

Die meisten GPUs sind für eine Art von Arbeit gebaut. Die NVIDIA L40S kann ein Modell ausführen, ein Bild rendern und einen Stream auf derselben Karte kodieren – deshalb wird sie für gemischte Pipelines gewählt.

01Video

L40S für Videokodierung

Drei Encoder und drei Decoder verarbeiten AV1, HEVC und H.264 in Hardware. Sie können einen Feed aufnehmen, transkodieren und ausliefern, während ein Modell auf derselben GPU entscheidet, was mit den Frames geschehen soll. Die A100 und H100 haben überhaupt keinen Video-Encoder, sodass Video auf diesen GPUs auf den Prozessor zurückfällt. Für Kanalzahlen und die vollständige Maschine siehe Live-Video-Transcoding-Server.

02KI

Inferenz auf einem Modell, das in 48 GB passt

FP8-Tensor-Unterstützung und 48 GB lassen Platz für ein 7B- oder 13B-Modell in voller 16-Bit-Präzision oder ein 30B-Modell in 4-Bit. Für einen Endpunkt, der echte Nutzer bei moderater Batch-Größe bedient, ist diese GPU mehr als ausreichend. Die Größentabelle weiter unten zeigt, wo es eng wird.

03Rendering

Lange Renderings, die Sie nicht wiederholen möchten

Jedes Gigabyte Speicher ist fehlerkorrigiert, und die Raytracing-Kerne der dritten Generation übernehmen die Schwerarbeit. Consumer-GPUs kosten weniger pro Frame, aber ein gekipptes Bit bei einem unbeaufsichtigten Nachtjob bedeutet, ihn erneut auszuführen. ECC ist das, was es Ihnen erlaubt, ein Rendering zu starten und wegzugehen.

04Desktops

Virtuelle Workstations

Die L40S unterstützt NVIDIA vGPU und hat vier DisplayPort-Ausgänge, sodass Sie sie zwischen Ihren eigenen virtuellen Desktops aufteilen können. Die A100 und H100 haben keine Display-Ausgänge. Die Aufteilung ist Ihre Entscheidung auf Ihrer Maschine: Wir übergeben die GPU im Ganzen.

02Bevor Sie bestellen

Zwei Grenzen der NVIDIA L40S

Beide stammen aus NVIDIAs eigener Spezifikation, und beide sind ein Grund dafür, dass die L40S weniger kostet als die Beschleuniger neben ihr.

Speicherbandbreite, kein gestapelter Speicher

Die L40S liest ihren Speicher mit 864 GB/s. Die A100 liest mit 1.555 GB/s bei 40 GB und 1.935 GB/s bei 80 GB, also etwa doppelt so schnell. Wenn Sie Tokens bei großer Batch-Größe generieren, setzt diese Leserate die Obergrenze. Eine A100 bedient daher mehr Anfragen pro Sekunde aus demselben Modell, obwohl die L40S mehr rohe Rechenleistung hat. Wenn der Serving-Durchsatz Ihr gesamtes Problem ist, wählen Sie den Beschleuniger.

Kein NVLink

Zwei L40S-GPUs in einer Maschine sind zwei getrennte 48-GB-Pools, die über den PCIe-Steckplatz kommunizieren. Sie werden nie zu einem 96-GB-Pool. Die A100 und H100 können Speicher bündeln; die L40S kann das nicht. Wenn Sie einen Adressraum größer als 48 GB benötigen, zeigt die Vergleichstabelle unten die GPUs, die Ihnen das bieten.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

03Spezifikation

L40S GPU-Spezifikation

Ada-Lovelace-Architektur, Tensor-Kerne der vierten Generation und RT-Kerne der dritten Generation. Die Angaben stammen von NVIDIA, von der L40S-Produktseite.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

NVIDIA nennt außerdem 91,6 TeraFLOPS FP32, 212 TeraFLOPS Raytracing-Durchsatz und 1.466 TeraFLOPS FP8-Tensor-Durchsatz mit Sparsity, aus 142 RT-Kernen und 568 Tensor-Kernen. Das sind Spitzenwerte unter idealen Bedingungen. In der Praxis entscheidet meist die Speicherbandbreite, was Sie bekommen.

04Modellgrößen

Passt Ihr Modell in 48 GB?

Ja für 7B- und 13B-Modelle bei jeder Präzision und für 30B bei 4-Bit. Ein 70B-Modell lädt nur bei 4-Bit, mit wenig verbleibendem Raum für Kontext.

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

Lieber vom Modell ausgehen? LLM-Server-Dimensionierung ermittelt, wie viel GPU-Speicher ein Modell benötigt und welche GPU dafür ausreicht.

05Der Server darum herum

Welchen L40S-GPU-Server wählen

Die L40S ist eine PCIe Gen 4 x16 GPU. Jeder Server, in den sie passt, gibt ihr eine andere Anbindung, und der Unterschied ist für manche Aufgaben wichtig und für andere nicht.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Für Inferenz oder Transkodierung spielt die Steckplatz-Generation kaum eine Rolle: Die Modellgewichte bleiben auf der GPU, und Videoframes sind klein. Sie ist wichtig für Training, das bei jedem Schritt frische Batches vom Host streamt. Wählen Sie dafür den Server, dessen Steckplatz zur GPU passt.

06Vergleich

L40S vs. A40, RTX 6000 Ada und A100

Das sind die GPUs beiderseits der L40S in unserem eigenen Katalog, jeweils mit der günstigsten vollständigen Maschine, in die sie passt.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

Die A40 ist die Ampere-GPU, die die L40S ersetzt hat: dieselben 48 GB, eine ältere Architektur, kein AV1 und kein FP8. Die RTX 6000 Ada ist die Workstation-GPU mit demselben Speicher und derselben Generation. Wechseln Sie zu einer A100, wenn Bandbreite oder gebündelter Speicher Sie zurückhält, und lesen Sie A100- und H100-Server für die Details.

07Preise

Preise für L40S Dedicated Server

Die GPU ist eine Zeile auf Ihrer Rechnung und der Server eine andere. Jede Zeile zeigt die vollständige Maschine, was die GPU hinzufügt und die monatliche Summe, gelesen aus demselben Katalog, den auch der Checkout verwendet.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

PortUngedrosselter Traffic in beide Richtungen, auf einem Port, der allein Ihre Maschine bedient.
AdresseEine IPv4-Adresse inklusive.
LaufzeitStandardmäßig monatlich, ohne Vertrag.
HilfeUnser Chat-Assistent antwortet in Sekunden und kann Ihr Konto und Ihren Server prüfen. Fragen Sie jederzeit nach einer Person.

Möchten Sie jede GPU vergleichen, die wir einbauen? GPU-Server, alle mit Preisen listet sie auf dieselbe Weise. Brauchen Sie heute eine Maschine? Sofort-Server listet, was bereits im Rack steht.

08Fragen

L40S-Fragen, die Kunden vor der Bestellung stellen

01Wie viele CUDA-Kerne hat die NVIDIA L40S?

Die NVIDIA L40S hat 18,176 CUDA-Kerne, 568 Tensor-Kerne der vierten Generation und 142 RT-Kerne der dritten Generation. Sie sitzen neben 48 GB GDDR6 ECC gelesen mit 864 GB/s, auf einer PCIe Gen 4 x16-Platine, die bis zu 350 W aufnimmt.

02Ist die L40S gut für Video-Encoding?

Ja. Sie hat drei NVENC-Encoder und drei NVDEC-Decoder, und alle beherrschen AV1 in beide Richtungen. Die RTX-30-Serie kann AV1 nicht encodieren, und die A100 und H100 können Video überhaupt nicht in Hardware encodieren. Für ein Live-Transcoding-Setup rund um eine GPU siehe Live-Video-Transcoding-Server.

03L40S oder A100 für das Bereitstellen eines Modells?

Wenn das Modell in 48 GB passt und Ihr Traffic moderat ist, kostet die L40S weniger und kann außerdem Video und Grafik. Wenn Sie die GPU mit großer Batch-Größe unter Volllast betreiben, liest die A100 ihre Gewichte etwa doppelt so schnell und bedient mehr Anfragen pro Sekunde. Wenn das Modell mehr als 48 GB benötigt, wählen Sie die A100 80 GB.

04Kann ich zwei L40S-GPUs zu 96 GB zusammenfassen?

Nein. Die L40S hat kein NVLink, daher sind zwei davon zwei getrennte 48-GB-Pools, die über den PCIe-Slot kommunizieren. Ihr Framework kann ein größeres Modell trotzdem auf beide aufteilen, mit dem Slot als Verbindung. Für einen einzelnen Speicherraum über 48 GB wählen Sie die A100 80 GB aus der Vergleichstabelle.

05Ist die GPU geteilt, geslicet oder virtualisiert?

Von uns nicht. Sie sind der einzige Mieter auf der physischen Maschine, und die GPU geht direkt an Ihr Betriebssystem – ohne Hypervisor, ohne MIG-Partition, ohne vGPU-Profil und ohne Time-Slicing. Sie installieren den Treiber und die CUDA-Version, die Sie möchten. Die L40S unterstützt vGPU, Sie können sie also für Ihre eigenen virtuellen Desktops slicen, wenn Sie möchten.

06Wie schnell kann ich einen L40S-Server bekommen?

Das hängt davon ab, wo die GPU ist, und Sie erfahren es, bevor Sie zahlen. Eine GPU, die wir bereits vorrätig haben, wird innerhalb von vier bis vierundzwanzig Stunden eingebaut. Eine, die wir erst beschaffen müssen, dauert fünf bis zehn Werktage. Um noch heute zu starten, finden Sie unter Sofort-Server die bereits gerackten Maschinen.

07Wer hilft mir, wenn etwas schiefgeht?

Öffnen Sie den Chat auf einer beliebigen Seite. Unser Assistent antwortet in Sekunden, kann Ihr Konto und Ihren Server einsehen und verbindet Sie jederzeit auf Wunsch mit einem Mitglied unseres Teams. Sie behalten die ganze Zeit vollen Root-Zugriff auf die Maschine.

Holen Sie sich einen L40S-Server für Ihre Pipeline

Wählen Sie den Server, fügen Sie die L40S hinzu und sehen Sie die monatliche Summe, bevor Sie zahlen. Kein Vertrag, und der Port ist unlimitiert.

Ihren L40S-Server bauen Alle GPUs vergleichen