Server GPU · NVIDIA L40S

Server dedicat L40S pentru AI, randare și video live pe un singur GPU

Un server dedicat L40S de la Primcast este o mașină fizică întreagă cu un GPU NVIDIA L40S trecut direct către propriul tău sistem de operare: 48 GB GDDR6 ECC, trei encodere hardware AV1 și nuclee de ray-tracing. Îl închiriezi lunar, fără contract și cu un port nemăsurat care este doar al tău.

Configurează-ți serverul L40S Vezi configurații și prețuri

nvidia-l40s Ada Lovelace

Memorie GPU: 48 GB GDDR6 ECC
Lățime de bandă memorie: 864 GB/s
Nuclee CUDA: 18,176
Motoare video: 3 NVENC + 3 NVDEC, AV1
Interfață, putere: PCIe Gen 4 x16, 350 W
NVLink: Nu are

01Pentru ce este

Patru sarcini pe care GPU-ul L40S le face bine

Majoritatea GPU-urilor sunt construite pentru un singur tip de lucru. NVIDIA L40S poate rula un model, reda un cadru și codifica un flux pe aceeași placă, motiv pentru care oamenii îl aleg pentru pipeline-uri mixte.

01Video

L40S pentru codificare video

Trei encodere și trei decodere gestionează AV1, HEVC și H.264 în hardware. Poți prelua un flux, îl transcodifici și îl servești în timp ce un model de pe același GPU decide ce să facă cu cadrele. A100 și H100 nu au deloc encoder video, așa că pe acele GPU-uri video-ul cade în sarcina procesorului. Pentru numărul de canale și mașina completă, vezi servere de transcodare video live.

02AI

Inferență pe un model care încape în 48 GB

Suportul pentru tensori FP8 și cei 48 GB lasă loc pentru un model 7B sau 13B la precizie completă de 16 biți, sau un model 30B la 4 biți. Pentru un endpoint care răspunde utilizatorilor reali la o dimensiune modestă a lotului, acest GPU este suficient. Tabelul de dimensionare de mai jos arată unde devine strâmt.

03Randare

Randări lungi pe care nu vrei să le repeți

Fiecare gigabyte de memorie este corectat de erori, iar nucleele de ray-tracing de a treia generație fac munca grea. GPU-urile de consum costă mai puțin pe cadru, dar un bit inversat la o sarcină nesupravegheată peste noapte înseamnă să o rulezi din nou. ECC este ceea ce îți permite să pornești o randare și să pleci.

04Desktopuri

Stații de lucru virtuale

L40S suportă NVIDIA vGPU și are patru ieșiri DisplayPort, astfel încât îl poți împărți între propriile desktopuri virtuale. A100 și H100 nu au ieșiri de afișare. Împărțirea este alegerea ta pe mașina ta: noi predăm GPU-ul întreg.

02Înainte să comanzi

Două limite ale NVIDIA L40S

Ambele provin din specificația proprie a NVIDIA și ambele fac parte din motivul pentru care L40S costă mai puțin decât acceleratoarele de lângă el.

Lățime de bandă a memoriei, nu memorie stivuită

L40S își citește memoria la 864 GB/s. A100 citește la 1.555 GB/s cu 40 GB și 1.935 GB/s cu 80 GB, aproximativ de două ori mai rapid. Când generezi tokeni la o dimensiune mare a lotului, acea rată de citire stabilește plafonul. Așadar, un A100 servește mai multe cereri pe secundă din același model, chiar dacă L40S are mai multă putere brută de calcul. Dacă debitul de servire este întreaga ta problemă, alege acceleratorul.

Fără NVLink

Două GPU-uri L40S într-o mașină sunt două pool-uri separate de 48 GB care comunică prin slotul PCIe. Nu devin niciodată un pool de 96 GB. A100 și H100 pot pune în comun memoria; L40S nu poate. Dacă ai nevoie de un spațiu de adrese mai mare de 48 GB, tabelul comparativ de mai jos arată GPU-urile care îți oferă asta.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

03Specificații

Specificațiile GPU-ului L40S

Arhitectură Ada Lovelace, nuclee Tensor de a patra generație și nuclee RT de a treia generație. Cifrele sunt ale NVIDIA, de pe pagina de produs L40S.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

NVIDIA listează, de asemenea, 91,6 teraFLOPS de FP32, 212 teraFLOPS de randare ray-tracing și 1.466 teraFLOPS de randare tensorială FP8 cu sparsitate, de la 142 nuclee RT și 568 nuclee Tensor. Acestea sunt vârfuri în condiții ideale. În practică, lățimea de bandă a memoriei decide de obicei ce obții.

04Dimensionarea modelului

Va încăpea modelul tău în 48 GB?

Da, pentru modelele 7B și 13B la orice precizie, și pentru 30B la 4 biți. Un model 70B se încarcă doar la 4 biți, cu puțin spațiu rămas pentru context.

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

Porți de la model în schimb? Dimensionarea serverului LLM calculează câtă memorie GPU are nevoie un model și care GPU o acoperă.

05Serverul din jurul lui

Ce server GPU L40S să alegi

L40S este un GPU PCIe Gen 4 x16. Fiecare server în care se potrivește îi oferă o legătură diferită, iar diferența contează pentru unele sarcini și nu pentru altele.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Pentru inferență sau transcodare, generația slotului contează prea puțin: ponderile modelului rămân pe GPU, iar cadrele video sunt mici. Contează pentru antrenamentul care transmite loturi proaspete de la gazdă la fiecare pas. Pentru asta, alege serverul al cărui slot se potrivește cu GPU-ul.

06Compară

L40S vs A40, RTX 6000 Ada și A100

Acestea sunt GPU-urile de o parte și de alta a L40S în propriul nostru catalog, fiecare cu cea mai ieftină mașină completă în care intră.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

A40 este GPU-ul Ampere pe care L40S l-a înlocuit: aceiași 48 GB, o arhitectură mai veche, fără AV1 și fără FP8. RTX 6000 Ada este GPU-ul de stație de lucru cu aceeași memorie și aceeași generație. Treci la un A100 când lățimea de bandă sau memoria pusă în comun este ceea ce te reține și citește servere A100 și H100 pentru detalii.

07Prețuri

Prețurile serverelor dedicate L40S

GPU-ul este o linie pe factura ta, iar serverul este alta. Fiecare rând arată mașina completă, ce adaugă GPU-ul și totalul lunar, citite din același catalog pe care îl folosește checkout-ul.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

PortTrafic nemăsurat în ambele direcții, pe un port care deservește doar mașina ta.
AdresăO adresă IPv4 inclusă.
TermenLunar implicit, fără contract.
AjutorAsistentul nostru de chat răspunde în câteva secunde și îți poate verifica contul și serverul. Cere o persoană oricând.

Vrei să compari fiecare GPU pe care îl montăm? Servere GPU, toate cu preț le listează la fel. Ai nevoie de o mașină astăzi? Servere instant listează ce este deja în rack.

08Întrebări

Întrebări despre L40S pe care le pun oamenii înainte de a comanda

01Câte nuclee CUDA are NVIDIA L40S?

NVIDIA L40S are 18,176 nuclee CUDA, 568 de nuclee Tensor de a patra generație și 142 de nuclee RT de a treia generație. Acestea stau lângă 48 GB GDDR6 ECC citit la 864 GB/s, pe o placă PCIe Gen 4 x16 care consumă până la 350 W.

02Este L40S potrivit pentru codificarea video?

Da. Are trei codificatoare NVENC și trei decodificatoare NVDEC, iar toate gestionează AV1 în ambele direcții. Seria RTX 30 nu poate codifica AV1, iar A100 și H100 nu pot codifica video deloc în hardware. Pentru o configurație de transcodare live construită în jurul unui GPU, vezi servere de transcodare video live.

03L40S sau A100 pentru servirea unui model?

Dacă modelul încape în 48 GB și traficul tău este moderat, L40S costă mai puțin și face și video și grafică. Dacă rulezi GPU-ul la capacitate maximă cu un lot mare, A100 își citește ponderile de aproximativ două ori mai repede și servește mai multe cereri pe secundă. Dacă modelul are nevoie de mai mult de 48 GB, alege A100 de 80 GB.

04Pot combina două GPU-uri L40S în 96 GB?

Nu. L40S nu are NVLink, așa că două dintre ele sunt două pool-uri separate de 48 GB care comunică prin slotul PCIe. Framework-ul tău poate totuși să împartă un model mai mare între ele, cu slotul ca legătură. Pentru un singur spațiu de memorie peste 48 GB, alege A100 de 80 GB din tabelul comparativ.

05Este GPU-ul partajat, divizat sau virtualizat?

Nu de către noi. Ești singurul chiriaș pe mașina fizică, iar GPU-ul merge direct către sistemul tău de operare fără hypervisor, fără partiție MIG, fără profil vGPU și fără time-slicing. Instalezi driverul și versiunea CUDA pe care le dorești. L40S suportă vGPU, așa că îl poți diviza pentru propriile desktopuri virtuale dacă alegi.

06Cât de repede pot avea un server L40S?

Depinde de locul unde se află GPU-ul și ești informat înainte de a plăti. Un GPU pe care îl avem deja în stoc este montat în patru până la douăzeci și patru de ore. Unul pe care trebuie să-l achiziționăm durează cinci până la zece zile lucrătoare. Pentru a începe astăzi, servere instant listează mașinile deja montate în rack.

07Cine mă ajută dacă ceva nu merge bine?

Deschide chatul de pe orice pagină. Asistentul nostru răspunde în câteva secunde, poate să se uite la contul tău și la serverul tău și te transferă către unul din echipa noastră ori de câte ori ceri. Păstrezi acces root complet la mașină tot timpul.

Obține un server L40S pentru pipeline-ul tău

Alege serverul, adaugă L40S și vezi totalul lunar înainte de a plăti. Fără contract, iar portul este nemăsurat.

Construiește-ți serverul L40S Compară fiecare GPU