Serwer GPU · NVIDIA L40S

Serwer dedykowany L40S do AI, renderowania i wideo na żywo na jednym GPU

Serwer dedykowany L40S od Primcast to cała fizyczna maszyna z jednym GPU NVIDIA L40S przekazanym bezpośrednio do Twojego własnego systemu operacyjnego: 48 GB GDDR6 ECC, trzy sprzętowe enkodery AV1 i rdzenie ray tracingu. Wynajmujesz go miesięcznie, bez umowy i z nielimitowanym portem, który należy wyłącznie do Ciebie.

Zbuduj swój serwer L40S Zobacz konfiguracje i ceny

nvidia-l40s Ada Lovelace

Pamięć GPU: 48 GB GDDR6 ECC
Przepustowość pamięci: 864 GB/s
Rdzenie CUDA: 18,176
Silniki wideo: 3 NVENC + 3 NVDEC, AV1
Interfejs, zasilanie: PCIe Gen 4 x16, 350 W
NVLink: Brak

01Do czego służy

Cztery zadania, które GPU L40S wykonuje dobrze

Większość GPU jest budowana do jednego rodzaju pracy. NVIDIA L40S może uruchomić model, wyrenderować klatkę i zakodować strumień na tej samej karcie, dlatego ludzie wybierają go do mieszanych potoków pracy.

01Wideo

L40S do kodowania wideo

Trzy enkodery i trzy dekodery obsługują AV1, HEVC i H.264 sprzętowo. Możesz odebrać sygnał, transkodować go i serwować, podczas gdy model na tym samym GPU decyduje, co zrobić z klatkami. A100 i H100 nie mają w ogóle enkodera wideo, więc na tych GPU wideo spada na procesor. Informacje o liczbie kanałów i pełnej maszynie znajdziesz na stronie serwery do transkodowania wideo na żywo.

02AI

Inferencja na modelu mieszczącym się w 48 GB

Wsparcie dla tensorów FP8 i 48 GB pozostawiają miejsce na model 7B lub 13B w pełnej 16-bitowej precyzji albo model 30B w 4-bitowej. Dla punktu końcowego obsługującego prawdziwych użytkowników przy umiarkowanej wielkości partii to GPU w zupełności wystarczy. Tabela rozmiarów poniżej pokazuje, gdzie robi się ciasno.

03Renderowanie

Długie rendery, których nie chcesz powtarzać

Każdy gigabajt pamięci jest korygowany błędami, a rdzenie ray tracingu trzeciej generacji wykonują ciężką pracę. Konsumenckie GPU kosztują mniej za klatkę, ale przekręcony bit podczas nienadzorowanego nocnego zadania oznacza ponowne uruchomienie. ECC pozwala rozpocząć render i odejść.

04Pulpity

Wirtualne stacje robocze

L40S obsługuje NVIDIA vGPU i ma cztery wyjścia DisplayPort, więc możesz go podzielić między własne wirtualne pulpity. A100 i H100 nie mają wyjść display. Dzielenie to Twój wybór na Twojej maszynie: my przekazujemy GPU w całości.

02Zanim zamówisz

Dwa ograniczenia NVIDIA L40S

Oba wynikają ze specyfikacji samej firmy NVIDIA i oba są częścią powodu, dla którego L40S kosztuje mniej niż akceleratory obok niego.

Przepustowość pamięci, a nie pamięć stosowa

L40S odczytuje swoją pamięć z prędkością 864 GB/s. A100 odczytuje z prędkością 1 555 GB/s przy 40 GB i 1 935 GB/s przy 80 GB, mniej więcej dwa razy szybciej. Gdy generujesz tokeny przy dużej wielkości partii, ta prędkość odczytu wyznacza pułap. Dlatego A100 obsługuje więcej żądań na sekundę z tego samego modelu, mimo że L40S ma więcej surowej mocy obliczeniowej. Jeśli przepustowość serwowania to cały Twój problem, wybierz akcelerator.

Brak NVLink

Dwa GPU L40S w jednej maszynie to dwie oddzielne pule 48 GB, które komunikują się przez gniazdo PCIe. Nigdy nie stają się jedną pulą 96 GB. A100 i H100 mogą łączyć pamięć; L40S nie może. Jeśli potrzebujesz jednej przestrzeni adresowej większej niż 48 GB, tabela porównawcza poniżej pokazuje GPU, które Ci to zapewniają.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

03Specyfikacja

Specyfikacja GPU L40S

Architektura Ada Lovelace, rdzenie Tensor czwartej generacji i rdzenie RT trzeciej generacji. Dane pochodzą od firmy NVIDIA, z jej strony produktu L40S.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

NVIDIA podaje również 91,6 teraFLOPS FP32, 212 teraFLOPS przepustowości ray tracingu i 1 466 teraFLOPS przepustowości tensorów FP8 z rzadkością, z 142 rdzeni RT i 568 rdzeni Tensor. To wartości szczytowe w idealnych warunkach. W praktyce o tym, co otrzymasz, zwykle decyduje przepustowość pamięci.

04Dobór modelu

Czy Twój model zmieści się w 48 GB?

Tak dla modeli 7B i 13B w dowolnej precyzji oraz dla 30B w 4-bitowej. Model 70B ładuje się tylko w 4-bitowej, z niewielką ilością miejsca na kontekst.

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

Wolisz zacząć od modelu? Dobór serwera LLM oblicza, ile pamięci GPU potrzebuje model i które GPU ją zapewnia.

05Serwer wokół niego

Który serwer GPU L40S wybrać

L40S to GPU PCIe Gen 4 x16. Każdy serwer, w którym się mieści, daje mu inne połączenie, a różnica ma znaczenie dla niektórych zadań, a dla innych nie.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

W przypadku inferencji lub transkodowania generacja gniazda prawie nie ma znaczenia: wagi modelu pozostają na GPU, a klatki wideo są małe. Ma znaczenie przy trenowaniu, które przesyła świeże partie z hosta w każdym kroku. W tym celu wybierz serwer, którego gniazdo pasuje do GPU.

06Porównaj

L40S vs A40, RTX 6000 Ada i A100

To GPU po obu stronach L40S w naszym własnym katalogu, każde z najtańszą kompletną maszyną, w której się znajduje.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

A40 to GPU Ampere, które L40S zastąpił: te same 48 GB, starsza architektura, brak AV1 i brak FP8. RTX 6000 Ada to GPU do stacji roboczych z tą samą pamięcią i tą samą generacją. Przejdź na A100, gdy ogranicza Cię przepustowość lub łączona pamięć, a szczegóły znajdziesz na stronie serwery A100 i H100.

07Ceny

Ceny serwerów dedykowanych L40S

GPU to jedna pozycja na fakturze, a serwer to druga. Każdy wiersz pokazuje pełną maszynę, ile dodaje GPU i miesięczną sumę, odczytaną z tego samego katalogu, którego używa kasa.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

PortNielimitowany transfer w obu kierunkach, na porcie obsługującym wyłącznie Twoją maszynę.
AdresJeden adres IPv4 w cenie.
OkresDomyślnie miesięczny, bez umowy.
PomocNasz asystent czatu odpowiada w kilka sekund i może sprawdzić Twoje konto i serwer. W każdej chwili możesz poprosić o kontakt z człowiekiem.

Chcesz porównać każde GPU, które montujemy? Serwery GPU, wszystkie wycenione przedstawia je w ten sam sposób. Potrzebujesz maszyny już dziś? Serwery natychmiastowe pokazują, co jest już zamontowane w szafie.

08Pytania

Pytania o L40S, które ludzie zadają przed zamówieniem

01Ile rdzeni CUDA ma NVIDIA L40S?

NVIDIA L40S ma 18,176 rdzeni CUDA, 568 rdzeni Tensor czwartej generacji i 142 rdzenie RT trzeciej generacji. Towarzyszy im 48 GB GDDR6 ECC odczyt przy 864 GB/s, na płycie PCIe Gen 4 x16, która pobiera do 350 W.

02Czy L40S nadaje się do kodowania wideo?

Tak. Ma trzy kodery NVENC i trzy dekodery NVDEC, a wszystkie obsługują AV1 w obu kierunkach. Seria RTX 30 nie potrafi kodować AV1, a A100 i H100 w ogóle nie kodują wideo sprzętowo. Jeśli planujesz konfigurację transkodowania na żywo opartą na GPU, zobacz serwery do transkodowania wideo na żywo.

03L40S czy A100 do obsługi modelu?

Jeśli model mieści się w 48 GB, a ruch jest umiarkowany, L40S kosztuje mniej i dodatkowo obsługuje wideo oraz grafikę. Jeśli GPU pracuje na pełnych obrotach przy dużym rozmiarze partii, A100 odczytuje wagi około dwa razy szybciej i obsługuje więcej żądań na sekundę. Jeśli model potrzebuje więcej niż 48 GB, wybierz A100 80 GB.

04Czy mogę połączyć dwa GPU L40S w 96 GB?

Nie. L40S nie ma NVLink, więc dwa egzemplarze to dwie osobne pule 48 GB komunikujące się przez gniazdo PCIe. Twój framework nadal może podzielić większy model między nie, używając gniazda jako łącza. Aby uzyskać pojedynczą przestrzeń pamięci powyżej 48 GB, wybierz A100 80 GB z tabeli porównawczej.

05Czy GPU jest współdzielone, dzielone na części lub wirtualizowane?

Nie przez nas. Jesteś jedynym najemcą na fizycznej maszynie, a GPU trafia bezpośrednio do Twojego systemu operacyjnego bez hipernadzorcy, partycji MIG, profilu vGPU ani podziału czasu. Instalujesz sterownik i wersję CUDA, jaką chcesz. L40S obsługuje vGPU, więc możesz je podzielić na własne pulpity wirtualne, jeśli zechcesz.

06Jak szybko mogę otrzymać serwer L40S?

To zależy od tego, gdzie znajduje się GPU, a dowiesz się tego przed zapłatą. GPU, które już mamy, jest instalowane w ciągu od czterech do dwudziestu czterech godzin. Takie, które musimy dokupić, zajmuje od pięciu do dziesięciu dni roboczych. Aby zacząć dziś, serwery natychmiastowe pokazują maszyny już zamontowane w szafach.

07Kto mi pomoże, jeśli coś pójdzie nie tak?

Otwórz czat na dowolnej stronie. Nasz asystent odpowiada w kilka sekund, może sprawdzić Twoje konto i serwer, a na Twoją prośbę przekazuje Cię do kogoś z naszego zespołu. Przez cały czas zachowujesz pełny dostęp root do maszyny.

Zamów serwer L40S do swojego potoku pracy

Wybierz serwer, dodaj L40S i zobacz miesięczną sumę przed zapłatą. Bez umowy, a port jest nielimitowany.

Zbuduj swój serwer L40S Porównaj wszystkie GPU