Server GPU · NVIDIA L40S
Server dedicato L40S per IA, rendering e video live su una sola GPU
Un server dedicato L40S di Primcast è un'intera macchina fisica con una GPU NVIDIA L40S passata direttamente al tuo sistema operativo: 48 GB GDDR6 ECC, tre encoder hardware AV1 e core ray-tracing. Lo noleggi a canone mensile, senza contratto e con una porta senza limiti di traffico riservata solo a te.
- Memoria GPU
- 48 GB GDDR6 ECC
- Larghezza di banda della memoria
- 864 GB/s
- Core CUDA
- 18,176
- Motori video
- 3 NVENC + 3 NVDEC, AV1
- Interfaccia, alimentazione
- PCIe Gen 4 x16, 350 W
- NVLink
- Nessuno
01A cosa serve
Quattro attività in cui la GPU L40S eccelle
La maggior parte delle GPU è progettata per un solo tipo di lavoro. La NVIDIA L40S può eseguire un modello, renderizzare un fotogramma e codificare uno stream sulla stessa scheda, ed è per questo che viene scelta per pipeline miste.
01Video
L40S per la codifica video
Tre encoder e tre decoder gestiscono AV1, HEVC e H.264 via hardware. Puoi acquisire un flusso, transcodificarlo e distribuirlo mentre un modello sulla stessa GPU decide cosa fare con i fotogrammi. Le A100 e H100 non hanno alcun encoder video, quindi su quelle GPU il video ricade sul processore. Per il numero di canali e la macchina completa, vedi server di transcodifica video live.
02IA
Inferenza su un modello che sta in 48 GB
Il supporto tensor FP8 e 48 GB lasciano spazio per un modello 7B o 13B a piena precisione a 16 bit, oppure per un modello 30B a 4 bit. Per un endpoint che risponde a utenti reali con un batch di dimensioni modeste, questa GPU è più che sufficiente. La tabella di dimensionamento più avanti mostra dove inizia a essere al limite.
03Rendering
Render lunghi che non vuoi ripetere
Ogni gigabyte di memoria è a correzione d'errore e i core ray-tracing di terza generazione fanno il lavoro pesante. Le GPU consumer costano meno per fotogramma, ma un bit alterato durante un lavoro notturno non presidiato significa doverlo rieseguire. L'ECC è ciò che ti permette di avviare un render e allontanarti.
04Desktop
Workstation virtuali
La L40S supporta NVIDIA vGPU e dispone di quattro uscite DisplayPort, quindi puoi suddividerla tra i tuoi desktop virtuali. Le A100 e H100 non hanno uscite display. La suddivisione è una tua scelta sulla tua macchina: noi consegniamo la GPU intera.
02Prima di ordinare
Due limiti della NVIDIA L40S
Entrambi derivano dalle specifiche ufficiali NVIDIA ed entrambi spiegano perché la L40S costa meno degli acceleratori che le stanno accanto.
Larghezza di banda della memoria, non memoria impilata
La L40S legge la sua memoria a 864 GB/s. La A100 legge a 1.555 GB/s con 40 GB e a 1.935 GB/s con 80 GB, circa il doppio più veloce. Quando generi token con un batch di grandi dimensioni, quella velocità di lettura fissa il tetto. Quindi una A100 serve più richieste al secondo dallo stesso modello, anche se la L40S ha più potenza di calcolo grezza. Se il throughput di serving è il tuo unico problema, scegli l'acceleratore.
Nessun NVLink
Due GPU L40S in una macchina sono due pool separati da 48 GB che comunicano attraverso lo slot PCIe. Non diventano mai un unico pool da 96 GB. Le A100 e H100 possono condividere la memoria; la L40S non può. Se ti serve un unico spazio di indirizzamento superiore a 48 GB, la tabella comparativa qui sotto mostra le GPU che te lo offrono.
Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.
03Specifiche
Specifiche della GPU L40S
Architettura Ada Lovelace, Tensor core di quarta generazione e core RT di terza generazione. I dati sono di NVIDIA, tratti dalla pagina prodotto della L40S.
L40S
Ada Lovelace
48 GB GDDR6 ECC
18,176
864 GB/s
350 W
PCIe Gen 4 x16
3 NVENC, 3 NVDEC, AV1
Yes
NVIDIA indica anche 91,6 teraFLOPS di FP32, 212 teraFLOPS di throughput ray-tracing e 1.466 teraFLOPS di throughput tensor FP8 con sparsity, da 142 core RT e 568 Tensor core. Sono picchi in condizioni ideali. In pratica, di solito è la larghezza di banda della memoria a determinare ciò che ottieni.
04Dimensionamento del modello
Il tuo modello entra in 48 GB?
Sì per i modelli 7B e 13B a qualsiasi precisione, e per i 30B a 4 bit. Un modello 70B si carica solo a 4 bit, con poco spazio residuo per il contesto.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — tight | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — tight |
Preferisci partire dal modello? Dimensionamento server LLM calcola quanta memoria GPU serve a un modello e quale GPU la soddisfa.
05Il server che la ospita
Quale server GPU L40S scegliere
La L40S è una GPU PCIe Gen 4 x16. Ogni server in cui è installata le offre un collegamento diverso, e la differenza conta per alcuni carichi di lavoro e non per altri.
Intel Xeon Silver / Gold
AMD EPYC
Per l'inferenza o la transcodifica, la generazione dello slot conta poco: i pesi del modello restano sulla GPU e i fotogrammi video sono piccoli. Conta per l'addestramento che trasferisce nuovi batch dall'host a ogni passo. In quel caso, scegli il server il cui slot corrisponde alla GPU.
06Confronto
L40S vs A40, RTX 6000 Ada e A100
Queste sono le GPU ai lati della L40S nel nostro catalogo, ciascuna con la macchina completa più economica in cui è disponibile.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| L40S | 48 GB GDDR6 ECC | $449 | $532.67 |
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
La A40 è la GPU Ampere che la L40S ha sostituito: gli stessi 48 GB, un'architettura più vecchia, niente AV1 e niente FP8. La RTX 6000 Ada è la GPU da workstation con la stessa memoria e la stessa generazione. Passa a una A100 quando è la larghezza di banda o la memoria condivisa a frenarti, e leggi server A100 e H100 per i dettagli.
07Prezzi
Prezzi dei server dedicati L40S
La GPU è una voce della fattura e il server un'altra. Ogni riga mostra la macchina completa, quanto aggiunge la GPU e il totale mensile, letto dallo stesso catalogo usato dal checkout.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| L40S | Intel Xeon Silver / Gold | $449 | $532.67 Configure this build → |
| L40S | AMD EPYC | $449 | $666.59 Configure this build → |
- PortaTraffico senza limiti in entrambe le direzioni, su una porta che serve solo la tua macchina.
- IndirizzoUn indirizzo IPv4 incluso.
- DurataMensile per impostazione predefinita, senza contratto.
- AssistenzaIl nostro assistente chat risponde in pochi secondi e può controllare account e server. Puoi chiedere di parlare con una persona in qualsiasi momento.
Vuoi confrontare tutte le GPU che installiamo? Server GPU, tutti con prezzi le elenca allo stesso modo. Ti serve una macchina oggi? Server istantanei mostra cosa è già montato in rack.
Marketplace
Noleggia una L40S dal suo proprietario
I proprietari pubblicano le loro macchine L40S sul nostro marketplace e stabiliscono il proprio prezzo mensile. Se un annuncio indica che passa attraverso la nostra società consociata, Server Room, lo noleggi su serverroom.net.
08Domande
Domande frequenti sulla L40S prima dell'ordine
01Quanti core CUDA ha la NVIDIA L40S?
La NVIDIA L40S ha 18,176 core CUDA, 568 core Tensor di quarta generazione e 142 core RT di terza generazione. Sono affiancati da 48 GB GDDR6 ECC letti a 864 GB/s, su una scheda PCIe Gen 4 x16 che assorbe fino a 350 W.
02La L40S è adatta alla codifica video?
Sì. Dispone di tre encoder NVENC e tre decoder NVDEC, e tutti gestiscono AV1 in entrambe le direzioni. La serie RTX 30 non può codificare AV1, mentre A100 e H100 non possono codificare video in hardware. Per una configurazione di transcodifica live basata su GPU, consulta i server di transcodifica video live.
03L40S o A100 per servire un modello?
Se il modello rientra in 48 GB e il traffico è moderato, la L40S costa meno e gestisce anche video e grafica. Se usi la GPU a pieno carico con batch di grandi dimensioni, l'A100 legge i pesi circa due volte più velocemente e serve più richieste al secondo. Se il modello richiede più di 48 GB, scegli l'A100 da 80 GB.
04Posso unire due GPU L40S in 96 GB?
No. La L40S non ha NVLink, quindi due GPU sono due pool separati da 48 GB che comunicano tramite lo slot PCIe. Il tuo framework può comunque suddividere un modello più grande tra di esse, usando lo slot come collegamento. Per uno spazio di memoria unico superiore a 48 GB, scegli l'A100 da 80 GB dalla tabella comparativa.
06Quanto tempo serve per avere un server L40S?
Dipende da dove si trova la GPU, e lo saprai prima di pagare. Una GPU già in nostro possesso viene installata entro quattro-ventiquattro ore. Una da acquistare richiede da cinque a dieci giorni lavorativi. Per iniziare oggi, la pagina server istantanei elenca le macchine già montate in rack.
07Chi mi aiuta se qualcosa va storto?
Apri la chat su qualsiasi pagina. Il nostro assistente risponde in pochi secondi, può controllare il tuo account e il tuo server e ti mette in contatto con un membro del team ogni volta che lo chiedi. Mantieni sempre l'accesso root completo alla macchina.
Ordina un server L40S per la tua pipeline
Scegli il server, aggiungi la L40S e vedi il totale mensile prima di pagare. Nessun contratto e porta senza limiti di traffico.