Διακομιστής GPU · NVIDIA L40S

Αποκλειστικός διακομιστής L40S για AI, rendering και ζωντανό βίντεο σε μία GPU

Ένας αποκλειστικός διακομιστής L40S από τη Primcast είναι ένα ολόκληρο φυσικό μηχάνημα με μία GPU NVIDIA L40S που περνά απευθείας στο δικό σας λειτουργικό σύστημα: 48 GB GDDR6 ECC, τρεις κωδικοποιητές υλικού AV1 και πυρήνες ray-tracing. Τον νοικιάζετε ανά μήνα, χωρίς συμβόλαιο και με απεριόριστη θύρα που ανήκει αποκλειστικά σε εσάς.

Δημιουργήστε τον διακομιστή L40S σας Δείτε διαμορφώσεις και τιμές

nvidia-l40s Ada Lovelace

Μνήμη GPU: 48 GB GDDR6 ECC
Εύρος ζώνης μνήμης: 864 GB/s
Πυρήνες CUDA: 18,176
Μηχανές βίντεο: 3 NVENC + 3 NVDEC, AV1
Διασύνδεση, ισχύς: PCIe Gen 4 x16, 350 W
NVLink: Κανένα

01Σε τι χρησιμεύει

Τέσσερις εργασίες που η GPU L40S εκτελεί καλά

Οι περισσότερες GPU είναι φτιαγμένες για ένα είδος εργασίας. Η NVIDIA L40S μπορεί να τρέξει ένα μοντέλο, να αποδώσει ένα καρέ και να κωδικοποιήσει μια ροή στην ίδια πλακέτα, γι' αυτό και την επιλέγουν για μεικτούς αγωγούς εργασίας.

01Βίντεο

L40S για κωδικοποίηση βίντεο

Τρεις κωδικοποιητές και τρεις αποκωδικοποιητές χειρίζονται AV1, HEVC και H.264 σε υλικό. Μπορείτε να λάβετε μια τροφοδοσία, να τη μετακωδικοποιήσετε και να την εξυπηρετήσετε ενώ ένα μοντέλο στην ίδια GPU αποφασίζει τι να κάνει με τα καρέ. Οι A100 και H100 δεν έχουν καθόλου κωδικοποιητή βίντεο, οπότε σε αυτές τις GPU το βίντεο επιστρέφει στον επεξεργαστή. Για αριθμούς καναλιών και το πλήρες μηχάνημα, δείτε διακομιστές ζωντανής μετακωδικοποίησης βίντεο.

02AI

Συμπερασμός σε μοντέλο που χωράει στα 48 GB

Η υποστήριξη τανυστών FP8 και τα 48 GB αφήνουν χώρο για ένα μοντέλο 7B ή 13B σε πλήρη ακρίβεια 16-bit, ή ένα μοντέλο 30B σε 4-bit. Για ένα endpoint που απαντά σε πραγματικούς χρήστες με μέτριο μέγεθος παρτίδας, αυτή η GPU είναι υπεραρκετή. Ο πίνακας διαστασιολόγησης παρακάτω δείχνει πού αρχίζει να στενεύει.

03Rendering

Μεγάλες αποδόσεις που δεν θέλετε να επαναλάβετε

Κάθε gigabyte μνήμης διορθώνεται για σφάλματα και οι πυρήνες ray-tracing τρίτης γενιάς κάνουν τη βαριά δουλειά. Οι καταναλωτικές GPU κοστίζουν λιγότερο ανά καρέ, αλλά ένα αναποδογυρισμένο bit σε μια μη επιτηρούμενη νυχτερινή εργασία σημαίνει επανεκτέλεση. Το ECC είναι αυτό που σας επιτρέπει να ξεκινήσετε μια απόδοση και να φύγετε.

04Επιφάνειες εργασίας

Εικονικοί σταθμοί εργασίας

Η L40S υποστηρίζει NVIDIA vGPU και έχει τέσσερις εξόδους DisplayPort, ώστε να μπορείτε να τη μοιράσετε μεταξύ των δικών σας εικονικών επιφανειών εργασίας. Οι A100 και H100 δεν έχουν εξόδους οθόνης. Ο τεμαχισμός είναι δική σας επιλογή στο μηχάνημά σας: παραδίδουμε τη GPU ολόκληρη.

02Πριν παραγγείλετε

Δύο περιορισμοί της NVIDIA L40S

Και οι δύο προέρχονται από την ίδια την προδιαγραφή της NVIDIA και είναι μέρος του λόγου που η L40S κοστίζει λιγότερο από τους επιταχυντές δίπλα της.

Εύρος ζώνης μνήμης, όχι στοιβαγμένη μνήμη

Η L40S διαβάζει τη μνήμη της με 864 GB/s. Η A100 διαβάζει με 1.555 GB/s με 40 GB και 1.935 GB/s με 80 GB, περίπου διπλάσια ταχύτητα. Όταν παράγετε tokens σε μεγάλο μέγεθος παρτίδας, αυτός ο ρυθμός ανάγνωσης θέτει το ανώτατο όριο. Έτσι, μια A100 εξυπηρετεί περισσότερα αιτήματα ανά δευτερόλεπτο από το ίδιο μοντέλο, παρόλο που η L40S έχει περισσότερη ακατέργαστη υπολογιστική ισχύ. Αν η απόδοση εξυπηρέτησης είναι το μόνο σας πρόβλημα, επιλέξτε τον επιταχυντή.

Χωρίς NVLink

Δύο GPU L40S σε ένα μηχάνημα είναι δύο ξεχωριστές δεξαμενές 48 GB που επικοινωνούν μέσω της υποδοχής PCIe. Δεν γίνονται ποτέ μία δεξαμενή 96 GB. Οι A100 και H100 μπορούν να συνενώσουν μνήμη· η L40S δεν μπορεί. Αν χρειάζεστε έναν ενιαίο χώρο διευθύνσεων μεγαλύτερο από 48 GB, ο πίνακας σύγκρισης παρακάτω δείχνει τις GPU που σας το προσφέρουν.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

03Προδιαγραφές

Προδιαγραφές GPU L40S

Αρχιτεκτονική Ada Lovelace, πυρήνες Tensor τέταρτης γενιάς και πυρήνες RT τρίτης γενιάς. Τα στοιχεία είναι της NVIDIA, από τη σελίδα προϊόντος L40S.

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

Η NVIDIA αναφέρει επίσης 91,6 teraFLOPS FP32, 212 teraFLOPS απόδοσης ray-tracing και 1.466 teraFLOPS απόδοσης τανυστών FP8 με αραιότητα, από 142 πυρήνες RT και 568 πυρήνες Tensor. Αυτά είναι κορυφές υπό ιδανικές συνθήκες. Στην πράξη, το εύρος ζώνης μνήμης συνήθως καθορίζει τι παίρνετε.

04Διαστασιολόγηση μοντέλου

Θα χωρέσει το μοντέλο σας στα 48 GB;

Ναι για μοντέλα 7B και 13B σε οποιαδήποτε ακρίβεια, και για 30B σε 4-bit. Ένα μοντέλο 70B φορτώνει μόνο σε 4-bit, με λίγο χώρο να απομένει για context.

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

Ξεκινάτε από το μοντέλο; Η διαστασιολόγηση διακομιστή LLM υπολογίζει πόση μνήμη GPU χρειάζεται ένα μοντέλο και ποια GPU την καλύπτει.

05Ο διακομιστής γύρω από αυτήν

Ποιον διακομιστή GPU L40S να επιλέξετε

Η L40S είναι μια GPU PCIe Gen 4 x16. Κάθε διακομιστής στον οποίο χωράει της δίνει διαφορετική σύνδεση και η διαφορά έχει σημασία για ορισμένες εργασίες και όχι για άλλες.

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Για συμπερασμό ή μετακωδικοποίηση, η γενιά υποδοχής σχεδόν δεν έχει σημασία: τα βάρη του μοντέλου παραμένουν στη GPU και τα καρέ βίντεο είναι μικρά. Έχει σημασία για εκπαίδευση που στέλνει νέες παρτίδες από τον κεντρικό υπολογιστή σε κάθε βήμα. Γι' αυτό, επιλέξτε τον διακομιστή του οποίου η υποδοχή ταιριάζει με τη GPU.

06Σύγκριση

L40S έναντι A40, RTX 6000 Ada και A100

Αυτές είναι οι GPU εκατέρωθεν της L40S στον δικό μας κατάλογο, καθεμία με το φθηνότερο πλήρες μηχάνημα στο οποίο τοποθετείται.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

Η A40 είναι η GPU Ampere που αντικατέστησε η L40S: τα ίδια 48 GB, παλαιότερη αρχιτεκτονική, χωρίς AV1 και χωρίς FP8. Η RTX 6000 Ada είναι η GPU σταθμού εργασίας με την ίδια μνήμη και την ίδια γενιά. Μετακινηθείτε σε A100 όταν το εύρος ζώνης ή η συνενωμένη μνήμη είναι αυτό που σας περιορίζει και διαβάστε διακομιστές A100 και H100 για λεπτομέρειες.

07Τιμές

Τιμές αποκλειστικού διακομιστή L40S

Η GPU είναι μία γραμμή στο τιμολόγιό σας και ο διακομιστής άλλη. Κάθε σειρά δείχνει το πλήρες μηχάνημα, τι προσθέτει η GPU και το μηνιαίο σύνολο, διαβασμένο από τον ίδιο κατάλογο που χρησιμοποιεί το ταμείο.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

ΘύραΑπεριόριστη κίνηση και προς τις δύο κατευθύνσεις, σε θύρα που εξυπηρετεί μόνο το δικό σας μηχάνημα.
ΔιεύθυνσηΜία διεύθυνση IPv4 περιλαμβάνεται.
ΔιάρκειαΜηνιαία από προεπιλογή, χωρίς συμβόλαιο.
ΒοήθειαΟ βοηθός συνομιλίας μας απαντά σε δευτερόλεπτα και μπορεί να ελέγξει τον λογαριασμό και τον διακομιστή σας. Ζητήστε άνθρωπο οποτεδήποτε.

Θέλετε να συγκρίνετε κάθε GPU που τοποθετούμε; Διακομιστές GPU, όλοι με τιμές τις παραθέτει με τον ίδιο τρόπο. Χρειάζεστε μηχάνημα σήμερα; Άμεσοι διακομιστές παραθέτει ό,τι είναι ήδη εγκατεστημένο.

08Ερωτήσεις

Ερωτήσεις για την L40S που κάνουν οι πελάτες πριν παραγγείλουν

01Πόσους πυρήνες CUDA έχει η NVIDIA L40S;

Η NVIDIA L40S διαθέτει 18,176 πυρήνες CUDA, 568 πυρήνες Tensor τέταρτης γενιάς και 142 πυρήνες RT τρίτης γενιάς. Βρίσκονται δίπλα σε 48 GB GDDR6 ECC ανάγνωσης στα 864 GB/s, σε μια πλακέτα PCIe Gen 4 x16 που καταναλώνει έως 350 W.

02Είναι η L40S κατάλληλη για κωδικοποίηση βίντεο;

Ναι. Διαθέτει τρεις κωδικοποιητές NVENC και τρεις αποκωδικοποιητές NVDEC, και όλοι τους υποστηρίζουν AV1 και προς τις δύο κατευθύνσεις. Η σειρά RTX 30 δεν μπορεί να κωδικοποιήσει AV1, ενώ οι A100 και H100 δεν μπορούν να κωδικοποιήσουν βίντεο σε επίπεδο υλικού καθόλου. Για μια διάταξη ζωντανής μετακωδικοποίησης βασισμένη σε GPU, δείτε τους διακομιστές ζωντανής μετακωδικοποίησης βίντεο.

03L40S ή A100 για εξυπηρέτηση ενός μοντέλου;

Αν το μοντέλο χωράει στα 48 GB και η κίνησή σας είναι μέτρια, η L40S κοστίζει λιγότερο και επιπλέον υποστηρίζει βίντεο και γραφικά. Αν χρησιμοποιείτε την GPU στο μέγιστο με μεγάλο μέγεθος παρτίδας, η A100 διαβάζει τα βάρη της περίπου δύο φορές πιο γρήγορα και εξυπηρετεί περισσότερα αιτήματα ανά δευτερόλεπτο. Αν το μοντέλο χρειάζεται πάνω από 48 GB, επιλέξτε την A100 80 GB.

04Μπορώ να συνδυάσω δύο GPU L40S σε 96 GB;

Όχι. Η L40S δεν διαθέτει NVLink, επομένως δύο από αυτές αποτελούν δύο ξεχωριστά σύνολα των 48 GB που επικοινωνούν μέσω της υποδοχής PCIe. Το πλαίσιό σας μπορεί ακόμα να μοιράσει ένα μεγαλύτερο μοντέλο μεταξύ τους, με την υποδοχή ως σύνδεσμο. Για έναν ενιαίο χώρο μνήμης άνω των 48 GB, επιλέξτε την A100 80 GB από τον πίνακα σύγκρισης.

05Η GPU είναι κοινόχρηστη, τεμαχισμένη ή εικονικοποιημένη;

Όχι από εμάς. Είστε ο μόνος μισθωτής στο φυσικό μηχάνημα και η GPU πηγαίνει απευθείας στο λειτουργικό σας σύστημα χωρίς hypervisor, χωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU και χωρίς χρονομερισμό. Εγκαθιστάτε τον οδηγό και την έκδοση CUDA που θέλετε. Η L40S υποστηρίζει vGPU, ώστε να μπορείτε να την τεμαχίσετε για τα δικά σας εικονικά desktops αν το επιλέξετε.

06Πόσο σύντομα μπορώ να έχω έναν διακομιστή L40S;

Εξαρτάται από το πού βρίσκεται η GPU και ενημερώνεστε πριν πληρώσετε. Μια GPU που ήδη διαθέτουμε εγκαθίσταται μέσα σε τέσσερις έως είκοσι τέσσερις ώρες. Μια που πρέπει να αγοράσουμε χρειάζεται πέντε έως δέκα εργάσιμες ημέρες. Για να ξεκινήσετε σήμερα, οι άμεσοι διακομιστές παραθέτουν τα μηχανήματα που είναι ήδη τοποθετημένα.

07Ποιος με βοηθά αν κάτι πάει στραβά;

Ανοίξτε τη συνομιλία σε οποιαδήποτε σελίδα. Ο βοηθός μας απαντά σε δευτερόλεπτα, μπορεί να δει τον λογαριασμό σας και τον διακομιστή σας και σας συνδέει με ένα μέλος της ομάδας μας όποτε το ζητήσετε. Διατηρείτε πλήρη πρόσβαση root στο μηχάνημα καθ' όλη τη διάρκεια.

Αποκτήστε έναν διακομιστή L40S για το pipeline σας

Επιλέξτε τον διακομιστή, προσθέστε την L40S και δείτε το μηνιαίο σύνολο πριν πληρώσετε. Χωρίς συμβόλαιο, και η θύρα είναι απεριόριστη.

Δημιουργήστε τον διακομιστή L40S σας Συγκρίνετε κάθε GPU