L40S — η κάρτα που κάνει και τις τρεις δουλειές

Πρώτα το μειονέκτημα

Δύο πράγματα που αυτή η κάρτα δεν μπορεί να κάνει, και τα δύο είναι ο λόγος που είναι φθηνότερη από τους επιταχυντές δίπλα στους οποίους βρίσκεται.

Η μνήμη της είναι γρήγορη, όχι στοιβαγμένη. Η L40S διαβάζει με 864 GB/s. Ο A100 δίπλα της διαβάζει με 1.555 GB/s με 40 GB και 1.935 GB/s με 80 GB — περίπου διπλάσιος ρυθμός. Για παραγωγή token σε μεγάλο μέγεθος παρτίδας, αυτός ο ρυθμός ανάγνωσης είναι το ανώτατο όριο και όχι η αριθμητική, οπότε ένας A100 θα εξυπηρετήσει περισσότερα αιτήματα ανά δευτερόλεπτο από το ίδιο μοντέλο παρόλο που η L40S έχει περισσότερη ακατέργαστη υπολογιστική ισχύ στα χαρτιά. Αν η απόδοση εξυπηρέτησης είναι το σύνολο του προβλήματός σας, ο επιταχυντής είναι η σωστή αγορά.

Δεν υπάρχει NVLink σε αυτό το εξάρτημα. Δύο κάρτες L40S σε ένα μηχάνημα είναι δύο ξεχωριστές δεξαμενές 48 GB που επικοινωνούν μέσω της υποδοχής, όχι μία δεξαμενή 96 GB. Οι A100 και H100 μπορούν να συνενώσουν μνήμη· αυτή δεν μπορεί. Όταν χρειάζεστε πραγματικά έναν χώρο διευθύνσεων μεγαλύτερο από 48 GB, αυτή δεν είναι η κάρτα που θα σας πάει εκεί — η κλίμακα παρακάτω δείχνει τι το κάνει.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

Οι προδιαγραφές, όπως τις δημοσιεύει η NVIDIA

Ada Lovelace, πυρήνες tensor τέταρτης γενιάς, πυρήνες ray-tracing τρίτης γενιάς. Αριθμοί από την ίδια τη σελίδα προϊόντος L40S της NVIDIA, που αναφέρονται στον πηγαίο κώδικα αυτής της σελίδας.

Η NVIDIA δημοσιεύει επίσης 91,6 teraFLOPS FP32, 212 teraFLOPS απόδοσης ray-tracing και 1.466 teraFLOPS απόδοσης tensor FP8 με αραιότητα, από 142 πυρήνες RT και 568 πυρήνες tensor. Αυτά είναι μέγιστα νούμερα υπό ιδανικές συνθήκες· το εύρος ζώνης μνήμης παραπάνω είναι αυτό που συνήθως καθορίζει τι πραγματικά παίρνετε.

Τι αντικατέστησε και τι βρίσκεται εκατέρωθέν της

Από τα δικά μας ράφια και όχι από οδικό χάρτη προμηθευτή. Όλα αυτά είναι παραγγέλσιμα σήμερα.

Η A40 είναι η κάρτα Ampere που διαδέχθηκε η L40S — τα ίδια 48 GB, παλαιότερη αρχιτεκτονική, χωρίς AV1 και χωρίς FP8. Η RTX 6000 Ada είναι η κάρτα σταθμού εργασίας με την ίδια χωρητικότητα και την ίδια γενιά. Οι A100 είναι εκεί που μετακινείστε όταν το εύρος ζώνης ή η συνένωση μνήμης είναι ο δεσμευτικός περιορισμός αντί για τη χωρητικότητα, και η σελίδα του επιταχυντή τα καλύπτει λεπτομερώς.

Σε ποιο μηχάνημα μπαίνει και τι σύνδεση παίρνει εκεί

Η L40S είναι κάρτα PCIe Gen 4. Μία από τις δύο πλατφόρμες που τη δέχονται είναι Gen 3 και μία είναι Gen 4.

Για ένα endpoint συμπερασμού ή έναν transcoder, η γενιά της υποδοχής είναι σχεδόν αδιάφορη — τα βάρη είναι μόνιμα στη μνήμη και τα καρέ είναι μικρά. Έχει σημασία για έναν βρόχο εκπαίδευσης που μεταφέρει συνεχώς νέες παρτίδες από τον host σε κάθε βήμα, και για αυτή την περίπτωση η πλατφόρμα Gen 4 αξίζει τη διαφορά.

Τι πραγματικά χωράει σε 48 GB

Η κάρτα καταναλώνει έως 350 W, που είναι μέτριο για την κατηγορία της και μέρος του λόγου που χωράει σε πλαίσια στα οποία ένας μεγαλύτερος επιταχυντής δεν χωράει.

Αυτός ο πίνακας απαντά στο “τι χωράει σε αυτή την κάρτα”. Το ερώτημα αντίστροφα — πόση μνήμη χρειάζεται ένα μοντέλο και ποια κάρτα την καλύπτει — είναι μια δική του σελίδα.

Πόσο κοστίζει, μαζί με το μηχάνημα στο οποίο μπαίνει

Η κάρτα είναι μία γραμμή στο τιμολόγιο και το μηχάνημα μία άλλη. Και τα δύο μισά παρακάτω προέρχονται από μία ανάγνωση του καταλόγου παραγγελιών, οπότε η τιμή και οι προδιαγραφές δίπλα της ανήκουν πάντα η μία στην άλλη.

Το εύρος ζώνης είναι αμέτρητο και προς τις δύο κατευθύνσεις χωρίς χρέωση εξερχόμενης κίνησης, περιλαμβάνεται μία διεύθυνση IPv4, δεν υπάρχει συμβόλαιο και ο ένας μήνας είναι η προεπιλεγμένη διάρκεια. Για κάθε άλλη κάρτα που τοποθετούμε, με τιμή με τον ίδιο τρόπο, διαβάστε ολόκληρο τον κατάλογο, με τιμές. Για μηχανήματα σε rack και έτοιμα σήμερα, /instant.