L40S — die Karte, die alle drei Aufgaben erledigt

Zuerst der Haken

Zwei Dinge, die diese Karte nicht kann, und beide sind der Grund, warum sie günstiger ist als die Beschleuniger, neben denen sie steht.

Ihr Speicher ist schnell, nicht gestapelt. Die L40S liest mit 864 GB/s. Die A100 daneben liest mit 1.555 GB/s bei 40 GB und 1.935 GB/s bei 80 GB — ungefähr die doppelte Rate. Für die Token-Erzeugung bei großer Batch-Größe ist diese Leserate die Obergrenze und nicht die Rechenleistung, daher bedient eine A100 mehr Anfragen pro Sekunde vom selben Modell, obwohl die L40S auf dem Papier mehr rohe Rechenleistung hat. Wenn der Serving-Durchsatz Ihr gesamtes Problem ist, ist der Beschleuniger der richtige Kauf.

Dieses Teil hat kein NVLink. Zwei L40S-Karten in einer Maschine sind zwei getrennte 48 GB-Pools, die über den Slot kommunizieren, nicht ein 96 GB-Pool. Die A100 und die H100 können bündeln; diese hier nicht. Wenn Sie wirklich einen Adressraum größer als 48 GB benötigen, ist dies nicht die Karte, die Sie dorthin bringt — die Leiter unten zeigt, was es tut.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

Die Spezifikation, wie NVIDIA sie veröffentlicht

Ada Lovelace, Tensor-Kerne der vierten Generation, Raytracing-Kerne der dritten Generation. Zahlen von NVIDIAs eigener L40S-Produktseite, zitiert im Quelltext dieser Seite.

NVIDIA veröffentlicht außerdem 91,6 TeraFLOPS FP32, 212 TeraFLOPS Raytracing-Leistung und 1.466 TeraFLOPS FP8-Tensor-Durchsatz mit Sparsity, aus 142 RT-Kernen und 568 Tensor-Kernen. Das sind Spitzenwerte unter idealen Bedingungen; die Speicherbandbreite oben ist diejenige, die normalerweise entscheidet, was Sie tatsächlich bekommen.

Was sie ersetzt hat und was auf beiden Seiten davon steht

Aus unseren eigenen Regalen statt aus einer Hersteller-Roadmap. Alle diese sind heute bestellbar.

Die A40 ist die Ampere-Karte, auf die die L40S folgte — dieselben 48 GB, eine ältere Architektur, kein AV1 und kein FP8. Die RTX 6000 Ada ist die Workstation-Karte mit derselben Kapazität und derselben Generation. Die A100s sind das, wozu Sie wechseln, wenn Bandbreite oder Bündelung die bindende Einschränkung ist statt der Kapazität, und die Beschleuniger-Seite behandelt diese im Detail.

In welche Maschine sie gehört und welche Anbindung sie dort bekommt

Die L40S ist eine PCIe-Gen-4-Karte. Eine der beiden Plattformen, die sie aufnehmen, ist Gen 3, und eine ist Gen 4.

Für einen Inferenz-Endpunkt oder einen Transkodierer ist die Slot-Generation nahezu irrelevant — die Gewichte sind resident und die Frames sind klein. Sie ist wichtig für eine Trainingsschleife, die bei jedem Schritt frische Batches vom Host streamt, und für diesen Fall ist die Gen-4-Plattform den Unterschied wert.

Was tatsächlich in 48 GB passt

Die Karte zieht bis zu 350 W, was für ihre Klasse bescheiden ist und mit ein Grund dafür, dass sie in Gehäuse passt, in die ein größerer Beschleuniger nicht passt.

Diese Tabelle beantwortet „was passt in diese Karte“. Die Frage in die andere Richtung — wie viel Speicher ein Modell braucht und welche Karte das schafft — ist eine eigene Seite.

Was sie kostet, mit der Maschine, in die sie gehört

Die Karte ist eine Zeile auf der Rechnung und die Maschine eine andere. Beide Hälften unten stammen aus einer einzigen Ablesung des Bestellkatalogs, daher gehören der Preis und die Spezifikation daneben immer zusammen.

Die Bandbreite ist in beide Richtungen ungedrosselt ohne Egress-Gebühr, eine IPv4-Adresse ist enthalten, es gibt keinen Vertrag und ein Monat ist die Standardlaufzeit. Für jede andere Karte, die wir einbauen, auf dieselbe Weise bepreist, lesen Sie den gesamten Katalog, bepreist. Für Maschinen, die heute gerackt und bereit sind, /instant.