L40S — karta, która robi wszystkie trzy rzeczy

Najpierw haczyk

Dwie rzeczy, których ta karta nie potrafi, i obie są powodem, dla którego jest tańsza niż akceleratory, obok których stoi.

Jej pamięć jest szybka, ale nie warstwowa. L40S czyta z prędkością 864 GB/s. A100 obok niej czyta z prędkością 1 555 GB/s przy 40 GB i 1 935 GB/s przy 80 GB — mniej więcej dwa razy szybciej. Przy generowaniu tokenów w dużym batchu ta prędkość odczytu jest sufitem, a nie arytmetyka, więc A100 obsłuży więcej żądań na sekundę z tego samego modelu, mimo że L40S ma więcej surowej mocy obliczeniowej na papierze. Jeśli przepustowość serwowania to cały twój problem, akcelerator jest właściwym zakupem.

Ten model nie ma NVLink. Dwie karty L40S w jednej maszynie to dwie oddzielne pule 48 GB, które komunikują się przez slot, a nie jedna pula 96 GB. A100 i H100 potrafią łączyć pule; ta nie potrafi. Kiedy naprawdę potrzebujesz jednej przestrzeni adresowej większej niż 48 GB, to nie jest karta, która cię tam zaprowadzi — drabinka poniżej pokazuje, co to zrobi.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

Specyfikacja, tak jak publikuje ją NVIDIA

Ada Lovelace, rdzenie tensorowe czwartej generacji, rdzenie ray tracingu trzeciej generacji. Dane ze strony produktu L40S firmy NVIDIA, zacytowane w źródle tej strony.

NVIDIA publikuje również 91,6 teraFLOPSów FP32, 212 teraFLOPSów wydajności ray tracingu i 1 466 teraFLOPSów przepustowości tensorowej FP8 z rzadkością, z 142 rdzeni RT i 568 rdzeni tensorowych. To wartości szczytowe w idealnych warunkach; przepustowość pamięci powyżej to ta, która zwykle decyduje o tym, co faktycznie otrzymujesz.

Co zastąpiła i co stoi po obu jej stronach

Z naszych własnych półek, a nie z mapy drogowej producenta. Wszystkie są dostępne do zamówienia już dziś.

A40 to karta Ampere, którą L40S zastąpiła — te same 48 GB, starsza architektura, brak AV1 i brak FP8. RTX 6000 Ada to karta stacji roboczej o tej samej pojemności i tej samej generacji. A100 to karty, na które przechodzisz, gdy przepustowość lub łączenie pul staje się wiążącym ograniczeniem, a nie pojemność, a strona akceleratora opisuje je szczegółowo.

Do jakiej maszyny trafia i jakie łącze tam dostaje

L40S to karta PCIe Gen 4. Jedna z dwóch platform, które ją przyjmują, to Gen 3, a druga to Gen 4.

Dla endpointu inferencji lub transkodera generacja slotu jest niemal bez znaczenia — wagi są rezydentne, a klatki są małe. Ma znaczenie dla pętli treningowej przesyłającej świeże batche z hosta w każdym kroku, a w tym przypadku platforma Gen 4 jest warta różnicy.

Co faktycznie mieści się w 48 GB

Karta pobiera do 350 W, co jest skromne jak na swoją klasę i częściowo dlatego mieści się w obudowach, w których większy akcelerator się nie mieści.

Ta tabela odpowiada na pytanie „co mieści się w tej karcie”. Pytanie w drugą stronę — ile pamięci potrzebuje model i która karta to obsłuży — ma własną stronę.

Ile kosztuje, razem z maszyną, do której trafia

Karta to jedna pozycja na fakturze, a maszyna to druga. Obie połowy poniżej pochodzą z jednego odczytu katalogu zamówień, więc cena i specyfikacja obok niej zawsze do siebie pasują.

Przepustowość jest nielimitowana w obu kierunkach bez opłat za ruch wychodzący, jeden adres IPv4 jest wliczony, nie ma umowy, a domyślny okres to jeden miesiąc. O każdej innej karcie, którą montujemy, wycenionej w ten sam sposób, przeczytasz w całym katalogu z cenami. O maszynach gotowych do montażu w szafie już dziś: /instant.