L40S — karta, która robi wszystkie trzy zadania

Najpierw haczyk

Dwie rzeczy, których ta karta nie potrafi, i obie są powodem, dla którego jest tańsza od akceleratorów, obok których stoi.

Jej pamięć jest szybka, ale nie warstwowa. L40S czyta z prędkością 864 GB/s. A100 obok czyta z prędkością 1 555 GB/s przy 40 GB i 1 935 GB/s przy 80 GB — mniej więcej dwukrotnie szybciej. Przy generowaniu tokenów w dużym batchu ta prędkość odczytu jest sufitem, a nie arytmetyka, więc A100 obsłuży więcej żądań na sekundę z tego samego modelu, mimo że L40S ma na papierze więcej surowej mocy obliczeniowej. Jeśli przepustowość serwowania to cały twój problem, akcelerator jest właściwym zakupem.

Ten model nie ma NVLink. Dwie karty L40S w jednej maszynie to dwie oddzielne pule 48 GB, które komunikują się przez slot, a nie jedna pula 96 GB. A100 i H100 potrafią łączyć pule; ta nie. Kiedy naprawdę potrzebujesz jednej przestrzeni adresowej większej niż 48 GB, to nie jest karta, która cię tam zaprowadzi — drabinka poniżej pokazuje, co to zrobi.

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

Specyfikacja, tak jak publikuje ją NVIDIA

Ada Lovelace, rdzenie tensorowe czwartej generacji, rdzenie ray tracingu trzeciej generacji. Dane ze strony produktu L40S firmy NVIDIA, zacytowane w źródle tej strony.

NVIDIA podaje również 91,6 teraFLOPS dla FP32, 212 teraFLOPS wydajności ray tracingu i 1 466 teraFLOPS przepustowości tensorowej FP8 z rzadkością, z 142 rdzeni RT i 568 rdzeni tensorowych. To wartości szczytowe w idealnych warunkach; przepustowość pamięci powyżej to ta, która zwykle decyduje o tym, co faktycznie otrzymujesz.

Co zastąpiła i co znajduje się po obu jej stronach

Z naszych własnych półek, a nie z mapy drogowej producenta. Wszystkie są dostępne do zamówienia już dziś.

A40 to karta Ampere, którą L40S zastąpiła — te same 48 GB, starsza architektura, brak AV1 i brak FP8. RTX 6000 Ada to karta stacji roboczej o tej samej pojemności i tej samej generacji. A100 to karty, na które przechodzisz, gdy przepustowość lub łączenie pul staje się wiążącym ograniczeniem, a nie pojemność, a strona akceleratora omawia je szczegółowo.

Do jakiej maszyny trafia i jakie łącze tam otrzymuje

L40S to karta PCIe Gen 4. Jedna z dwóch platform, które ją przyjmują, to Gen 3, a druga to Gen 4.

Dla endpointu inferencji lub transkodera generacja slotu jest niemal bez znaczenia — wagi są rezydentne, a klatki są małe. Ma znaczenie dla pętli treningowej strumieniującej świeże batche z hosta w każdym kroku, a w tym przypadku platforma Gen 4 jest warta różnicy.

Co faktycznie mieści się w 48 GB

Karta pobiera do 350 W, co jest skromną wartością jak na swoją klasę i częściowo dlatego mieści się w obudowach, do których większy akcelerator nie pasuje.

Ta tabela odpowiada na pytanie „co mieści się w tej karcie”. Pytanie odwrotne — ile pamięci potrzebuje model i która karta je spełnia — ma własną stronę.

Ile kosztuje, razem z maszyną, do której trafia

Karta to jedna pozycja na fakturze, a maszyna to druga. Obie poniższe części pochodzą z jednego odczytu katalogu zamówień, więc cena i specyfikacja obok niej zawsze do siebie pasują.

Przepustowość jest nielimitowana w obu kierunkach bez opłat za ruch wychodzący, jeden adres IPv4 jest wliczony, nie ma umowy, a domyślny okres to jeden miesiąc. Dla każdej innej karty, którą montujemy, wycenionej w ten sam sposób, przeczytaj cały katalog z cenami. Dla maszyn już zamontowanych i gotowych od zaraz, /instant.