L40S — karta, która spełnia wszystkie trzy zadania

Najpierw haczyk

Ta karta nie potrafi dwóch rzeczy i obie są powodem, dla którego jest tańsza od akceleratorów, z którymi jest porównywana.

Jego pamięć jest szybka, a nie warstwowa. L40S odczytuje dane z prędkością 864 GB/s. A100, podobnie jak on, odczytuje dane z prędkością 1555 GB/s przy 40 GB i 1935 GB/s przy 80 GB — mniej więcej dwukrotnie szybciej. W przypadku generowania tokenów o dużej wielkości partii, ta prędkość odczytu jest maksymalna, a obliczenia nie, więc A100 obsłuży więcej żądań na sekundę niż ten sam model, mimo że L40S teoretycznie ma większą moc obliczeniową. Jeśli przepustowość jest głównym problemem, akcelerator jest właściwym zakupem.

W tej części nie ma NVLink. Dwie karty L40S w jednym komputerze to dwie oddzielne pule 48 GB komunikujące się przez slot, a nie jedna pula 96 GB. Karty A100 i H100 mogą łączyć się w pule, ta nie. Jeśli naprawdę potrzebujesz przestrzeni adresowej większej niż 48 GB, ta karta Ci w tym pomoże — poniższa tabela pokazuje, co jest lepsze.

Across the 56 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

Specyfikacja, tak jak publikuje ją NVIDIA

Ada Lovelace, rdzenie tensorowe czwartej generacji, rdzenie ray tracingowe trzeciej generacji. Dane pochodzą ze strony produktu L40S firmy NVIDIA, podanej w źródle tej strony.

NVIDIA podaje również 91,6 teraFLOPS wydajności FP32, 212 teraFLOPS wydajności ray tracingu i 1466 teraFLOPS przepustowości tensora FP8 przy rozrzedzeniu, z 142 rdzeni RT i 568 rdzeni tensora. Są to wartości szczytowe w idealnych warunkach; o faktycznym efekcie zazwyczaj decyduje powyższa przepustowość pamięci.

Co zastąpiło i co znajduje się po obu jego stronach

Z naszych własnych półek, a nie z planu dostaw. Wszystkie te produkty można zamówić już dziś.

Karta A40 to następca karty Ampere, którą zastąpił L40S — ta sama pamięć 48 GB, starsza architektura, brak AV1 i FP8. RTX 6000 Ada to karta do stacji roboczych o tej samej pojemności i tej samej generacji. Karty A100 to rozwiązanie, na które warto się zdecydować, gdy ograniczeniem jest przepustowość lub pulowanie, a nie pojemność. Strona akceleratora szczegółowo opisuje te kwestie.

Do której maszyny trafi i jakim łączem tam dotrze

Karta L40S jest kartą PCIe Gen 4. Obsługuje jedną z dwóch platform: Gen 3 i Gen 4.

W przypadku punktu końcowego wnioskowania lub transkodera generowanie slotów jest praktycznie nieistotne — wagi są rezydentne, a ramki małe. Ma to znaczenie w przypadku pętli szkoleniowej przesyłającej strumieniowo nowe partie z hosta na każdym kroku, a w takim przypadku platforma Gen 4 jest warta swojej ceny.

Co tak naprawdę mieści się w 48 GB

Karta pobiera do 350 W, co jest niewielką wartością jak na tę klasę i między innymi dlatego pasuje do obudów, w których nie zmieściłyby się większe akceleratory.

Ile to kosztuje, z maszyną wchodzi w to

Karta to jedna linia na fakturze, a maszyna to druga. Obie połówki poniżej pochodzą z jednego odczytu katalogu zamówień, więc cena i specyfikacja obok zawsze są ze sobą powiązane.

Przepustowość jest nielimitowana w obu kierunkach, bez opłat za wyjście, w cenie jest jeden adres IPv4, nie ma umowy, a domyślny okres wynosi jeden miesiąc. Za każdą inną kartę, którą montujemy, obowiązuje ta sama cena, zapoznaj się z całym katalogiem, ceny . Dla maszyn gotowych do użycia już dziś, /instant .