Akceleratory — i czego nie zrobią

Dwie rzeczy, które zaskakują ludzi

Nie potrafią kodować wideo. W ogóle.

Własna macierz wsparcia kodowania i dekodowania NVIDIA odnotowuje zero silników NVENC na A100 i zero na H100. Dekodują — pięć silników na A100, siedem na H100 — ale na płycie nie ma kodera, więc każda klatka wyprodukowana przez te karty musi zostać zakodowana przez procesor. Jeśli z Twojego potoku wychodzi wideo, to zła półka, a L40S z trzema koderami AV1 jest właściwą. To jedna strona dalej, pod /l40s.

Te karty nie mają też wyjść obrazu. To bezgłowe części obliczeniowe. Nic, co oczekuje bufora ramki — wirtualny pulpit, zdalna stacja robocza, serwer gier — nie powinno na nich działać.

A100 nie jest przestarzała, a karta 40 GB nie jest pomyłką

A100 to poprzednia generacja, a odczytuje swoje wagi z prędkością 1 555 GB/s przy 40 GB i 1 935 GB/s przy 80 GB. Dla modelu, który się mieści, ta prędkość odczytu decyduje o tym, ile tokenów na sekundę otrzymasz, i pozostaje daleko przed każdą kartą bez pamięci warstwowej w katalogu. Karta 40 GB wygodnie pomieści model o trzydziestu miliardach parametrów przy precyzji ośmiobitowej, co stanowi większość tego, co ludzie faktycznie serwują, za ułamek miesięcznego kosztu H100.

Kup H100, gdy model naprawdę potrzebuje Hoppera — silnika transformera, FP8, nowszych jednostek tensorowych — albo gdy zadanie musi się skończyć szybciej, a nie po prostu się skończyć. Kup A100, gdy pytanie brzmi, czy się mieści i jak szybko czyta, a to częstsze pytanie.

Specyfikacje, tak jak zostały opublikowane

Dane z własnych arkuszy danych NVIDIA i tabel specyfikacji Tesla, cytowane w źródle tej strony. Tam, gdzie nie udało się potwierdzić wartości dla dokładnie tej części, którą montujemy, ta strona nie drukuje niczego zamiast zgadywać.

H100 powyżej nie pokazuje liczby rdzeni ani przepustowości i jest to celowe. Nasza część jest zapisana w sklepie pod liczbą rdzeni należącą do modułu SXM, czyli karty przykręcanej do płyty bazowej, a nie wkładanej do gniazda; zapisana pamięć 80 GB HBM2e należy natomiast do karty PCIe, która faktycznie trafia do tych maszyn. Zamiast wybrać jedną wartość i wydrukować ją z przekonaniem, strona drukuje pamięć, co do której oba źródła się zgadzają, a resztę pomija. Zapytaj nas, a powiemy Ci dokładnie, która płyta trafi do Twojej maszyny.

Cała trójka obok siebie i to, co jest wyżej

Z naszych własnych półek. Wszystkie można zamówić już dziś, w tej samej obudowie, więc pytanie brzmi, która jest warta różnicy.

Ostatni wiersz jest tam, bo to uczciwe porównanie, a większość ofert je ukrywa: RTX PRO 6000 Blackwell mieści 96 GB, więcej niż jakikolwiek akcelerator na tej stronie. Porównaj jego pamięć i cenę z H100 w tabeli powyżej, zamiast wierzyć nam na słowo w którejkolwiek sprawie. To, co traci, to prędkość odczytu i NVLink; to, co zyskuje, to cztery kodery wideo i ray tracing. Jeśli Twoje pytanie brzmi czy się zmieści, przeczytaj /rtx60, zanim zdecydujesz się na tę półkę.

Do której maszyny trafiają i jakie łącze tam dostają

A100 to karta PCIe Gen 4, a H100 to Gen 5, podczas gdy nasze platformy to Gen 3 i Gen 4. H100 nigdy więc nie dostaje pełnej magistrali, do której została zaprojektowana, na żadnej maszynie, którą prowadzimy, i ta strona mówi to wprost, zamiast zostawiać Cię z odkryciem tego samemu.

To, czy coś Cię to kosztuje, zależy wyłącznie od kształtu pracy. Punkt końcowy inferencji, którego wagi są rezydentne, ledwo dotyka gniazda i nie zauważy różnicy. Pętla treningowa przesyłająca świeżą partię z pamięci hosta w każdym kroku zauważy ją w każdym kroku. Jeśli nie jesteś pewien, którym jesteś, powiedz nam, na czym polega zadanie, zanim zamówisz — to decyduje o maszynie, nie o karcie.

Co faktycznie mieści się w 80 GB

A100 40 GB mieści tę samą tabelę o szczebel niżej: model o trzydziestu do trzydziestu czterech miliardach parametrów mieści się z zapasem tylko przy czterech bitach, a przy ośmiu bitach jego 34 GB wag nie przechodzi nawet przez najciaśniejszą poprzeczkę. Model siedemdziesięciomiliardowy przy szesnastu bitach nie mieści się na żadnej pojedynczej karcie, którą sprzedajemy — to konfiguracja dwukartowa i powód, dla którego linia NVLink powyżej ma znaczenie.

Ta tabela odpowiada na pytanie „co mieści się w tej karcie”. Pytanie postawione odwrotnie — ile pamięci potrzebuje model i która karta je pomieści — ma swoją własną stronę.

Ile kosztują, z maszynami, do których trafiają

Karta to jedna pozycja na fakturze, a maszyna to druga. Obie połówki poniżej pochodzą z jednego odczytu katalogu zamówień, więc cena i specyfikacja obok niej zawsze do siebie pasują.

Przepustowość jest nielimitowana w obu kierunkach bez opłaty za ruch wychodzący, co na tej półce jest zwykle największym ukrytym kosztem gdzie indziej — trening pobierający zbiór danych i wypychający punkty kontrolne przenosi bardzo wiele bajtów, a opłata za każdy gigabajt ruchu wychodzącego jest naliczana za każdy z nich. Jeden adres IPv4 jest w cenie, nie ma umowy, a jeden miesiąc to domyślny okres. Dla każdej innej karty, którą montujemy, wycenionej w ten sam sposób, przeczytaj cały katalog z cenami. Dla maszyn już w szafie i gotowych od zaraz, /instant.