Akceleratory – i czego nie zrobią

Dwie rzeczy, które zaskakują ludzi

Nie potrafią kodować wideo. W ogóle.

Własna macierz obsługi kodowania i dekodowania firmy NVIDIA rejestruje zero silników NVENC na A100 i zero na H100. Dekodują one – pięć silników na A100, siedem na H100 – ale na płycie nie ma enkodera, więc każda klatka generowana przez te karty musi być kodowana przez procesor. Jeśli z Twojego potoku wychodzi wideo, to jest to niewłaściwa półka, a L40S z trzema enkoderami AV1 jest właściwą. To zajmuje jedną stronę w /l40s .

Te karty nie mają również wyjść wyświetlacza. Są to bezgłowe moduły obliczeniowe. Nic, co wymaga bufora ramki — wirtualny pulpit, zdalna stacja robocza, serwer gier — nie powinno się na nich znajdować.

A100 nie jest przestarzały, a karta 40 GB to nie pomyłka

Karta A100 to poprzednia generacja, która odczytuje dane z prędkością 1555 GB/s dla karty 40 GB i 1935 GB/s dla karty 80 GB. W przypadku modelu, który spełnia te wymagania, ta prędkość odczytu decyduje o liczbie tokenów na sekundę, a karta ta znacznie wyprzedza wszystkie karty bez stosu w katalogu. Karta 40 GB wygodnie mieści model z trzydziestoma miliardami parametrów i ośmiobitową precyzją, co stanowi większość rzeczywistych potrzeb użytkowników, a jednocześnie stanowi ułamek miesięcznego kosztu karty H100.

Kup H100, gdy model rzeczywiście potrzebuje Hoppera — silnika transformatorowego, FP8, nowszych jednostek tensorowych — lub gdy przebieg musi zakończyć się szybciej, a nie tylko do końca. Kup A100, gdy pytanie brzmi, czy pasuje i jak szybko odczytuje, co jest częstszym pytaniem.

Specyfikacje, tak jak zostały opublikowane

Dane pochodzą z własnych arkuszy danych firmy NVIDIA oraz tabel specyfikacji Tesli, cytowanych w źródle tej strony. W przypadku braku możliwości odnalezienia danych dotyczących konkretnej części, którą montujemy, strona nie podaje żadnych danych, a jedynie przypuszczenia.

H100 nie pokazuje liczby rdzeni ani przepustowości powyżej, i to jest celowe. Nasza część jest rejestrowana w magazynie pod liczbą rdzeni należącą do modułu SXM, czyli karty przykręcanej do płyty głównej, a nie do gniazda; 80 GB pamięci HBM2e, którą również rejestruje, należy do karty PCIe, która faktycznie jest instalowana w tych maszynach. Zamiast wybrać jedną i wydrukować ją bez wahania, strona drukuje pamięć, na którą zgadzają się oba źródła, pomijając resztę. Zapytaj nas, a powiemy Ci dokładnie, która płyta trafi do Twojej.

Oni trzej obok siebie, a to co siedzi wyżej

Z naszych własnych półek. Wszystkie można zamówić już dziś, w tej samej obudowie, więc pytanie brzmi, który jest warty różnicy.

Ostatni wiersz jest tam, ponieważ jest uczciwym porównaniem, a większość ofert go pomija: RTX PRO 6000 Blackwell ma 96 GB, więcej niż jakikolwiek akcelerator na tej stronie. Przeczytaj jego pamięć i cenę w porównaniu z H100 w tabeli powyżej, zamiast wierzyć nam na słowo. Traci on prędkość odczytu i NVLink; zyskuje natomiast cztery enkodery wideo i ray tracing. Jeśli zastanawiasz się, czy będzie pasować , przeczytaj /rtx60 , zanim zdecydujesz się na ten model.

Do jakiej maszyny wejdą i jakim łączem się tam dostaną

Karta A100 jest kartą PCIe Gen 4, a H100 Gen 5, natomiast nasze platformy to Gen 3 i Gen 4. Z tego powodu karta H100 nigdy nie wykorzystuje w pełni magistrali, dla której została zaprojektowana, na żadnej z maszyn, na których pracujemy, i ta strona informuje o tym, zamiast pozostawiać Cię z dociekliwością.

To, czy będzie Cię to cokolwiek kosztować, zależy wyłącznie od kształtu pracy. Punkt końcowy wnioskowania, którego wagi są rezydentne, ledwo dotyka slotu i nie zauważy tego. Pętla treningowa przesyłająca strumieniowo nową partię z pamięci hosta na każdym kroku, zauważy to na każdym kroku. Jeśli nie masz pewności, o co chodzi, poinformuj nas o zleceniu przed złożeniem zamówienia — to maszyna, a nie karta, decyduje.

Co tak naprawdę mieści się w 80 GB

40-gigabajtowy A100 plasuje się o szczebel niżej w tej samej tabeli: model z trzydziestoma do trzydziestoma czterema miliardami parametrów i ośmiobitową precyzją pasuje, ten sam model z szesnastobitową nie. Model z siedemdziesięcioma miliardami parametrów i szesnastobitową precyzją nie pasuje do żadnej pojedynczej karty, którą sprzedajemy — to konstrukcja dwukartowa i dlatego powyższa linia NVLink ma znaczenie.

Ile kosztują i jakie maszyny wchodzą w ich skład

Karta to jedna linia na fakturze, a maszyna to druga. Obie połówki poniżej pochodzą z jednego odczytu katalogu zamówień, więc cena i specyfikacja obok zawsze są ze sobą powiązane.

Przepustowość jest nielimitowana w obu kierunkach i nie ma opłat za transfer wychodzący, co na tym etapie jest zazwyczaj największym ukrytym kosztem – przebieg treningowy, w którym pobierany jest zbiór danych i wysyłane są punkty kontrolne, przesyła ogromną liczbę bajtów, a opłata za każdy gigabajt transferu wychodzącego jest naliczana za każdy z nich. W cenie jest jeden adres IPv4, nie ma umowy, a domyślny okres wynosi jeden miesiąc. Za każdą inną kartę, którą montujemy, obowiązuje ta sama cena – przeczytaj cały katalog, ceny … Dla maszyn gotowych do użycia już dziś, /instant …