Serwery GPU · A100 i H100
Serwer dedykowany A100 H100 z pełnym GPU, nigdy z wycinkiem
Serwer dedykowany A100 H100 w naszym wydaniu to jedna cała maszyna z jednym GPU NVIDIA przekazanym bezpośrednio do Twojego systemu operacyjnego: A100 z 40 lub 80 GB, albo H100 z 80 GB. Płacisz miesięcznie, nikt inny na nim nie pracuje, a port jest nielimitowany, więc przenoszenie zbiorów danych i punktów kontrolnych nie kosztuje nic ekstra.
- H100 80 GB$1,682.67Hopper · HBM2e · PCIe Gen 5 · FP8
- A100 80 GB$972.47Ampere · HBM2e · 1 935 GB/s
- A100 40 GB$772.47Ampere · HBM2 · 1 555 GB/s
Żadne z tych trzech GPU nie ma enkodera wideo. Wszystkie trzy mają pamięć ECC.
Masz A100 lub H100, który stoi bezczynnie?
Wystaw maszynę na rynku Primcast i wynajmuj ją osobom, które potrzebują mocy obliczeniowej, miesiąc po miesiącu.
00Rynek
Albo wynajmij A100 lub H100 od kogoś, kto go posiada
To maszyny, które ich właściciele wystawiają na naszym rynku. Oferta oznaczona jako należąca do naszej siostrzanej firmy Server Room jest wynajmowana na serverroom.net, a nie tutaj.
01Do czego służą
Serwer AI H100 do trenowania, A100 do serwowania modeli
Te GPU mają jedno zadanie: trzymać model w szybkiej pamięci i wykonywać na nim obliczenia. Jeśli trenujesz lub dostrajasz model albo odpowiadasz na zapytania z modelu już wytrenowanego, to jest półka, na którą warto spojrzeć.
01Szybkość pamięci
Szybko odczytują model
Gdy model znajdzie się w pamięci GPU, szybkość jego odpowiedzi zależy głównie od tego, jak szybko GPU potrafi odczytywać jego wagi. A100 80 GB odczytuje 1 935 GB/s, ponad dwukrotnie więcej niż 864 GB/s w L40S.
02Trenowanie
H100 dodaje FP8
Hopper wprowadza Transformer Engine i FP8, dlatego ludzie wybierają H100 do trenowania lub dostrajania dużych modeli. Jeśli Twój przebieg ma się skończyć szybciej, a nie po prostu się skończyć, to jest powód, by za to zapłacić.
03Długie przebiegi
Zbudowane na tygodnie obciążenia
Pamięć z korekcją błędów w całym układzie i sprzęt do centrów danych stworzony do pracy na pełnych obrotach. Przy przebiegu treningowym trwającym tygodnie i kosztującym realne pieniądze odwrócony bit, którego nigdy nie zauważysz, to ryzyko, które eliminujesz.
04Jeden najemca
Pełne GPU jest Twoje
Żadnego wycinka MIG, żadnego profilu vGPU, żadnego dzielenia czasu i żadnego innego klienta na maszynie. Niektóre oferty A100 w chmurze to ułamek jednego GPU, więc sprawdź to, zanim porównasz ceny.
02Zanim zamówisz
Dwie rzeczy, które warto wiedzieć o NVIDIA H100 i A100
Nie potrafią kodować wideo
Własna tabela wsparcia kodowania i dekodowania NVIDIA wymienia zero enkoderów NVENC w A100 i w H100. Potrafią dekodować (pięć silników w A100, siedem w H100), ale każda klatka, która je opuszcza, musi zostać zakodowana przez procesor. Nie mają też wyjść obrazu, więc zdalne pulpity, stacje robocze i serwery gier nie pasują do tego miejsca.
Jeśli potrzebujesz wyjścia wideo, NVIDIA L40S z trzema enkoderami AV1 to GPU do wynajęcia, a nasza strona o transkodowaniu pokazuje, ile kanałów na żywo obsługuje jeden egzemplarz.
A100 to nadal dobry zakup
To poprzednia generacja, a dla modelu, który się mieści, często jest lepszym wyborem. A100 40 GB pomieści model o 13 miliardach parametrów w 8-bitach z zapasem, a wersja 80 GB przyjmie model o 30 miliardach w 8-bitach.
Wynajmij H100, gdy Twój kod używa FP8 i nowszych rdzeni tensorowych albo gdy płacisz za czas do wyniku. Wynajmij A100, gdy pytanie brzmi „czy się mieści i jak szybko czyta”.
03Specyfikacje
Specyfikacje NVIDIA H100 i A100
Dane z kart katalogowych NVIDIA i jej opublikowanych tabel specyfikacji. Tam, gdzie nie udało nam się dopasować wartości do dokładnej płyty, którą montujemy, tabela ją pomija.
H100 80GB
Hopper
80 GB HBM2e
350 W
PCIe Gen 5 x16
None. Decode only (7 engines)
Yes
A100 80GB
Ampere
80 GB HBM2e
6,912
1,935 GB/s
300 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
A100 40GB
Ampere
40 GB HBM2
6,912
1,555 GB/s
250 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
Dlaczego H100 nie pokazuje liczby rdzeni ani przepustowości: nasz rekord sklepowy dla niego łączy dwie płyty, moduł SXM przykręcany do płyty bazowej i GPU PCIe, które trafia do naszych serwerów. Pamięć HBM2e 80 GB należy do GPU PCIe i to właśnie je otrzymujesz. Zapytaj na czacie, a powiemy Ci dokładnie, która płyta trafi do Twojej maszyny.
04Wybór
A100 kontra H100: które wynająć
Każde GPU to miesięczna pozycja na serwerze, w którym się znajduje, więc prawdziwe pytanie brzmi, czy przesiadka jest warta Twojego zadania. Tabela zestawia pamięć i miesięczny koszt obok siebie.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
RTX PRO 6000 Blackwell jest w tabeli celowo: mieści 96 GB, więcej niż jakiekolwiek GPU na tej stronie. Tracisz NVLink i trochę szybkości pamięci, a zyskujesz cztery enkodery wideo. Jeśli Twoje jedyne pytanie brzmi, czy model się zmieści, przeczytaj stronę RTX PRO 6000, zanim podejmiesz decyzję.
Wybór między dwoma A100 to przede wszystkim kwestia pojemności. Jeśli Twój model i jego kontekst mieszczą się w 40 GB z jedną piątą zapasu, weź mniejszy. Jeśli jesteś blisko limitu, A100 80 GB daje Ci miejsce i czyta szybciej.
05Maszyna
Jaki serwer A100 lub maszyna H100 i jakie łącze PCIe otrzymuje
A100 to GPU PCIe Gen 4, a H100 to Gen 5, natomiast nasze platformy serwerowe to Gen 3 i Gen 4. Dlatego H100 nigdy nie dostaje tu pełnej magistrali, do której został zaprojektowany, i wolimy, żebyś wiedział o tym teraz.
Intel Xeon Silver / Gold
AMD EPYC
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
To, czy ma to znaczenie, zależy od Twojego zadania. Serwer inferencyjny z już załadowanymi wagami prawie nie dotyka gniazda. Pętla treningowa, która w każdym kroku pobiera świeżą partię z pamięci hosta, odczuwa to w każdym kroku. Nie wiesz, którym jesteś? Powiedz nam, co będziesz uruchamiać, a wskażemy Ci maszynę.
06Dobór rozmiaru
Co mieści się w 80 GB pamięci GPU
Tylko wagi, dla A100 80 GB i H100. Zostaw miejsce na kontekst i środowisko uruchomieniowe na górze.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — fits |
Na A100 40 GB model o 30 do 34 miliardach parametrów mieści się z zapasem tylko w 4-bitach. Model o 70 miliardach w 16-bitach nie mieści się na żadnym pojedynczym GPU, które sprzedajemy; to wymaga więcej niż jednego GPU i tu właśnie wkracza NVLink. Aby przeliczyć to w drugą stronę, od modelu do GPU, użyj strony doboru pamięci LLM.
07Ceny
Hosting GPU A100 i ceny H100, razem z maszyną
GPU to jedna pozycja na fakturze, a serwer to druga. Obie pochodzą z tego samego katalogu zamówień, którego używa kasa, więc każda cena poniżej należy do dokładnie tej maszyny obok niej.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| A100 40GB | Intel Xeon E5-2600 v3/v4 | $699 | $772.47 Configure this build → |
| A100 40GB | Intel Xeon Silver / Gold | $699 | $782.67 Configure this build → |
| A100 40GB | AMD EPYC | $699 | $916.59 Configure this build → |
| A100 80GB | Intel Xeon E5-2600 v3/v4 | $899 | $972.47 Configure this build → |
| A100 80GB | Intel Xeon Silver / Gold | $899 | $982.67 Configure this build → |
| A100 80GB | AMD EPYC | $899 | $1,116.59 Configure this build → |
| H100 80GB | Intel Xeon Silver / Gold | $1,599 | $1,682.67 Configure this build → |
| H100 80GB | AMD EPYC | $1,599 | $1,816.59 Configure this build → |
Port jest nielimitowany w obu kierunkach bez opłaty za ruch wychodzący, a przy tego rodzaju pracy to często największy rachunek gdzie indziej. Adres IPv4 jest dołączony do serwera, nie ma umowy, a płacisz za jeden miesiąc naraz. Wszystkie inne GPU, które montujemy, wycenione w ten sam sposób, znajdziesz na stronie wszystkich serwerów GPU z cenami.
08Dostawa i pomoc
Jak szybko ją otrzymasz i kto odpowiada
Te GPU to części, które najczęściej kupujemy specjalnie dla Ciebie. Przed zapłatą dowiesz się, który z tych czterech wariantów dotyczy Ciebie.
- Około 30 minut
Już w szafie
Maszyna z zamontowanym GPU stoi w szafie rack. Jest Twoja około 30 minut po zatwierdzeniu zamówienia.
- 4 do 24 godzin
Mamy GPU na stanie
Montujemy GPU, które mamy na półce, do wybranego przez Ciebie serwera.
- 5 do 10 dni roboczych
Kupujemy je dla Ciebie
GPU jest zamawiane dla Ciebie u dystrybutora, a następnie montowane w Twoim serwerze.
- 10 do 15 dni roboczych
Na przydziale
Obecne akceleratory bywają reglamentowane przez dystrybutora i to najdłuższy czas oczekiwania, jaki podajemy.
Pytania przed zamówieniem lub po nim kieruj na nasz czat. Asystent AI odpowiada w kilka sekund i potrafi sprawdzić Twoje konto oraz serwer, a osoba z naszego zespołu przejmuje rozmowę, kiedy tylko poprosisz. Maszyny, które są już w szafie i gotowe od ręki, znajdziesz na serwerach natychmiastowych.
09Pytania
Pytania o wynajem A100 lub H100
01Czy mogę trenować modele AI na pojedynczym serwerze H100?
Tak. Jeden H100 z 80 GB trenuje i dostraja modele, których wagi, gradienty i stan optymalizatora mieszczą się w tej pamięci, a FP8 przez Transformer Engine zwiększa jego możliwości. Pełne trenowanie dużego modelu zwykle wymaga więcej niż jednego GPU. Kilka GPU w jednej maszynie lub kilka maszyn razem to konfiguracja, którą wyceniamy: zobacz serwery multi-GPU i wielowęzłowe.
02Czy to to samo co NVIDIA DGX H100?
Nie. DGX H100 to własny system NVIDIA z ośmioma modułami H100 SXM na jednej płycie głównej. My wynajmujemy jedno GPU H100 PCIe w standardowym serwerze, co sprawdza się przy trenowaniu na jednym GPU, dostrajaniu i inferencji. Jeśli potrzebujesz kilku połączonych GPU, zobacz serwery multi-GPU.
03Czy mogę transkodować wideo na A100 lub H100?
Nie sprzętowo. Żadne z tych GPU nie ma enkodera wideo, więc kodowanie spada na procesor i działa z prędkością procesora. Obsługują dekodowanie, więc zadanie, które czyta wideo i generuje coś innego, działa dobrze. Do wyjścia wideo wynajmij L40S, który ma trzy enkodery AV1.
04Czy GPU jest dzielone na instancje MIG czy współdzielone?
Nie. Otrzymujesz pełne GPU przekazane do własnego systemu operacyjnego, na maszynie, z której nikt inny nie korzysta. Oba GPU obsługują MIG, więc możesz samodzielnie podzielić swoje, jeśli to pasuje do Twojej pracy. To Twój wybór, dokonany na własnej maszynie.
05Czy powinienem wynająć A100 40 GB czy 80 GB?
Zacznij od pojemności. Jeśli model i jego kontekst mieszczą się w 40 GB z około jedną piątą wolnego miejsca, mniejsze GPU jest lepszym zakupem. A100 80 GB czyta też szybciej, 1 935 GB/s w porównaniu z 1 555 GB/s, więc wybierz je, jeśli zbliżasz się do limitu pamięci lub prędkości.
06Który sterownik NVIDIA i wersję CUDA otrzymam?
Te, które zainstalujesz. Serwer przychodzi z czystym systemem operacyjnym i dostępem root, a Ty ustalasz wersje sterownika, CUDA i frameworka, na których testowano Twój kod. Nic nie aktualizuje się bez Twojej wiedzy. Jeśli chcesz, aby sterownik został zainstalowany przed przekazaniem, zaznacz to w zamówieniu i podaj wersję.
07Czy mogę umieścić dwa A100 lub H100 w jednym serwerze?
Tak, jako konfigurację wycenianą, a nie opcję w koszyku. Oba GPU obsługują NVLink, więc dwa z nich mogą dzielić pracę przez szybki most. Która obudowa, ile GPU i czas realizacji zależą od GPU, więc powiedz nam, co planujesz uruchomić, a my wrócimy z konfiguracją.
08Jak szybko mogę otrzymać serwer A100 lub H100?
To zależy od tego, gdzie jest GPU. Około 30 minut po zatwierdzeniu, jeśli maszyna w szafie już je ma, 4 do 24 godzin, jeśli mamy GPU na stanie, 5 do 10 dni roboczych, jeśli je dokupujemy, i 10 do 15 dni roboczych dla GPU z przydziału. Zostaniesz poinformowany, która opcja dotyczy Ciebie, zanim zapłacisz. Maszyny w szafach są wymienione na serwerach natychmiastowych.
Wybierz GPU, a potem maszynę wokół niego
Każda konfiguracja A100 i H100 jest wyceniona powyżej wraz z serwerem. Wybierz jedną, skonfiguruj ją, a zamówienie pokaże pełną miesięczną sumę przed zapłatą.