Servere GPU · A100 și H100
Server dedicat A100 H100 cu GPU-ul complet, niciodată o felie
Un server dedicat A100 H100, așa cum îl închiriem noi, este o mașină întreagă cu un GPU NVIDIA trecut direct către propriul tău sistem de operare: A100 cu 40 sau 80 GB, sau H100 cu 80 GB. Plătești lunar, nu rulează nimeni altcineva pe el, iar portul este nemăsurat, așa că mutarea seturilor de date și a checkpoint-urilor nu costă nimic în plus.
- H100 80 GB$1,682.67Hopper · HBM2e · PCIe Gen 5 · FP8
- A100 80 GB$972.47Ampere · HBM2e · 1.935 GB/s
- A100 40 GB$772.47Ampere · HBM2 · 1.555 GB/s
Niciun encoder video pe oricare dintre cele trei. Memorie ECC pe toate trei.
Deții un A100 sau H100 care stă nefolosit?
Listează mașina pe marketplace-ul Primcast și închiriaz-o celor care au nevoie de putere de calcul, lună de lună.
00Marketplace
Sau închiriază un A100 sau H100 de la cineva care deține unul
Acestea sunt mașini pe care proprietarii le listează pe marketplace-ul nostru. O listare marcată ca fiind deținută de compania noastră soră, Server Room, se închiriază pe serverroom.net în loc de aici.
01La ce sunt bune
Un server AI H100 pentru antrenare, un A100 pentru servirea modelelor
Aceste GPU-uri fac un singur lucru: țin un model în memorie rapidă și fac calculele pe el. Dacă antrenezi sau ajustezi fin, sau răspunzi la cereri de la un model deja antrenat, acesta este raftul pe care să te uiți.
01Viteza memoriei
Citesc modelul rapid
Odată ce un model se află în memoria GPU-ului, cât de repede răspunde depinde în mare parte de cât de repede poate GPU-ul să-i citească ponderile. A100 80 GB citește 1.935 GB/s, mai mult de dublu față de 864 GB/s al L40S.
02Antrenare
H100 adaugă FP8
Hopper aduce Transformer Engine și FP8, motiv pentru care oamenii aleg H100 pentru a antrena sau ajusta fin modele mari. Dacă rularea ta trebuie să se termine mai repede, nu doar să se termine, acesta este motivul să plătești pentru el.
03Rulări lungi
Construit pentru săptămâni de încărcare
Memorie cu corecție de erori peste tot și hardware de centru de date făcut să ruleze la capacitate maximă. Pentru o rulare de antrenare care durează săptămâni și costă bani reali, un bit inversat pe care nu-l observi niciodată este riscul pe care îl elimini.
04Un singur chiriaș
GPU-ul complet este al tău
Fără felie MIG, fără profil vGPU, fără partajare de timp și fără alt client pe mașină. Unele oferte cloud A100 sunt o fracțiune dintr-un GPU, așa că verifică asta înainte să compari prețurile.
02Înainte să comanzi
Două lucruri de știut despre NVIDIA H100 și A100
Nu pot codifica video
Matricea oficială de suport pentru codificare și decodificare a NVIDIA listează zero encodere NVENC pe A100 și pe H100. Pot decodifica (cinci motoare pe A100, șapte pe H100), dar fiecare cadru care iese din ele trebuie codificat de procesor. De asemenea, nu au ieșiri de afișare, așa că desktopurile remote, stațiile de lucru și serverele de jocuri nu își au locul aici.
Dacă ai nevoie de ieșire video, NVIDIA L40S cu trei encodere AV1 este GPU-ul de închiriat, iar pagina noastră de transcodare arată câte canale live suportă unul.
A100 este încă o achiziție bună
Este generația anterioară, iar pentru un model care încape, este adesea alegerea mai bună. A100 40 GB ține un model de 13 miliarde de parametri la 8 biți cu spațiu de rezervă, iar cel de 80 GB ține un model de 30 de miliarde la 8 biți.
Închiriază H100 când codul tău folosește FP8 și nucleele tensor mai noi, sau când timpul până la rezultat este ceea ce plătești. Închiriază un A100 când întrebarea este “încape și cât de repede citește”.
03Specificații
Specificații NVIDIA H100 și A100
Cifre din fișele tehnice NVIDIA și din tabelele sale de specificații publicate. Acolo unde nu am putut potrivi o cifră cu placa exactă pe care o montăm, fișa o omite.
H100 80GB
Hopper
80 GB HBM2e
350 W
PCIe Gen 5 x16
None. Decode only (7 engines)
Yes
A100 80GB
Ampere
80 GB HBM2e
6,912
1,935 GB/s
300 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
A100 40GB
Ampere
40 GB HBM2
6,912
1,555 GB/s
250 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
De ce H100 nu arată numărul de nuclee sau lățimea de bandă: înregistrarea noastră din magazin amestecă două plăci, modulul SXM care se fixează pe o placă de bază și GPU-ul PCIe care intră în serverele noastre. Memoria HBM2e de 80 GB este a GPU-ului PCIe, iar acela este cel pe care îl primești. Întreabă pe chat și îți vom spune exact ce placă intră în mașina ta.
04Alegerea
A100 vs H100: pe care să-l închiriezi
Fiecare GPU este o linie lunară peste serverul în care intră, așa că întrebarea reală este dacă pasul în sus merită pentru munca ta. Tabelul pune memoria și costul lunar una lângă alta.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
RTX PRO 6000 Blackwell este în tabel intenționat: are 96 GB, mai mult decât orice GPU de pe această pagină. Renunți la NVLink și la o parte din viteza memoriei și câștigi patru encodere video. Dacă singura ta întrebare este dacă modelul încape, citește pagina RTX PRO 6000 înainte să decizi.
Alegerea între cele două A100-uri ține mai întâi de capacitate. Dacă modelul tău și contextul său încap în 40 GB cu o cincime rămasă, ia-l pe cel mai mic. Dacă ești aproape de limită, A100 80 GB îți oferă spațiu și citește și mai repede.
05Mașina
Ce server A100 sau mașină H100 și ce legătură PCIe primește
A100 este un GPU PCIe Gen 4, iar H100 este Gen 5, în timp ce platformele noastre de server sunt Gen 3 și Gen 4. Așa că H100 nu primește niciodată aici magistrala completă pentru care a fost proiectat și preferăm să știi asta acum.
Intel Xeon Silver / Gold
AMD EPYC
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
Dacă asta contează depinde de munca ta. Un server de inferență cu ponderile deja încărcate abia atinge slotul. O buclă de antrenare care trage un lot nou din memoria gazdei la fiecare pas o simte la fiecare pas. Nu ești sigur care ești? Spune-ne ce vei rula și te vom îndruma către mașină.
06Dimensionare
Ce încape în 80 GB de memorie GPU
Doar ponderi, pentru A100 80 GB și H100. Lasă loc pentru context și runtime deasupra.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — fits |
Pe A100 40 GB, un model de 30 până la 34 de miliarde încape cu loc doar la 4 biți. Un model de 70 de miliarde la 16 biți nu încape pe niciun GPU pe care îl vindem; asta necesită mai mult de un GPU, iar aici intervine NVLink. Pentru a calcula invers, de la modelul tău la GPU, folosește pagina de dimensionare a memoriei LLM.
07Prețuri
Găzduire GPU A100 și prețuri H100, cu mașina
GPU-ul este o linie pe factura ta, iar serverul este alta. Ambele provin din același catalog de comenzi pe care îl folosește checkout-ul, așa că fiecare preț de mai jos aparține exact mașinii de lângă el.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| A100 40GB | Intel Xeon E5-2600 v3/v4 | $699 | $772.47 Configure this build → |
| A100 40GB | Intel Xeon Silver / Gold | $699 | $782.67 Configure this build → |
| A100 40GB | AMD EPYC | $699 | $916.59 Configure this build → |
| A100 80GB | Intel Xeon E5-2600 v3/v4 | $899 | $972.47 Configure this build → |
| A100 80GB | Intel Xeon Silver / Gold | $899 | $982.67 Configure this build → |
| A100 80GB | AMD EPYC | $899 | $1,116.59 Configure this build → |
| H100 80GB | Intel Xeon Silver / Gold | $1,599 | $1,682.67 Configure this build → |
| H100 80GB | AMD EPYC | $1,599 | $1,816.59 Configure this build → |
Portul este nemăsurat în ambele direcții, fără taxă de egress, iar la acest tip de muncă aceasta este adesea cea mai mare factură din altă parte. O adresă IPv4 vine cu serverul, nu există contract și plătești o lună odată. Pentru fiecare alt GPU pe care îl montăm, la preț în același mod, vezi toate serverele GPU cu prețuri.
08Livrare și ajutor
Cât de repede îl primești și cine răspunde
Aceste GPU-uri sunt componentele cel mai probabil să fie achiziționate pentru tine. Ți se spune care dintre aceste patru se aplică înainte să plătești.
- Aproximativ 30 de minute
Deja în rack
O mașină cu GPU-ul montat stă într-un rack. Este a ta la aproximativ 30 de minute după aprobarea comenzii.
- 4 până la 24 de ore
Deținem GPU-ul
Montăm un GPU pe care îl avem pe raft în serverul pe care l-ai ales.
- 5 până la 10 zile lucrătoare
Îl achiziționăm
GPU-ul este comandat pentru tine de la un distribuitor, apoi montat pe serverul tău.
- 10 până la 15 zile lucrătoare
Pe alocare
Acceleratoarele actuale sunt uneori raționalizate de distribuitor, iar aceasta este cea mai lungă așteptare pe care o menționăm.
Întrebările înainte sau după comandă merg către chat-ul nostru. Un asistent AI răspunde în câteva secunde și poate căuta contul tău și serverul tău, iar o persoană din echipa noastră intervine oricând ceri. Mașinile care sunt în rack și gata chiar acum sunt pe servere instant.
09Întrebări
Întrebări despre închirierea unui A100 sau H100
01Pot antrena modele AI pe un singur server H100?
Da. Un H100 cu 80 GB antrenează și reglează fin modele ale căror ponderi, gradienți și stare a optimizatorului încap în acea memorie, iar FP8 prin Transformer Engine extinde cât de departe ajunge. Antrenarea completă a unui model mare necesită de obicei mai mult de un GPU. Mai multe GPU-uri într-o singură mașină, sau mai multe mașini împreună, este o configurație pe care o cotăm: vezi servere multi-GPU și multi-nod.
02Este același lucru cu un NVIDIA DGX H100?
Nu. Un DGX H100 este sistemul propriu al NVIDIA cu opt module H100 SXM pe o singură placă de bază. Ce închiriem noi este un GPU H100 PCIe într-un server standard, potrivit pentru antrenare pe un singur GPU, reglare fină și inferență. Dacă ai nevoie de mai multe GPU-uri legate între ele, vezi servere multi-GPU.
03Pot transcoda video pe un A100 sau pe un H100?
Nu în hardware. Niciunul dintre GPU-uri nu are encoder video, așa că encodarea cade pe procesor și rulează la viteza procesorului. Ele decodează, deci o sarcină care citește video și scoate altceva funcționează bine. Pentru ieșire video, închiriază L40S, care are trei encodere AV1.
04Este GPU-ul împărțit în instanțe MIG sau partajat?
Nu. Primești GPU-ul complet pasat către propriul tău sistem de operare, pe o mașină pe care nu o folosește nimeni altcineva. Ambele GPU-uri suportă MIG, așa că îl poți partiționa singur dacă asta se potrivește muncii tale. Este alegerea ta, făcută pe propria ta mașină.
05Ar trebui să închiriez A100 de 40 GB sau de 80 GB?
Începe cu capacitatea. Dacă modelul și contextul său încap în 40 GB cu aproximativ o cincime liberă, GPU-ul mai mic este alegerea mai bună. A100 de 80 GB citește și mai repede, 1.935 GB/s față de 1.555 GB/s, așa că alege-l dacă ești aproape de limită la memorie sau viteză.
06Ce driver NVIDIA și ce versiune CUDA voi primi?
Cele pe care le instalezi tu. Serverul ajunge cu un sistem de operare curat și acces root, iar tu fixezi versiunile de driver, CUDA și framework pe care a fost testat codul tău. Nimic nu se actualizează pe la spatele tău. Dacă vrei driverul instalat înainte de predare, spune asta în comandă și menționează versiunea.
07Pot pune două A100-uri sau H100-uri într-un singur server?
Da, ca o configurație cotată, nu ca opțiune de checkout. Ambele GPU-uri suportă NVLink, așa că două dintre ele pot împărți munca printr-o punte rapidă. Ce șasiu, câte GPU-uri și timpul de livrare depind de GPU, așa că spune-ne ce plănuiești să rulezi și revenim cu configurația.
08Cât de repede pot avea un server A100 sau H100?
Depinde de unde este GPU-ul. Aproximativ 30 de minute după aprobare dacă o mașină deja montată în rack îl are, 4 până la 24 de ore dacă avem GPU-ul în stoc, 5 până la 10 zile lucrătoare dacă îl achiziționăm, și 10 până la 15 zile lucrătoare pentru un GPU pe alocare. Ți se spune care se aplică înainte să plătești. Mașinile montate în rack sunt listate la servere instant.
Alege GPU-ul, apoi mașina din jurul lui
Fiecare configurație A100 și H100 este prețuită mai sus cu serverul său. Alege una, configureaz-o, iar comanda arată totalul lunar complet înainte să plătești.