Server GPU · A100 e H100
Server dedicato A100 H100 con la GPU completa, mai una frazione
Un server dedicato A100 H100, come lo noleggiamo noi, è una macchina intera con una GPU NVIDIA passata direttamente al tuo sistema operativo: la A100 con 40 o 80 GB, oppure la H100 con 80 GB. Paghi a canone mensile, nessun altro la utilizza e la porta non è misurata, quindi spostare dataset e checkpoint non costa nulla in più.
- H100 80 GB$1,682.67Hopper · HBM2e · PCIe Gen 5 · FP8
- A100 80 GB$972.47Ampere · HBM2e · 1.935 GB/s
- A100 40 GB$772.47Ampere · HBM2 · 1.555 GB/s
Nessun encoder video su nessuna delle tre. Memoria ECC su tutte e tre.
Possiedi una A100 o una H100 ferma?
Pubblica la macchina sul marketplace di Primcast e noleggiala a chi ha bisogno di potenza di calcolo, mese per mese.
00Marketplace
Oppure noleggia una A100 o una H100 da chi ne possiede una
Queste sono macchine che i proprietari pubblicano sul nostro marketplace. Un annuncio indicato come gestito dalla nostra società consociata, Server Room, viene noleggiato su serverroom.net invece che qui.
01A cosa servono
Un server AI H100 per l'addestramento, una A100 per servire i modelli
Queste GPU fanno un solo lavoro: tenere un modello in memoria veloce ed eseguire i calcoli. Se stai addestrando o rifinendo, oppure rispondendo alle richieste di un modello già addestrato, questo è lo scaffale da guardare.
01Velocità della memoria
Leggono il modello rapidamente
Una volta che un modello è nella memoria della GPU, la velocità di risposta dipende soprattutto da quanto velocemente la GPU riesce a leggere i suoi pesi. La A100 80 GB legge 1.935 GB/s, più del doppio degli 864 GB/s della L40S.
02Addestramento
La H100 aggiunge l'FP8
Hopper introduce il Transformer Engine e l'FP8, ed è per questo che si sceglie la H100 per addestrare o rifinire modelli di grandi dimensioni. Se il tuo lavoro deve finire prima, non solo finire, questo è il motivo per pagarla.
03Lunghi periodi di esecuzione
Costruite per settimane di carico
Memoria con correzione degli errori ovunque e hardware da data center fatto per funzionare a pieno regime. Per un addestramento che dura settimane e costa denaro vero, un bit invertito che non noti mai è il rischio che stai eliminando.
04Un solo inquilino
La GPU completa è tua
Nessuna fetta MIG, nessun profilo vGPU, nessuna condivisione del tempo e nessun altro cliente sulla macchina. Alcune offerte cloud di A100 sono una frazione di una GPU, quindi controlla prima di confrontare i prezzi.
02Prima di ordinare
Due cose da sapere sulle NVIDIA H100 e A100
Non possono codificare video
La matrice di supporto per codifica e decodifica di NVIDIA elenca zero encoder NVENC sulla A100 e sulla H100. Possono decodificare (cinque motori sulla A100, sette sulla H100), ma ogni fotogramma che esce da loro deve essere codificato dal processore. Non hanno nemmeno uscite display, quindi desktop remoti, workstation e server di gioco non trovano posto qui.
Se ti serve l'uscita video, la NVIDIA L40S con tre encoder AV1 è la GPU da noleggiare, e la nostra pagina sulla transcodifica mostra quanti canali live può gestire.
La A100 è ancora un buon acquisto
È la generazione precedente e, per un modello che ci sta, spesso è l'acquisto migliore. La A100 da 40 GB ospita un modello da 13 miliardi di parametri a 8 bit con margine, e quella da 80 GB accoglie un modello da 30 miliardi a 8 bit.
Noleggia la H100 quando il tuo codice usa l'FP8 e i tensor core più recenti, o quando il tempo per ottenere il risultato è ciò per cui paghi. Noleggia una A100 quando la domanda è “ci sta, e quanto velocemente legge”.
03Specifiche
Specifiche delle NVIDIA H100 e A100
Dati tratti dalle schede tecniche di NVIDIA e dalle sue tabelle di specifiche pubblicate. Dove non siamo riusciti a far corrispondere un dato alla scheda esatta che installiamo, la tabella lo omette.
H100 80GB
Hopper
80 GB HBM2e
350 W
PCIe Gen 5 x16
None. Decode only (7 engines)
Yes
A100 80GB
Ampere
80 GB HBM2e
6,912
1,935 GB/s
300 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
A100 40GB
Ampere
40 GB HBM2
6,912
1,555 GB/s
250 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
Perché la H100 non mostra il numero di core o la larghezza di banda: la nostra scheda di magazzino mescola due schede, il modulo SXM che si avvita su una scheda base e la GPU PCIe che va nei nostri server. La memoria HBM2e da 80 GB è quella della GPU PCIe, ed è quella che ricevi. Chiedi in chat e ti diremo esattamente quale scheda va nella tua macchina.
04La scelta
A100 vs H100: quale noleggiare
Ogni GPU è una voce mensile in aggiunta al server in cui è installata, quindi la vera domanda è se il salto di livello valga la pena per il tuo lavoro. La tabella mette a confronto memoria e costo mensile.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
La RTX PRO 6000 Blackwell è nella tabella di proposito: ha 96 GB, più di qualsiasi GPU in questa pagina. Rinunci a NVLink e a un po' di velocità della memoria, e guadagni quattro encoder video. Se la tua unica domanda è se il modello ci sta, leggi la pagina della RTX PRO 6000 prima di decidere.
La scelta tra le due A100 riguarda prima di tutto la capacità. Se il tuo modello e il suo contesto stanno in 40 GB con un quinto di margine, prendi quella più piccola. Se sei vicino al limite, la A100 da 80 GB ti dà spazio e legge anche più velocemente.
05La macchina
Quale server A100 o macchina H100, e il collegamento PCIe che riceve
La A100 è una GPU PCIe Gen 4 e la H100 è Gen 5, mentre le nostre piattaforme server sono Gen 3 e Gen 4. Quindi la H100 non ottiene mai qui il bus completo per cui è stata progettata, e preferiamo che tu lo sappia ora.
Intel Xeon Silver / Gold
AMD EPYC
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
Se questo sia importante dipende dal tuo lavoro. Un server di inferenza con i pesi già caricati tocca appena lo slot. Un ciclo di addestramento che preleva un nuovo batch dalla memoria host a ogni passo lo sente a ogni passo. Non sai quale dei due sei? Dicci cosa eseguirai e ti indicheremo la macchina giusta.
06Dimensionamento
Cosa sta in 80 GB di memoria GPU
Solo pesi, per la A100 da 80 GB e la H100. Lascia spazio per il contesto e il runtime in aggiunta.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — fits |
Sulla A100 da 40 GB, un modello da 30 a 34 miliardi ci sta con margine solo a 4 bit. Un modello da 70 miliardi a 16 bit non sta su nessuna singola GPU che vendiamo; richiede più di una GPU, ed è qui che entra in gioco NVLink. Per fare il calcolo al contrario, dal tuo modello alla GPU, usa la pagina di dimensionamento della memoria LLM.
07Prezzi
Hosting GPU A100 e prezzi H100, con la macchina
La GPU è una voce sulla fattura e il server un'altra. Entrambe provengono dallo stesso catalogo ordini usato dal checkout, quindi ogni prezzo qui sotto appartiene alla macchina esatta accanto.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| A100 40GB | Intel Xeon E5-2600 v3/v4 | $699 | $772.47 Configure this build → |
| A100 40GB | Intel Xeon Silver / Gold | $699 | $782.67 Configure this build → |
| A100 40GB | AMD EPYC | $699 | $916.59 Configure this build → |
| A100 80GB | Intel Xeon E5-2600 v3/v4 | $899 | $972.47 Configure this build → |
| A100 80GB | Intel Xeon Silver / Gold | $899 | $982.67 Configure this build → |
| A100 80GB | AMD EPYC | $899 | $1,116.59 Configure this build → |
| H100 80GB | Intel Xeon Silver / Gold | $1,599 | $1,682.67 Configure this build → |
| H100 80GB | AMD EPYC | $1,599 | $1,816.59 Configure this build → |
La porta non è misurata in entrambe le direzioni e senza costi di uscita, e per questo tipo di lavoro spesso è la voce più costosa altrove. Un indirizzo IPv4 è incluso con il server, non c'è contratto e paghi un mese alla volta. Per ogni altra GPU che installiamo, con prezzi calcolati allo stesso modo, vedi tutti i server GPU con prezzi.
08Consegna e assistenza
Quanto velocemente la ricevi, e chi risponde
Queste GPU sono i componenti che più probabilmente vengono acquistati apposta per te. Ti viene detto quale di queste quattro situazioni si applica prima di pagare.
- Circa 30 minuti
Già installata
Una macchina con la GPU montata è già in un rack. È tua circa 30 minuti dopo l'approvazione dell'ordine.
- Da 4 a 24 ore
Abbiamo la GPU in magazzino
Montiamo una GPU che abbiamo a scaffale nel server che hai scelto.
- Da 5 a 10 giorni lavorativi
La acquistiamo per te
La GPU viene ordinata per te da un distributore e poi montata sul tuo server.
- Da 10 a 15 giorni lavorativi
Su allocazione
Gli acceleratori attuali a volte sono razionati dal distributore, e questa è l'attesa più lunga che indichiamo.
Le domande prima o dopo l'ordine vanno alla nostra chat. Un assistente AI risponde in pochi secondi e può consultare il tuo account e il tuo server, e una persona del nostro team interviene ogni volta che lo chiedi. Le macchine già installate e pronte in questo momento sono su server istantanei.
09Domande
Domande sul noleggio di una A100 o H100
01Posso addestrare modelli di intelligenza artificiale su un singolo server H100?
Sì. Una H100 con 80 GB addestra e rifinisce modelli i cui pesi, gradienti e stato dell'ottimizzatore rientrano in quella memoria, e l'FP8 tramite il Transformer Engine ne estende la portata. L'addestramento completo di un modello di grandi dimensioni richiede di solito più di una GPU. Più GPU in una macchina, o più macchine insieme, è una configurazione che possiamo quotare: vedi server multi-GPU e multi-nodo.
02È la stessa cosa di un NVIDIA DGX H100?
No. Un DGX H100 è il sistema proprietario di NVIDIA con otto moduli H100 SXM su un'unica scheda madre. Quello che noleggiamo è una GPU H100 PCIe in un server standard, adatta all'addestramento su singola GPU, alla rifinitura e all'inferenza. Se hai bisogno di più GPU collegate tra loro, vedi server multi-GPU.
03Posso transcodificare video su una A100 o una H100?
Non via hardware. Nessuna delle due GPU dispone di un codificatore video, quindi la codifica ricade sul processore e procede alla velocità del processore. Supportano però la decodifica, quindi un lavoro che legge video e produce qualcos'altro funziona bene. Per l'output video, noleggia la L40S, che dispone di tre codificatori AV1.
04La GPU è suddivisa in istanze MIG o condivisa?
No. Ricevi la GPU completa passata direttamente al tuo sistema operativo, su una macchina che nessun altro utilizza. Entrambe le GPU supportano MIG, quindi puoi partizionarla tu stesso se è adatto al tuo lavoro. È una tua scelta, fatta sulla tua macchina.
05Dovrei noleggiare la A100 da 40 GB o da 80 GB?
Parti dalla capacità. Se il modello e il suo contesto rientrano in 40 GB con circa un quinto di spazio libero, la GPU più piccola è l'acquisto migliore. La A100 da 80 GB legge anche più velocemente, 1.935 GB/s contro 1.555 GB/s, quindi sceglila se sei vicino al limite di memoria o di velocità.
06Quale driver NVIDIA e versione CUDA riceverò?
Quelli che installi tu. Il server arriva con un sistema operativo pulito e accesso root, e blocchi le versioni di driver, CUDA e framework su cui il tuo codice è stato testato. Nulla si aggiorna a tua insaputa. Se desideri che il driver venga installato prima della consegna, indicalo nell'ordine e specifica la versione.
07Posso mettere due A100 o H100 in un solo server?
Sì, come configurazione su preventivo piuttosto che come opzione al checkout. Entrambe le GPU supportano NVLink, quindi due di esse possono condividere il lavoro tramite un collegamento veloce. Quale chassis, quante GPU e i tempi di consegna dipendono dalla GPU, quindi dicci cosa intendi eseguire e ti risponderemo con la configurazione.
08Quanto presto posso avere un server A100 o H100?
Dipende da dove si trova la GPU. Circa 30 minuti dopo l'approvazione se una macchina già montata a rack la contiene, da 4 a 24 ore se abbiamo la GPU in magazzino, da 5 a 10 giorni lavorativi se dobbiamo acquistarla, e da 10 a 15 giorni lavorativi per una GPU in allocazione. Ti verrà comunicato quale caso si applica prima del pagamento. Le macchine già montate a rack sono elencate su server istantanei.
Scegli la GPU, poi la macchina che la circonda
Ogni configurazione A100 e H100 è prezzata qui sopra con il suo server. Scegline una, configurala e l'ordine mostrerà il totale mensile completo prima del pagamento.