Gli acceleratori — e cosa non faranno

Due cose che sorprendono le persone

Non possono codificare video. Per niente.

La matrice di supporto per codifica e decodifica di NVIDIA registra zero motori NVENC sulla A100 e zero sulla H100. Decodificano — cinque motori sulla A100, sette sulla H100 — ma non c'è alcun encoder sulla scheda, quindi ogni fotogramma prodotto da queste schede deve essere codificato dal processore. Se la tua pipeline produce video, questo è lo scaffale sbagliato, e la L40S con i suoi tre encoder AV1 è quello giusto. È una pagina più in là su /l40s.

Queste schede inoltre non hanno uscite display. Sono componenti di calcolo headless. Nulla che si aspetti un framebuffer — un desktop virtuale, una workstation remota, un server di gioco — ha posto su di esse.

La A100 non è obsoleta, e la scheda da 40 GB non è un errore

La A100 è la generazione precedente, e legge i suoi pesi a 1.555 GB/s con 40 GB e 1.935 GB/s con 80 GB. Per un modello che ci sta, quella velocità di lettura è ciò che determina quanti token al secondo ottieni, e rimane di gran lunga superiore a ogni scheda non impilata del catalogo. La scheda da 40 GB ospita comodamente un modello da trenta miliardi di parametri a precisione a otto bit, che è la maggior parte di ciò che le persone effettivamente servono, a una frazione di quanto costa la H100 ogni mese.

Compra la H100 quando il modello richiede davvero Hopper — il transformer engine, FP8, le unità tensor più recenti — o quando l'esecuzione deve finire prima anziché semplicemente finire. Compra una A100 quando la domanda è se ci sta e quanto velocemente legge, che è la domanda più comune.

Le specifiche, come pubblicate

Dati dai datasheet di NVIDIA e dalle tabelle delle specifiche Tesla, citati nel sorgente di questa pagina. Dove un dato non è stato verificato rispetto all'esatta parte che installiamo, questa pagina non stampa nulla piuttosto che un'ipotesi.

La H100 non mostra sopra né numero di core né larghezza di banda, e questo è deliberato. La nostra parte è registrata nello store con un numero di core appartenente al modulo SXM, che è una scheda che si fissa a una scheda base anziché in uno slot; la memoria HBM2e da 80 GB che registra appartiene invece alla scheda PCIe, che è ciò che effettivamente va in queste macchine. Piuttosto che sceglierne uno e stamparlo con sicurezza, la pagina stampa la memoria su cui entrambe le fonti concordano e omette il resto. Chiedici e ti diremo esattamente quale scheda andrà nella tua.

Le tre fianco a fianco, e cosa sta sopra

Dai nostri stessi scaffali. Tutte queste sono ordinabili oggi, nello stesso chassis, quindi la domanda è quale valga la differenza.

L'ultima riga è lì perché è il confronto onesto e la maggior parte degli annunci la nasconde: la RTX PRO 6000 Blackwell ha 96 GB, più di qualsiasi acceleratore su questa pagina. Confronta la sua memoria e il suo costo con quelli della H100 nella tabella sopra anziché fidarti della nostra parola per entrambi. Ciò a cui rinuncia è la velocità di lettura e NVLink; ciò che guadagna sono quattro encoder video e il ray tracing. Se la tua domanda è ci starà, leggi /rtx60 prima di impegnarti su questo scaffale.

In quale macchina vanno, e quale collegamento ottengono lì

La A100 è una scheda PCIe Gen 4 e la H100 è Gen 5, mentre le nostre piattaforme sono Gen 3 e Gen 4. La H100 quindi non ottiene mai il bus completo per cui è stata progettata su nessuna macchina che gestiamo, e questa pagina lo dice anziché lasciartelo scoprire.

Se questo ti costa qualcosa dipende interamente dalla forma del lavoro. Un endpoint di inferenza i cui pesi sono residenti tocca appena lo slot e non se ne accorgerà. Un ciclo di addestramento che trasferisce un nuovo batch dalla memoria host a ogni passo se ne accorgerà a ogni passo. Se non sei sicuro di quale sei, dicci qual è il lavoro prima di ordinare — decide la macchina, non la scheda.

Cosa sta davvero in 80 GB

La A100 da 40 GB regge la stessa tabella un gradino più in basso: un modello da trenta a trentaquattro miliardi di parametri ci sta con margine solo a quattro bit, e a otto bit i suoi 34 GB di pesi non superano nemmeno la barra stretta. Un modello da settanta miliardi a sedici bit non sta in nessuna singola scheda che vendiamo — è una configurazione a due schede, e il motivo per cui la riga NVLink sopra conta.

Quella tabella risponde a “cosa sta in questa scheda”. La domanda al contrario — quanta memoria richiede un modello, e quale scheda la supera — è una pagina a sé.

Quanto costano, con le macchine in cui vanno

La scheda è una riga sulla fattura e la macchina è un'altra. Entrambe le metà qui sotto provengono da un'unica lettura del catalogo ordini, quindi il prezzo e la specifica accanto appartengono sempre l'uno all'altra.

La larghezza di banda è senza limiti in entrambe le direzioni senza costi di uscita, che su questo scaffale è di solito il costo nascosto più grande altrove — un addestramento che scarica un dataset e carica checkpoint sposta moltissimi byte, e l'uscita per gigabyte viene addebitata su ognuno di essi. Un indirizzo IPv4 è incluso, non c'è contratto e un mese è la durata predefinita. Per ogni altra scheda che installiamo, prezzata allo stesso modo, leggi l'intero catalogo, prezzato. Per macchine montate e pronte oggi, /instant.