Gli acceleratori — e cosa non faranno

Due cose che sorprendono le persone

Non possono codificare video. Per niente.

La matrice di supporto di codifica e decodifica di NVIDIA registra zero motori NVENC sull'A100 e zero sull'H100. Decodificano — cinque motori sull'A100, sette sull'H100 — ma non c'è alcun encoder sulla scheda, quindi ogni fotogramma prodotto da queste schede deve essere codificato dal processore. Se la tua pipeline produce video, questo è lo scaffale sbagliato, e l'L40S con i suoi tre encoder AV1 è quello giusto. È una pagina più in là su /l40s.

Queste schede non hanno nemmeno uscite display. Sono componenti di calcolo headless. Nulla che si aspetti un framebuffer — un desktop virtuale, una workstation remota, un server di gioco — appartiene a loro.

L'A100 non è obsoleto, e la scheda da 40 GB non è un errore

L'A100 è la generazione precedente, e legge i suoi pesi a 1.555 GB/s con 40 GB e 1.935 GB/s con 80 GB. Per un modello che ci sta, quella velocità di lettura è ciò che decide quanti token al secondo ottieni, e rimane di gran lunga superiore a ogni scheda non impilata del catalogo. La scheda da 40 GB ospita comodamente un modello da trenta miliardi di parametri a precisione a otto bit, che è la maggior parte di ciò che le persone effettivamente servono, a una frazione di quanto costa l'H100 ogni mese.

Compra l'H100 quando il modello ha davvero bisogno di Hopper — il transformer engine, FP8, le unità tensor più recenti — o quando l'esecuzione deve finire prima anziché semplicemente finire. Compra un A100 quando la domanda è se ci sta e quanto velocemente legge, che è la domanda più comune.

Le specifiche, come pubblicate

Dati dai datasheet di NVIDIA e dalle tabelle delle specifiche Tesla, citati nel sorgente di questa pagina. Dove un dato non è stato verificabile rispetto all'esatta parte che installiamo, questa pagina non stampa nulla invece di un'ipotesi.

L'H100 non mostra sopra né numero di core né larghezza di banda, ed è voluto. La nostra parte è registrata nello store con un numero di core appartenente al modulo SXM, che è una scheda che si fissa a una scheda madre anziché in uno slot; la memoria HBM2e da 80 GB che registra appartiene alla scheda PCIe, che è ciò che va effettivamente in queste macchine. Invece di sceglierne uno e stamparlo con sicurezza, la pagina stampa la memoria su cui entrambe le fonti concordano e omette il resto. Chiedici e ti diremo esattamente quale scheda andrà nella tua.

Le tre fianco a fianco, e cosa sta sopra

Dai nostri scaffali. Tutte queste sono ordinabili oggi, nello stesso chassis, quindi la domanda è quale valga la differenza.

L'ultima riga è lì perché è il confronto onesto e la maggior parte degli annunci lo nasconde: la RTX PRO 6000 Blackwell ha 96 GB, più di qualsiasi acceleratore su questa pagina. Leggi la sua memoria e il suo costo rispetto a quelli dell'H100 nella tabella sopra anziché fidarti della nostra parola per entrambi. Ciò a cui rinuncia è la velocità di lettura e NVLink; ciò che guadagna sono quattro encoder video e il ray tracing. Se la tua domanda è ci starà, leggi /rtx60 prima di impegnarti su questo scaffale.

In quale macchina vanno, e quale collegamento ottengono lì

L'A100 è una scheda PCIe Gen 4 e l'H100 è Gen 5, mentre le nostre piattaforme sono Gen 3 e Gen 4. L'H100 quindi non ottiene mai il bus completo per cui è stato progettato su nessuna macchina che gestiamo, e questa pagina lo dice invece di lasciartelo scoprire.

Se questo ti costa qualcosa dipende interamente dalla forma del lavoro. Un endpoint di inferenza con pesi residenti tocca appena lo slot e non se ne accorgerà. Un ciclo di addestramento che trasmette un nuovo batch dalla memoria host a ogni passo se ne accorgerà a ogni passo. Se non sei sicuro di quale sei, dicci qual è il lavoro prima di ordinare — decide la macchina, non la scheda.

Cosa sta davvero in 80 GB

L'A100 da 40 GB contiene la stessa tabella un gradino più in basso: un modello da trenta a trentaquattro miliardi di parametri ci sta con margine solo a quattro bit, e a otto bit i suoi 34 GB di pesi non superano nemmeno la soglia più stretta. Un modello da settanta miliardi a sedici bit non sta in nessuna singola scheda che vendiamo — è una configurazione a due schede, e il motivo per cui la riga NVLink sopra conta.

Quella tabella risponde a “cosa sta in questa scheda”. La domanda al contrario — quanta memoria serve a un modello, e quale scheda la supera — è una pagina a sé.

Quanto costano, con le macchine in cui vanno

La scheda è una riga sulla fattura e la macchina un'altra. Entrambe le metà qui sotto provengono da un'unica lettura del catalogo ordini, quindi il prezzo e la specifica accanto appartengono sempre l'uno all'altra.

La larghezza di banda è senza limiti in entrambe le direzioni senza costi di uscita, che su questo scaffale è di solito il costo nascosto più grande altrove — un addestramento che scarica un dataset e carica checkpoint sposta moltissimi byte, e l'uscita per gigabyte viene addebitata su ognuno di essi. Un indirizzo IPv4 è incluso, non c'è contratto e un mese è il termine predefinito. Per ogni altra scheda che installiamo, prezzata allo stesso modo, leggi l'intero catalogo, prezzato. Per macchine montate e pronte oggi, /instant.