Gli acceleratori e ciò che non faranno

Due cose che sorprendono le persone

Non sono in grado di codificare i video. Assolutamente no.

La matrice di supporto per la codifica e la decodifica di NVIDIA non riporta alcun motore NVENC sulla A100 e nessuno sulla H100. Entrambe le schede supportano la decodifica (cinque motori sulla A100 e sette sulla H100), ma non dispongono di un encoder integrato, quindi ogni frame prodotto da queste schede deve essere codificato dal processore. Se la vostra pipeline prevede l'uscita video, questa scheda non è adatta al vostro caso; la L40S, con i suoi tre encoder AV1, è quella giusta. La trovate nella pagina successiva, /l40s .

Queste schede non dispongono di uscite video. Sono unità di elaborazione senza interfaccia grafica. Nessun programma che richieda un framebuffer, come un desktop virtuale, una workstation remota o un server di gioco, può essere eseguito su di esse.

L'A100 non è obsoleto e la scheda da 40 GB non è un errore.

La A100 è la generazione precedente e legge i suoi pesi a 1.555 GB/s con 40 GB e a 1.935 GB/s con 80 GB. Per un modello compatibile, questa velocità di lettura determina quanti token al secondo si ottengono e rimane di gran lunga superiore a qualsiasi altra scheda non impilabile presente nel catalogo. La scheda da 40 GB può contenere comodamente un modello con trenta miliardi di parametri a otto bit di precisione, che è la maggior parte di ciò che viene effettivamente utilizzato, a una frazione del costo mensile della H100.

Acquistate l'H100 quando il modello necessita effettivamente di Hopper (ad esempio, il motore Transformer, FP8 o le unità Tensor più recenti) o quando la stampa deve essere completata prima del previsto. Acquistate un A100 quando la domanda più frequente è se la stampante è compatibile e quanto è veloce nella lettura.

Le specifiche, come pubblicate

I dati provengono dalle schede tecniche di NVIDIA e dalle tabelle delle specifiche di Tesla, citate nella fonte di questa pagina. Laddove non sia stato possibile reperire un dato specifico per il componente utilizzato, questa pagina non riporta alcun valore, ma solo una stima.

La scheda H100 non riporta né il numero di core né la larghezza di banda, e questo è voluto. Il nostro componente è registrato nel catalogo con un numero di core corrispondente al modulo SXM, una scheda che si fissa alla scheda madre anziché a uno slot; la memoria HBM2e da ​​80 GB anch'essa registrata appartiene alla scheda PCIe, che è quella effettivamente installata in questi computer. Invece di selezionarne una e stamparla con certezza, la pagina riporta la memoria su cui entrambe le fonti concordano, omettendo le altre. Contattateci e vi diremo esattamente quale scheda verrà installata nel vostro computer.

I tre fianco a fianco, e ciò che sta sopra

Dai nostri scaffali. Tutti questi modelli sono ordinabili oggi, nello stesso chassis, quindi la domanda è: quale vale la pena di spendere la differenza?

L'ultima riga è presente perché rappresenta un confronto onesto, che la maggior parte delle schede video nasconde: la RTX PRO 6000 Blackwell ha 96 GB di memoria, più di qualsiasi altro acceleratore presente in questa pagina. Confrontate la sua memoria e il suo prezzo con quelli dell'H100 nella tabella sopra, invece di fidarvi ciecamente delle nostre affermazioni. Ciò che perde è la velocità di lettura e NVLink; ciò che guadagna sono quattro encoder video e il ray tracing. Se vi state chiedendo se ci starà , leggete /rtx60 prima di decidere per questo chassis.

In quale macchina entrano e quale collegamento ottengono lì

La A100 è una scheda PCIe di quarta generazione (Gen 4) e la H100 è di quinta generazione (Gen 5), mentre le nostre piattaforme sono di terza e quarta generazione (Gen 3 e Gen 4). Pertanto, la H100 non raggiunge mai la piena velocità del bus per cui è stata progettata su nessuna delle macchine che utilizziamo, e questa pagina lo specifica chiaramente, senza lasciare che sia l'utente a scoprirlo da solo.

Che questo comporti un costo dipende interamente dalla tipologia di lavoro. Un endpoint di inferenza i cui pesi sono residenti incide a malapena sullo slot e non se ne accorgerà. Un ciclo di training che carica un nuovo batch dalla memoria host a ogni passo, invece, se ne accorgerà a ogni passo. Se non sei sicuro di quale sia la tua situazione, comunicaci di cosa si tratta prima di ordinare: è questo che determina la macchina, non la scheda.

Cosa entra davvero in 80 GB?

La A100 da 40 GB mantiene la stessa tabella un gradino più in basso: un modello da trenta a trentaquattro miliardi di parametri con precisione a otto bit ci sta, lo stesso modello a sedici bit no. Un modello da settanta miliardi a sedici bit non entra in nessuna delle schede che vendiamo: si tratta di una configurazione a due schede, ed è per questo che la linea NVLink menzionata sopra è importante.

Quanto costano, con le macchine in cui entrano

La scheda tecnica è riportata su una riga della fattura, mentre la macchina su un'altra. Entrambe le parti sottostanti derivano da una singola lettura del catalogo ordini, pertanto il prezzo e le specifiche che lo accompagnano si riferiscono sempre l'uno all'altro.

La larghezza di banda è illimitata in entrambe le direzioni e non prevede costi di uscita, che in genere rappresentano il costo nascosto maggiore in altri contesti: un'esecuzione di training che carica un dataset e invia checkpoint trasferisce un gran numero di byte, e per ognuno di essi viene addebitato un costo di uscita per gigabyte. È incluso un indirizzo IPv4, non è previsto alcun contratto e la durata predefinita è di un mese. Per tutte le altre schede che installiamo, con lo stesso prezzo, consultare il catalogo completo . Per le macchine installate e pronte oggi stesso, /instant .