Modelli linguistici su hardware fisico · Primcast LLC · dal 2004
Gli utenti arrivano a questa pagina credendo che la decisione si basi su quale acceleratore sia il più veloce. Non è così. I pesi o entrano nella memoria della scheda o non ci entrano: una scheda con due gigabyte in meno non è più lenta, semplicemente non riesce a caricare i dati. Quindi, questa pagina segue l'ordine in cui si prende effettivamente la decisione: quanto è grande il modello, con quale precisione lo si eseguirà, quanto spazio richiede la conversazione e solo allora quale scheda soddisfa i requisiti. I prezzi sono riportati nella pagina successiva, volutamente.
Quale scheda esegue il mio modello Cosa ci installo sopra
Un solo tenant per macchina. La scheda viene passata al sistema operativo e le versioni di runtime, driver e framework sono a tua disposizione per essere scelte e bloccate.
Primo passo
I parametri vengono moltiplicati per il numero di byte per parametro, e questo è tutto il calcolo. I pesi a sedici bit occupano due byte ciascuno, quelli a otto bit uno, quelli a quattro bit la metà. Un modello con sette miliardi di parametri a sedici bit occupa quattordici gigabyte di pesi; lo stesso modello a quattro bit ne occupa tra tre e quattro.
La quantizzazione è ciò che trasforma una macchina incapace di memorizzare un modello in una in grado di farlo. Questo processo incide sulla qualità, e l'entità di tale impatto dipende molto più dal modello e dal metodo utilizzato che dal solo numero di bit: un modello a quattro bit ben quantizzato è solitamente più vicino alla sua versione a precisione completa di quanto ci si aspetti, mentre un modello a otto bit mal quantizzato può risultare peggiore. Se l'obiettivo è la precisione, è consigliabile testare entrambi i modelli prima di procedere con l'hardware; è più economico scoprire la differenza ora che dopo la consegna.
Queste cifre rappresentano i pesi e nient'altro. Sono il valore minimo, non il requisito obbligatorio. La sezione successiva è quella che tende a trarre in inganno.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Fase due
Questo è il modo più comune in cui un acquisto di una GPU può andare storto, e si ripete sempre allo stesso modo: qualcuno legge che il suo modello ha una capacità di trentotto gigabyte, acquista una scheda da quaranta gigabyte, la installa correttamente e poi scopre che può contenere a malapena una breve conversazione.
Il caricamento di un modello non è l'unica operazione che occupa la scheda. Il runtime stesso, i suoi buffer e le attivazioni di qualsiasi operazione di calcolo risiedono nella stessa memoria dei pesi.
Ogni token già presente in una conversazione lascia una traccia nella cache chiave-valore, in modo da non doverla ricalcolare. Questa cache cresce con la lunghezza del contesto e ulteriormente con ogni richiesta gestita simultaneamente. Un contesto lungo o un endpoint molto occupato possono richiedere la stessa quantità di memoria di un modello di piccole dimensioni.
Prevedi almeno un quarto di memoria in più sulla scheda rispetto ai pesi, e una volta e mezza se il contesto è lungo o l'endpoint è occupato. Questa è la regola che la tabella nella sezione successiva applica per te: ogni scheda indicata contiene i pesi una volta e mezza.
Indicaci il modello, la quantizzazione, la lunghezza del contesto di cui hai bisogno e approssimativamente quante richieste contemporaneamente. Preferiremmo convincerti ad acquistare una scheda più grande ora, o un modello più piccolo, piuttosto che accettare un ordine che ti delude nella prima settimana e si trasforma in una richiesta di rimborso.
Terzo passo
Leggete dall'alto verso il basso fino alla dimensione del vostro modello e orizzontalmente fino alla precisione con cui intendete eseguire la stampa. Ogni cella indica la scheda più piccola che possiamo inserire in grado di contenere quei pesi con spazio sufficiente per altri utilizzi, e fornisce un link alla macchina in cui è inserita. Qualora il catalogo non offra un prodotto compatibile singolarmente, la cella lo specifica chiaramente, anziché lasciare uno spazio vuoto.
| If you want to run | at 16-bit | at 8-bit | at 4-bit |
|---|---|---|---|
| 7-8 billion parameters | TESLA P40 / QUADRO P600024 GB16 GB of weights | TITAN V12 GB HBM28 GB of weights | TESLA P48 GB GDDR55 GB of weights |
| 13-14 billion parameters | RTX A600048 GB GDDR6 ECC28 GB of weights | TESLA P40 / QUADRO P600024 GB14 GB of weights | TITAN V12 GB HBM28 GB of weights |
| 30-34 billion parameters | More than one cardNothing we fit holds it alone68 GB of weights | Instinct MI21064 GB HBM2e34 GB of weights | Tesla V100 32GB32 GB HBM219 GB of weights |
| 70 billion parameters | More than one cardNothing we fit holds it alone140 GB of weights | More than one cardNothing we fit holds it alone70 GB of weights | Instinct MI21064 GB HBM2e38 GB of weights |
Quando la risposta è "più di una scheda", si tratta di una configurazione che proponiamo come preventivo, non di un'opzione di acquisto. La pagina dedicata alle configurazioni multi-GPU e multi-nodo spiega in dettaglio di cosa si tratta e quali sono i suoi limiti. Il costo mensile di ciascuna scheda e del relativo server dedicato alla GPU è indicato da GPU dedicate : ogni cifra si riferisce alla specifica macchina a cui appartiene, motivo per cui questa pagina non le ripete.
A memoria, il più grande per primo
Lo stesso catalogo dei prezzi delle GPU, ma ordinato al contrario: quella pagina inizia dal computer completo più economico perché risponde alla domanda "quanto costa?", mentre questa inizia dalla scheda più potente perché risponde alla domanda "qual è il programma più potente che posso eseguire?". Le schede di cui il produttore non pubblica i dati di memoria vengono omesse anziché indicate con uno spazio vuoto, perché una riga non confrontabile è inutile ai fini di un confronto.
Molte di queste appaiono su più di uno chassis, a volte a prezzi diversi, e la generazione del bus della macchina sottostante influenza ciò che una scheda moderna può effettivamente fare — entrambi i casi sono su server dedicati alle GPU . Cosa sia disponibile e pronto in questo preciso istante è un'altra questione, a cui rispondono i server istantanei .
Ciò che installi su di esso
La macchina arriva con un sistema operativo e un root puliti. Non c'è alcun servizio di inferenza del fornitore da dover utilizzare, nessun runtime gestito che si aggiorna automaticamente la settimana prima di una scadenza e nessuna API davanti al tuo modello. Installi ciò che ti serve e lo blocchi alla versione con cui il tuo codice è stato testato.
La risposta tipica per servire un modello a traffico reale. Il batching continuo e l'attenzione paginata sono ciò che permette a una scheda di rispondere a molte richieste contemporaneamente anziché una alla volta, che è solitamente la differenza tra una demo e un servizio. Richiede una scheda ragionevolmente moderna.
La risposta più comune quando la memoria è scarsa o la scheda è vecchia. I suoi formati quantizzati sono il motivo per cui un modello di grandi dimensioni può essere memorizzato su una scheda piccola, e non esiterà a utilizzare processore e scheda insieme quando i pesi non sono perfettamente compatibili. Più lento per richiesta, ma molto più tollerante.
Server di produzione appartenenti alla stessa famiglia di vLLM, con punti di forza differenti in termini di output strutturato, riutilizzo dei prefissi e gestione di modelli multipli. Se ne possedete già uno nel vostro stack, verrà eseguito qui senza modifiche.
Il percorso più breve da una macchina vuota a un modello funzionante su una porta. Vale la pena iniziare da qui, anche se alla fine si arriva a un'altra soluzione, perché in circa dieci minuti vi dirà se le dimensioni scelte erano corrette.
Qualunque sia la tua scelta, il driver, la versione di CUDA o ROCm e la build del framework sono di tua esclusiva competenza e non verranno effettuati aggiornamenti automatici. Se preferisci che il driver venga installato prima della consegna, specificalo nell'ordine e indica la versione.
Quanto sarà veloce?
Ogni singolo valore dipende dal modello, dalla quantizzazione, dal runtime e dalla sua versione, dalla dimensione del batch, dalla lunghezza del prompt, dalla lunghezza della risposta e dal numero di richieste in corso. Modificando anche solo uno di questi fattori, il valore varia di un fattore multiplo. Un dato di punta che non tenga conto di tutti questi elementi è un numero scelto per fare bella figura, e verremmo citati in base a quello.
Vi spiegheremo cosa lo regola, in modo che possiate ragionare sul vostro caso:
Indicaci il modello, la quantizzazione che intendi utilizzare, la lunghezza del contesto e approssimativamente il numero di richieste simultanee che prevedi. Se abbiamo già eseguito qualcosa di simile, ti diremo cosa abbiamo osservato e su cosa. In caso contrario, lo specificheremo.
È una base di partenza migliore per un acquisto rispetto a un grafico di riferimento, e richiede circa un minuto.
L'assistenza clienti è disponibile tutti i servizi, telefono, chat e ticket, tutti i giorni dell'anno. I tempi di risposta sono indicati per iscritto.
Oltre al servizio
Tutto quanto descritto sopra riguarda le dimensioni di un modello per l'inferenza: pesi in ingresso, token in uscita. L'addestramento o la messa a punto dello stesso modello rappresentano un problema di memoria diverso, e la differenza non è trascurabile.
L'esecuzione richiede i pesi. L'addestramento richiede i pesi, i gradienti e lo stato dell'ottimizzatore per ogni parametro che aggiorna, tutti residenti contemporaneamente, oltre alle attivazioni che deve conservare per poter procedere a ritroso attraverso la rete. Un modello che funziona comodamente su una scheda può essere diverse volte troppo grande per essere ottimizzato completamente sulla stessa scheda.
I metodi efficienti in termini di parametri, come gli adattatori, gli aggiornamenti a basso rango e le loro varianti quantizzate, aggiornano una piccola frazione dei parametri e richiedono una frazione corrispondentemente piccola della memoria aggiuntiva. Per la maggior parte delle attività che vengono definite "fine-tuning", questa è sia la scelta pratica sia quella che si adatta all'hardware che ci si può permettere di mantenere.
Il modello, il metodo, la lunghezza della sequenza e la dimensione del dataset. Non pubblicheremo qui un moltiplicatore perché quello corretto dipende da tutti e quattro questi fattori, e una cifra inventata che sottostima le capacità del tuo computer sarebbe peggio per entrambi di una discussione. Se la risposta è più di una scheda, le opzioni multi-GPU e multi-nodo spiegano come si presenta la configurazione.
Un ciclo di addestramento trasmette continuamente batch attraverso il collegamento tra processore e scheda, quindi la generazione PCIe della macchina sottostante rappresenta un vincolo reale piuttosto che una specifica. L'inferenza su un modello residente lo influenza solo marginalmente. Quale piattaforma assegna quale scheda a quale collegamento viene pubblicato su server dedicati alle GPU e confrontato tra piattaforme su architetture multi-GPU e multi-nodo .
Dove andare dopo?
Questa pagina si concentra su un'unica domanda: cosa serve per eseguire un modello. Tutto ciò che è correlato ha una propria pagina, e qui le trovate tutte.
Chiesto prima
Tratto dalle domande che ci vengono poste in chat e tramite ticket, più o meno nell'ordine in cui ci vengono fatte. Le prime due sono quelle che determinano se un acquisto va a buon fine.
For the record
Card memory is the manufacturers’ published figure; which cards exist is read from the order catalogue when this page was served. No monthly price appears here on purpose — GPU dedicated servers holds every one, against the exact machine it belongs to.
