Scheda di dimensionamento · modelli linguistici su bare metal · dal 2004
Compilata dall’alto, come procede la decisione: il modello fissa i pesi, la precisione li scala, il margine di sicurezza copre il runtime e la conversazione, e il totale indica la scheda. Nient’altro nel modulo d’ordine cambia la risposta — una scheda con due gigabyte in meno non gira più lentamente, non si carica proprio.
Compila la scheda Perché una soluzione può comunque fallire Cosa installo sulla macchina
Scheda di lavoro
70B: 38 GB × 1.5 = 57 GB
Smallest card on the schedule that clears it (3 larger ones also do):
Instinct MI21064 GB HBM2eThe link opens the machine it goes in. What it costs is on /gpu — not on this sheet.
Riga 1 × riga 2 sono i pesi; la riga 3 è la regola pubblicata dal sito, da un quarto a metà di margine, espressa in aritmetica — un quarto in più per un utente alla volta su llama.cpp o Ollama, metà in più per servire traffico con batching continuo su vLLM o TGI. Il verdetto indica la scheda più piccola del catalogo ordini che supera il totale e collega alla macchina in cui va installata. Quanto costa quella macchina è volutamente assente da questa scheda: ogni cifra è su /gpu, accanto alla macchina esatta a cui appartiene.
Fig. 1
Parametri moltiplicati per i byte per parametro, ed è tutto il calcolo. I pesi a sedici bit occupano due byte ciascuno, a otto bit uno, a quattro bit mezzo. La quantizzazione è ciò che trasforma una macchina che non può contenere un modello in una che può; costa qualità, e quanto dipende dal modello e dal metodo molto più che dal solo numero di bit. Se la precisione è lo scopo dell’esercizio, provate entrambi prima di impegnarvi con l’hardware — la differenza è più economica da scoprire adesso che dopo la consegna.
Queste cifre sono i pesi e nient’altro. Sono il minimo, non il requisito — la Fig. 2 è la parte che coglie di sorpresa.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Fig. 2 · interattiva
Il modo più comune in cui un acquisto di GPU va storto, ogni volta allo stesso modo: il modello è di trentotto gigabyte, la scheda di quaranta, si carica — e regge all’incirca una conversazione breve. I pesi non sono soli lì dentro. Muovi il carico e osserva cosa fa la conversazione.
Un utente, contesto breve: il moltiplicatore stretto (×1,25) copre questo caso.
Fig. 3
Leggi in basso fino al tuo modello, poi in orizzontale fino alla precisione. Ogni cella indica la scheda più piccola della distinta parti che contiene quei pesi con spazio sufficiente per servire, e collega alla macchina in cui va installata. Dove nessuna scheda li regge da sola, la cella lo dice invece di lasciare un vuoto.
| If you want to run | at 16-bit | at 8-bit | at 4-bit |
|---|---|---|---|
| 7-8 billion parameters | TESLA P40 / QUADRO P600024 GB16 GB of weights | TITAN V12 GB HBM28 GB of weights | TESLA P48 GB GDDR55 GB of weights |
| 13-14 billion parameters | RTX A600048 GB GDDR6 ECC28 GB of weights | TESLA P40 / QUADRO P600024 GB14 GB of weights | TITAN V12 GB HBM28 GB of weights |
| 30-34 billion parameters | More than one cardNothing we fit holds it alone68 GB of weights | Instinct MI21064 GB HBM2e34 GB of weights | Tesla V100 32GB32 GB HBM219 GB of weights |
| 70 billion parameters | More than one cardNothing we fit holds it alone140 GB of weights | More than one cardNothing we fit holds it alone70 GB of weights | Instinct MI21064 GB HBM2e38 GB of weights |
Distinta A
Dalla più grande in giù — questa scheda risponde a “qual è la cosa più grande che posso eseguire”, l’inverso di server dedicati GPU, che ordina lo stesso catalogo per la macchina completa più economica perché risponde a “quanto costa”. Una scheda la cui memoria non è pubblicata dal produttore viene esclusa anziché stimata.
Diverse parti compaiono su più di uno chassis, a volte a prezzi diversi, e la generazione del bus della macchina sottostante cambia ciò che una scheda moderna può effettivamente fare — entrambi sono su server dedicati GPU. Cosa è montato in rack e pronto in questo momento è un’altra domanda ancora, a cui rispondono i server istantanei.
Riferimento
Le famiglie a pesi aperti che le persone portano qui, con il numero di parametri pubblicato che indica quale riga della Fig. 1 si applica. I conteggi dei parametri sono quelli degli editori; nient’altro di un modello conta per la questione della compatibilità. Un modello non in questa lista si dimensiona esattamente allo stesso modo — parametri × byte per parametro, più il margine. Nuove famiglie escono ogni mese; l’aritmetica non si muove.
Nota 1 · mistura di esperti
Un modello “30B con 3B attivi” richiede la memoria di un modello da 30B e gira più vicino alla velocità di uno da 3B: ogni esperto deve essere residente, perché token diversi attivano esperti diversi. Dimensiona sempre dal numero totale di parametri.
| Famiglia | Dimensioni | Riga |
|---|---|---|
| Llama 3.1 / 3.3 Meta | 8B · 70B | 7–8B, e 70B per la versione 3.3 |
| Qwen3 Alibaba | 8B · 14B · 32B | Le prime tre righe |
| DeepSeek-R1 distillati | 7B – 70B | Uno per riga — scegli il distillato che la tua scheda contiene |
| Mistral Small 3 Mistral AI | 24B | Tra le righe 2 e 3; dimensionalo dall’aritmetica, non dall’etichetta |
| Gemma 3 Google | 12B · 27B | Riga 2, e appena sotto la riga 3 |
| Phi-4 Microsoft | 14B | Riga 2 |
| gpt-oss OpenAI | 20B · 120B | Pubblicato nativamente a 4 bit: una scheda da 16 GB e una da 80 GB |
Note di installazione
La macchina arriva con un sistema operativo pulito e accesso root. Nessun servizio di inferenza del fornitore davanti al tuo modello, nessun runtime gestito che si aggiorna da solo la settimana prima di una scadenza. vLLM e Ollama rispondono entrambi su un endpoint compatibile con OpenAI — il codice scritto per un provider API punta alla tua macchina cambiando un solo URL di base. Fissa il driver, la versione CUDA o ROCm e il framework alle versioni con cui il tuo codice è stato testato; nulla si muove sotto di te. Se preferisci che il driver sia installato prima della consegna, dillo nell’ordine e indica la versione.
Condizioni del sito
Pesi, prompt, documenti recuperati e ogni token generato restano su hardware a cui solo tu puoi accedere. Amsterdam o Bucarest e i dati restano nell’UE; New York, Miami o San Francisco e restano negli Stati Uniti. Per carichi di lavoro che rispondono a un responsabile della privacy, quella frase è l’intero business case.
Un’API per token fattura ogni token, e un agente o una pipeline batch genera token tutto il giorno. Una macchina dedicata è la stessa cifra ogni mese a qualsiasi volume, con banda senza limiti sotto — pesi in entrata e token in uscita non costano nulla oltre la porta. Quale sia la cifra, è la riga da compilare di /gpu, non di questa scheda.
Il modello che fissi risponde invariato tra sei mesi. Nessun tetto di richieste al minuto, nessuna coda nell’ora di punta di qualcun altro, nessun avviso di dismissione. Lo scambio è onesto: gli aggiornamenti sono tuoi, secondo i tuoi tempi.
Il retrieval richiede un modello di embedding, un archivio vettoriale e dischi veloci; gli agenti richiedono spazio per eseguire strumenti. NVMe per l’archivio, core del processore per la pipeline, la scheda per i token — una sola macchina porta tutto.
Nota 2 · prestazioni
Deliberatamente. Ogni numero del genere dipende dal modello, dalla quantizzazione, dal runtime e dalla sua versione, dalla dimensione del batch, dalla lunghezza del prompt, dalla lunghezza della risposta e dalla concorrenza — cambiane uno qualsiasi e si sposta di un multiplo. Un numero di punta che non riporta tutto questo è un numero scelto per fare bella figura, e verremmo citati su di esso. Cosa lo governa: leggere il prompt è limitato dal calcolo e avviene una volta per richiesta; generare la risposta è limitato dalla larghezza di banda della memoria, perché ogni token richiede la lettura dei pesi; il batching ammortizza quella lettura tra richieste concorrenti, finché la cache chiave-valore non esaurisce lo spazio. Ancora margine di sicurezza.
Dicci il modello, la quantizzazione che intendi usare, la lunghezza del contesto e all’incirca quante richieste concorrenti. Se abbiamo eseguito qualcosa di paragonabile diremo cosa abbiamo visto e su cosa. Se non l’abbiamo fatto, diremo anche questo.
Ogni ora di ogni giorno — telefono, chat e ticket. L’assistenza ha i tempi di risposta per iscritto.
Nota 3 · fine-tuning
Servire richiede i pesi. Addestrare richiede i pesi, i gradienti e lo stato dell’ottimizzatore per ogni parametro aggiornato, tutti residenti contemporaneamente, più le attivazioni conservate per il passaggio all’indietro — un modello che serve comodamente su una scheda può essere diverse volte troppo grande per essere completamente rifinito su di essa. I metodi parameter-efficient aggiornano una piccola frazione dei parametri e richiedono una frazione corrispondentemente piccola della memoria extra, ed è per questo che la maggior parte del fine-tuning qui ne usa uno. Il ciclo di addestramento inoltre trasmette batch in continuo attraverso il collegamento processore-scheda, quindi la generazione PCIe della macchina sottostante è un vincolo reale in quel caso, come non lo è per il servizio — quale piattaforma dà a una scheda quale collegamento è su server dedicati GPU. Dicci il modello, il metodo, la lunghezza della sequenza e la dimensione del dataset e lo dimensioneremo noi invece di fartelo scoprire dopo la consegna; più di una scheda è la scheda di multi-GPU e multi-nodo.
Schede adiacenti
Questa scheda possiede una sola domanda: cosa serve per eseguire un modello. Tutto ciò che è adiacente ha la propria pagina, e queste sono tutte.
Domande frequenti
Tratte da ciò che le persone ci chiedono realmente in chat e nei ticket, più o meno nell'ordine in cui le pongono. Le prime tre sono quelle che determinano se un acquisto funziona.
For the record
Card memory is the manufacturers’ published figure; which cards exist is read from the order catalogue when this page was served. No monthly price appears here on purpose — GPU dedicated servers holds every one, against the exact machine it belongs to.
