Hosting LLM su una GPU dedicata dimensionata per il modello che vuoi eseguire

Hosting di LLM significa eseguire un modello linguistico di grandi dimensioni su un server che controlli tu, invece di chiamare l'API di qualcun altro. Con noi significa noleggiare un intero server fisico con la propria GPU dedicata, accesso root e un sistema operativo nuovo, quindi installare il modello e il runtime che desideri. È di livello produttivo nel senso semplice: la GPU è solo tua e le versioni le scegli tu.

Prendi il numero di parametri e moltiplicalo per i byte per parametro, che sono 2 per 16 bit, 1 per 8 bit e 0,5 per 4 bit. Un modello da 7–8B è circa 16 GB di pesi a 16 bit, 8 GB a 8 bit e 5 GB a 4 bit. Un modello da 70B è circa 140 GB, 70 GB e 38 GB. Questi sono solo i pesi, quindi pianifica dal 25 al 50 percento in più per il runtime, le attivazioni e la cache che conserva la conversazione.

A 4 bit i pesi sono circa 38 GB, quindi con spazio per servire ti serve una GPU con 64 GB o più: una GPU, una macchina. A 8 bit i pesi sono 70 GB, che solo le nostre GPU singole più grandi contengono, e solo per un utente alla volta, quindi pianifica più di una GPU se servi traffico. A 16 bit nessuna GPU singola che montiamo lo contiene e diventa una configurazione multi-GPU che quotiamo. La tabella sopra indica le GPU esatte, e i prezzi sono su Server dedicati GPU.

Perché i pesi non sono soli nella memoria GPU. Anche il runtime e i suoi buffer stanno lì, e ogni token di una conversazione lascia una voce nella cache chiave-valore per non essere ricalcolato. Quella cache cresce con la lunghezza del contesto e di nuovo con ogni richiesta servita contemporaneamente, quindi un modello che entra appena contiene circa una conversazione breve. Dimensiona la GPU da una volta e un quarto a una volta e mezza i pesi.

Qualsiasi. Ottieni root su un sistema operativo pulito, senza alcun servizio di inferenza nostro in mezzo. vLLM è la scelta abituale per servire traffico reale, llama.cpp per memoria limitata o GPU più vecchie, e TGI e SGLang funzionano invariati. Ollama è il modo più rapido per avere un modello che risponde su una porta. vLLM e Ollama offrono entrambi un endpoint compatibile con OpenAI, quindi il codice client esistente ha bisogno solo di un nuovo URL di base.

Dipende da quanto lo usi. Un'API addebita per token e non costa nulla quando è inattiva; il tuo server costa lo stesso ogni mese e niente di più quando è occupato. Traffico costante, agenti che girano tutto il giorno, lavori batch e qualsiasi cosa con regole sulla privacy tendono a risultare convenienti sulla propria macchina, mentre un modello chiamato dieci volte al giorno no. Le cifre mensili per quella somma sono su Server dedicati GPU.

Non pubblichiamo una cifra, perché il modello, la quantizzazione, la versione del runtime, la dimensione del batch, le lunghezze di prompt e risposta e il numero di utenti contemporanei possono ciascuno cambiarla diverse volte. Leggere il prompt è limitato dall'aritmetica e scrivere la risposta dalla larghezza di banda della memoria, e il batching distribuisce il costo tra le richieste finché la cache non si riempie. Dicci il tuo modello, la quantizzazione e gli utenti previsti e condivideremo ciò che abbiamo effettivamente osservato.

No. Ogni server fisico ha un solo cliente, e il tuo sistema operativo vede direttamente l'intera GPU. Nessun livello di macchina virtuale, suddivisione MIG, profilo vGPU o condivisione del tempo si frappone tra te e lei, quindi nessun altro lavoro la condivide e il carico di nessun altro può cambiare la tua latenza.

Allora è una configurazione multi-GPU, che quotiamo invece di vendere da un checkout, perché quante GPU entrano dipende dalla loro larghezza e dal budget energetico del telaio. Due GPU ti danno la somma della loro memoria solo se il runtime divide il modello tra entrambe, cosa che ogni runtime serio può fare con un certo costo in velocità. La nostra pagina multi-GPU mostra come appare, e il DGX Spark offre 128 GB di memoria condivisa in una macchina.

Sì, e pianifica molta più memoria che per servire lo stesso modello. L'addestramento conserva i pesi, i gradienti e lo stato dell'ottimizzatore per ogni parametro che aggiorna, più le attivazioni per il passaggio all'indietro, quindi un modello che serve facilmente su una GPU può essere diverse volte troppo grande per un fine-tuning completo lì. I metodi efficienti nei parametri come LoRA richiedono solo una frazione di quella memoria extra, ed è per questo che la maggior parte del fine-tuning sulle nostre macchine ne usa uno.

Sì. Le GPU AMD Instinct sono tra le GPU con più memoria che montiamo e spesso il miglior valore per gigabyte, ma il tuo software deve supportare ROCm invece di CUDA. La maggior parte dei runtime di inferenza attuali lo fa, e alcuni strumenti attorno a loro ancora no. Dicci il tuo runtime prima di ordinare e lo verificheremo per te.