Digli qual è il lavoro. Ti dice la scheda.

Cosa c'è dietro quell'elenco

• 57Cards we fit
• $20.79Cheapest card, per month
• $91.72Cheapest whole machine with one in it
• 5Cities
• 0Bytes counted

Contato dal catalogo ordini quando questa pagina è stata servita, non digitato. Se una scheda viene ritirata domani, questa striscia sarà più corta domani. Cosa c'è in un rack questa mattina è una domanda diversa, e server istantanei è dove trova risposta.

La prima domanda che tutti fanno

La scheda è mia, o la sto condividendo?

Perché le cifre qui sopra hanno quell'aspetto

La scheda è una riga sulla fattura, non un livello di prodotto.

Ovunque altrove una GPU è un livello: affitti “un'istanza H100” e qualcun altro ha già deciso quanto dovrebbero costarti il processore, la memoria, i dischi e la rete che la circondano. Qui i due sono righe separate che vengono sommate — ed è per questo che una scheda a ciascuna estremità dell'elenco sopra entra nello stesso telaio, e paghi la differenza tra le schede e nient'altro. La parte hardware ha pagine dedicate, per produttore: server dedicati AMD per la linea EPYC, che supporta queste schede, e server dedicati Intel per Xeon.

Il configuratore arrotonda un prezzo per disco e si discosta di un centesimo o due da queste cifre. I cicli di fatturazione più lunghi godono di un ulteriore sconto; prezzi ha tutto in un unico posto, e hardware più vecchio, prezzo più basso è l'argomento per cui il fondo di questo elenco esiste in primo luogo.

Dal marketplace

La GPU di qualcun altro, affittata direttamente.

I proprietari mettono le proprie macchine GPU sul nostro marketplace e le prezzano al mese. Dove una scheda indica che la nostra società consociata, Server Room, detiene l'annuncio, la affitti su serverroom.net.

Tutti gli annunci sul marketplace →

Quanta memoria sulla scheda

L’unica specifica che decide se funziona.

Cosa c’è sotto la scheda

Quattro chassis ne ospitano una, e non sono intercambiabili.

Ciascuno copre una parte diversa del catalogo e dà alla scheda un collegamento diverso con il processore. Quell’ultima colonna è qui perché costa denaro alle persone e nessuno la pubblica: un cliente è passato da una generazione di scheda consumer alla successiva su un bus di terza generazione ed è diventato più lento, e ha capito il perché prima di noi. Quindi è sulla pagina.

Cosa è incluso

Tutto ciò che rende la scheda utilizzabile, e niente che dobbiate comprare.

• Root, e lo stack dei driver è vostro

  Installiamo un sistema operativo pulito e vi consegniamo le chiavi. Scegliete voi la versione del driver, la release CUDA o ROCm e la build del framework, e le bloccate — che è il senso del bare metal e l’opposto di un runtime gestito che si aggiorna sotto di voi la settimana prima di una scadenza. Se preferite che installiamo noi il driver prima della consegna, ditelo nell’ordine e lo faremo.

• La console della macchina, su una rete separata

  HPE iLO o Dell iDRAC: console tastiera-e-schermo, media virtuali, controllo dell’alimentazione, stato dell’hardware e registro hardware. Un driver grafico che si porta via il display o la rete è un inconveniente piuttosto che un ticket di supporto, perché potete ancora guardare la macchina avviarsi.

• Una porta senza limiti, in entrambe le direzioni

  Non c’è alcuna soglia di trasferimento da superare e nessuna riga di egress su alcuna fattura. Dataset in ingresso, checkpoint in uscita, render in uscita, un modello servito a utenti reali — tutto si muove al prezzo della porta e non un byte in più. La banda senza limiti è il gradino sopra la velocità inclusa, ed è la singola differenza più grande tra questo e una bolletta di un hyperscaler.

• Reinstallatela tutte le volte che volete

  Immagini del sistema operativo in un clic, reinstallabili senza ticket e senza costi, così un esperimento con i driver che finisce male vi costa venti minuti. Il DNS inverso è vostro da modificare, IPv6 è incluso, e più IPv4 è una voce di catalogo piuttosto che una trattativa.

• Persone, a qualsiasi ora

  Telefono, chat dal vivo e ticket, inclusi su ogni piano, e un componente guasto sostituito entro quattro ore dalla segnalazione telefonica o via chat. L’assistenza ha i tempi di risposta e il programma di crediti per iscritto.

• Cinque sale in cui metterla

  New York, Miami, San Francisco, Amsterdam e Bucarest — e dove si trova la macchina decide la vostra latenza verso chi la chiama e sotto quale regime di protezione dei dati ricade. I data center descrivono gli edifici.

Quanto presto esiste

Tra mezz’ora e tre settimane, e quale delle due dipende da dove si trova la scheda.

Non un numero unico, perché non è mai stato un numero unico. Una scheda già montata su una macchina già in rack è una consegna. Una scheda che deve essere acquistata è un ordine di acquisto. Dirvi quale delle due state chiedendo — prima di pagare piuttosto che dopo — è l’unica versione di tutto questo che valga qualcosa.

1. ~30 minuti

   La scheda è già in una macchina sullo scaffale

   Non viene montato nulla e non viene spostato nulla. La macchina viene preparata con l’immagine e consegnata. I server istantanei sono l’elenco di ciò che è lì in questo momento.

2. 4–24 ore

   Una scheda che teniamo in magazzino viene montata, o una macchina in rack viene riconfigurata

   Il caso ordinario per tutto ciò che è su questa pagina. Il componente è nel nostro magazzino; un tecnico lo monta, costruisce l’array e installa il sistema operativo. Una macchina sullo scaffale che è vicina ma non esatta — memoria aggiunta, un disco sostituito, l’array ricostruito intorno alla vostra scelta — è lo stesso lavoro, fatto sul posto senza che la macchina lasci il rack.

3. 5–10 giorni lavorativi

   La scheda deve essere acquistata

   Qualcosa nell’elenco non è stock che teniamo. La ordiniamo, poi costruiamo. Costruzione su ordine è la pagina per un’intera specifica di questo tipo.

4. 10–15 giorni lavorativi

   La scheda è scarsa

   Gli acceleratori di generazione attuale funzionano su allocazione e la data è del distributore, non nostra. Vi diremo qual è il collo di bottiglia prima che vi impegniate, non dopo. Quando l’hardware viene acquistato per un singolo cliente chiediamo tre mesi in anticipo, perché è una macchina che non possiamo riaffittare se l’account chiude nella seconda settimana.

Ogni gradino parte quando l’ordine supera il pagamento e la revisione antifrode, che è l’unico passaggio su cui non faremo promesse: la maggior parte si sblocca nel giro di un paio d’ore, un primo ordine da un account nuovo può richiedere di più. Carta, PayPal, ACH e bonifico sono tutti accettati, e lo è anche la criptovaluta — che per gli ordini più grandi è di solito la più rapida a sbloccarsi.

Domande già poste

Le tredici domande a cui questa pagina esiste per rispondere.

Tratte da ciò che le persone ci chiedono realmente in chat e nei ticket, più o meno nell'ordine in cui lo chiedono. La prima ci è costata degli ordini, quindi è la prima anche qui.

La GPU è dedicata o condivisa?

Dedicata. Una macchina fisica, un account, e la scheda passata direttamente al tuo sistema operativo. Nessun hypervisor, nessuna partizione MIG, nessun profilo vGPU, nessuno scheduler a divisione di tempo, e nessun carico di lavoro altrui sulla scheda. Ciò che misuri il primo pomeriggio è ciò che mantieni.

Posso avere più di una scheda in una macchina?

Sì, ed è una configurazione che quotiamo piuttosto che una casella da spuntare. Il numero che ci sta dipende dallo chassis, dalla larghezza fisica della scheda e dal budget energetico, quindi la risposta onesta richiede la scheda specifica. Chiedi, e la risposta indica lo chassis, il numero e i tempi di consegna. Diversi clienti ne usano due, e il motivo più comune è la memoria piuttosto che la velocità — due schede da 48 GB ospitano un modello che una da 80 GB non contiene. Più di una scheda o macchina è la pagina per l'intera questione, incluso cosa cambia quando la seconda scheda diventa una seconda macchina.

Quale versione di driver e CUDA ricevo?

Quella che installi tu. È questo il punto del bare metal: la macchina arriva con un sistema operativo pulito e accesso root, e blocchi il driver, la release CUDA o ROCm e la build del framework su qualsiasi cosa il tuo codice sia stato testato — e nulla si aggiorna sotto di te. Se preferisci che il driver sia installato prima della consegna, dillo nell'ordine e indica la versione. Se hai bisogno di una release CUDA specifica supportata da una scheda specifica, chiedi prima di pagare e la verificheremo invece di tirare a indovinare.

E se la scheda che voglio non è disponibile oggi?

Allora viene montata o ordinata, e ti viene detto quale delle due prima di pagare. Una scheda che teniamo in magazzino viene installata entro quattro-ventiquattro ore. Una scheda che dobbiamo acquistare richiede cinque-dieci giorni lavorativi, e un acceleratore di generazione attuale su allocazione può richiedere dieci-quindici. Questa pagina mostra deliberatamente nessun conteggio di stock, perché una scheda è un componente che montiamo piuttosto che un prodotto che va e viene — ma se vuoi una macchina oggi, instant servers è l'elenco di ciò che è realmente in un rack in questo momento.

Posso aggiungere o cambiare la scheda in seguito?

Sì, sulla macchina che già possiedi — nessuna migrazione, nessuna reinstallazione, nessun nuovo indirizzo. È una visita programmata al rack e una breve interruzione mentre la macchina è spenta, e la cifra mensile cambia della differenza tra le due schede. Memoria, dischi e velocità della porta si aggiornano allo stesso modo.

Cosa succede quando una scheda si guasta?

Viene sostituita, e il contratto stabilisce un tempo: quattro ore dal momento in cui lo segnali per telefono o chat dal vivo. Oltre quel termine ti è dovuto un credito di servizio secondo un programma pubblicato, non su richiesta. L'assistenza ha il programma e il numero di telefono per iscritto.

Posso portare la mia scheda?

Sì. Una scheda che già possiedi, o qualsiasi altro componente, può essere inserita nel server che noleggi da noi. Non è gratuito: la scheda assorbe energia, quindi c'è un costo, e dipende dall'hardware piuttosto che essere un prezzo fisso. Se un componente che hai portato si guasta, non ne siamo responsabili: la sostituzione in quattro ore di cui sopra copre solo l'hardware che forniamo noi. Parliamone prima che tu lo acquisti o lo spedisca. Prenota una chiamata e valuteremo la tua scheda e verificheremo che la macchina la accetti, poiché non tutte lo fanno; un blade, per esempio, non ha spazio per una GPU full-size.

La larghezza di banda è misurata? Quanto costa l'egress?

Nulla è misurato e l'egress non costa nulla, a ogni velocità di porta che vendiamo. Non c'è alcuna soglia di trasferimento da superare e nessuna riga di sovrapprezzo su alcuna fattura. Per il lavoro con GPU questo è di solito il costo nascosto più grande altrove: un ciclo di addestramento che scarica un dataset e carica checkpoint, o un endpoint di inferenza che risponde a traffico reale, sposta molti byte, e l'egress per gigabyte su un hyperscaler viene addebitato su ognuno di essi. La larghezza di banda senza limiti è la scala sopra la velocità di porta inclusa.

Come si confronta con il noleggio di una GPU a ore?

È l'aritmetica a deciderlo. Una scheda a ore è più economica se il lavoro è intermittente e si ferma davvero — poche centinaia di ore al mese o meno. Oltre circa due terzi del mese non c'è paragone, e questo prima dell'egress, prima dello storage che deve persistere tra un'esecuzione e l'altra, e prima del tempo che il tuo lavoro trascorre in coda per la capacità. Mensile qui significa anche la stessa macchina, gli stessi dischi e lo stesso indirizzo il mese prossimo, il che conta più di quanto ci si aspetti una volta che qualcosa è in produzione.

Posso minare, o eseguire nodi blockchain e di calcolo decentralizzato?

Sì. Entrambi sono carichi di lavoro ordinari qui e lo sono sempre stati, e diverse schede su questa pagina sono state acquistate proprio per questo. Ai prezzi attuali delle monete il mining raramente copre il noleggio di un server GPU, quindi fai i conti prima di ordinare.

Come pago, e c'è un contratto?

Carta, PayPal, ACH, bonifico bancario o criptovaluta. Nessun contratto: un mese è il termine predefinito e unico, i cicli di tre, sei e dodici mesi hanno uno sconto, e il prezzo non aumenta al rinnovo. Crypto payments copre le monete accettate; per un primo ordine più grande un bonifico o una stablecoin di solito si liquidano più velocemente di una carta, il che è utile sapere prima che un controllo antifrode ritardi una configurazione.

Posso ottenere un rimborso se non è ciò di cui avevo bisogno?

Entro tre giorni di calendario dalla prima attivazione, una volta esaurita la risoluzione dei problemi — la politica di rimborso è la formulazione esatta. Che è precisamente il motivo per cui esistono le sezioni sul dimensionamento e sulla generazione del bus qui sopra: è più economico per entrambi se acquisti la scheda giusta la prima volta, e preferiamo convincerti a prenderne una più piccola piuttosto che venderti un reso.

Avete la scheda più recente?

A volte, ed è la domanda sbagliata. Il componente più recente è un componente scarso su allocazione, su una piattaforma che non gli darà la generazione di bus per cui è stato progettato, a un prezzo che presuppone che tu abbia bisogno di ogni suo bit. La maggior parte del lavoro con GPU qui non è addestrare un modello di frontiera — è servirne uno che già ci sta, codificare video, renderizzare fotogrammi o pilotare desktop, e per tutti questi la scheda giusta è di solito due generazioni indietro e un quarto del costo. Dicci il lavoro. Se la risposta è davvero il componente più recente lo diremo, e diremo anche quanto costerà e quando potrà esistere.

Dove andare dopo

Le pagine ai lati di questa.

Questa pagina possiede una sola domanda: quali schede montiamo e quanto costano. Tutto ciò che è adiacente a quella domanda ha la propria pagina, e queste sono tutte, nell'ordine in cui i visitatori di questa pagina cliccano realmente.

• Configurane una esattamente/orderScegli la scheda, il processore, la memoria, i dischi e la città, e guarda la cifra muoversi.
• Più di una scheda o macchina/hpcCosa cambia una seconda scheda nello chassis, cosa unisce due macchine, e quanto costa un'interconnessione per nodo.
• Eseguire un modello linguistico/llmQuanta memoria della scheda richiede realmente un modello di una data dimensione, e quale runtime installarvi.
• Server dedicati CMP sbloccati/cmpLa CMP 170HX con il driver che attiva tutti i 64 GB, installato per te. Cosa esegue ora che non è più solo una scheda da mining.
• Noleggiare un NVIDIA DGX Spark/sparkUn'intera macchina GB10 con memoria condivisa piuttosto che una scheda aggiuntiva. Il suo prezzo non è in questo catalogo.
• Data center/datacentersI cinque edifici, e a quale i tuoi utenti sono più vicini.
• Prezzi/pricingQuanto costa tutto, in un unico posto, schede incluse.
• Larghezza di banda senza limiti/unmeteredQuanto costa una porta non condivisa a ogni velocità sopra quella inclusa.
• Server istantanei/instantCosa è in rack in questo minuto e può essere in esecuzione in circa mezz'ora.
• Costruzione su ordinazione/customUn'intera macchina secondo le tue specifiche, prezzata e datata prima che ti impegni.
• Hardware più vecchio, prezzo più basso/valuePerché metà di ciò che è su questi scaffali non è più venduto altrove.
• Assistenza/supportTempi di risposta, la sostituzione in quattro ore, e il credito quando non viene rispettata.
• Trasferire un server qui/migrateL'unica pagina che risponde a come un server attivo arriva qui.
• Come ci confrontiamo/compareFianco a fianco con Contabo, Hetzner, Leaseweb, OVH e Vultr.
• Marketplace/marketplaceIl commercio opposto: noleggiare una scheda che già possiedi.

Ancora incerto su quale scheda? Descrivi il carico di lavoro in chat e qualcuno che ha già dimensionato una di queste risponderà — anche quando la risposta è una scheda più economica di quella per cui eri venuto.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit

57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.

What a card costs

From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.

What a whole machine with a card in it costs

From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.

The machine on its own

$70.93 to $217.59 a month before any card.

Cheapest machine that can train something

Instinct MI50 16GB at $169.93 a month, complete.

Dearest

H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.

Tenancy

One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.

Bandwidth

Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.

Where

5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.

Term

One month, no contract. Three, six and twelve-month cycles take up to 15% off.

Multiple cards

Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.

Payment

Card, PayPal, ACH, wire and cryptocurrency.