La GPU completa, non una frazione
Ogni GPU è collegata direttamente al tuo sistema operativo. Nessun hypervisor, nessuna partizione MIG, nessun profilo vGPU e nessun time-slicing, così i tuoi driver e framework vedono l'hardware per quello che è.
Server IA dedicati · addestramento, inferenza, rendering
Hosting di server IA dedicati da una GPU a un intero cluster
Un server IA dedicato è un'intera macchina fisica con le sue GPU collegate direttamente al tuo sistema operativo, così il modello che addestri o servi non condivide l'hardware con nessuno. Quando una macchina non basta, puoi aggiungervi GPU o affiancarle altre macchine. Questa pagina mostra quanto costa ogni percorso, quanto velocemente le macchine possono comunicare tra loro e quale delle nostre città 5 ospita quale piattaforma.
Mensile, senza contratto. La porta di ogni macchina è solo tua sullo switch e nulla misura il traffico che la attraversa.
Piattaforme GPU4
Porta più veloce100 Gbps
Memoria per macchina1 TB
Sconto per periodi più lunghi15%
01Cosa include ogni macchina
Cosa ottieni con un server IA dedicato qui
Le stesse quattro cose su ogni nodo, da una macchina per un lavoro di fine-tuning a diverse per un addestramento.
Una porta che è tua
La porta di rete non è condivisa sullo switch di accesso e nulla la misura, in nessuna direzione. Copiare un dataset o un checkpoint tra i tuoi nodi non aggiunge nulla alla fattura.
Mese per mese
Ogni macchina ha un proprio periodo di un mese senza contratto. Pagando per tre, sei o dodici mesi ottieni fino al 15% di sconto.
Risposte in pochi secondi
La nostra chat IA risponde in pochi secondi e può guardare il tuo account e i tuoi server mentre ti aiuta. Chiedi di una persona quando vuoi.
02Scalare oltre una GPU
Più GPU in un server, o più server?
Sembra la stessa decisione, ma i costi sono diversi, arrivano in date diverse e si esauriscono per motivi diversi. Capisci quale ti serve prima di confrontare qualsiasi altra cosa.
AFai crescere la macchina
Aggiungi GPU al server che hai
Scegli questa strada quando ti manca memoria GPU o velocità GPU e il resto della macchina va bene. Più GPU in un unico chassis è una configurazione che quotiamo, non una casella da spuntare al checkout: quante ne entrano dipende da quanto è larga la GPU che scegli e da quanta potenza lo chassis può fornirle.
- Cosa lo decide
- La GPU che scegli. Indicala in chat e la risposta ti dirà lo chassis, quante ne entrano e la data.
- Vale la pena sapere
- Due GPU non sono una GPU più grande. La loro memoria si somma solo quando il tuo software divide il modello tra entrambe (parallelismo tensoriale o a pipeline, supportato dai comuni strumenti di addestramento e inferenza), e parte della velocità va nel traffico tra loro. Se il tuo lavoro è fatto di molti job separati, due GPU semplicemente ne completano il doppio.
BFai crescere il cluster
Aggiungi macchine accanto alla prima
Scegli questa strada quando la macchina stessa è piena: processori esauriti, memoria esaurita o spazio finito per il prossimo job. La piattaforma più grande qui si ferma a 2 socket per processori e 1 TB di memoria, e oltre quello la risposta è un altro server.
- Cosa lo decide
- La città e la porta. Le macchine che lavorano insieme appartengono allo stesso edificio, e il collegamento tra loro è la porta di rete su ciascuna, pagata per macchina.
- Vale la pena sapere
- Non esiste un prodotto cluster e non c'è un numero minimo di nodi. Ogni server viene ordinato, fatturato, aggiornato e sostituito per conto proprio, quindi puoi iniziare con due e aggiungerne un terzo il mese prossimo.
03Le piattaforme
Scegli il tuo server per machine learning in base a cosa ti limita
Ogni piattaforma su cui montiamo una GPU, confrontata su ciò che conta quando vai oltre una macchina. Leggi insieme le due colonne centrali: la piattaforma con il percorso più ampio verso la GPU ha la porta più lenta, e la porta più veloce si trova su un bus più vecchio.
| Piattaforma | Linee verso la GPU | Porta massima | Socket | Memoria, fino a | Città |
|---|---|---|---|---|---|
| Intel Xeon Silver / Gold | 48 lanes per socketPCIe 3.0 | 100 Gbps1 Gbps incl. | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v3/v4 | 40 lanes per socketPCIe 3.0 | 40 Gbps1 Gbps incl. | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v1/v2 | 40 lanes per socketPCIe 3.0 | 20 Gbps1 Gbps incl. | 2 | 256 GB | 3 |
| AMD EPYC | 128 lanes per socketPCIe 4.0 | 20 Gbps1 Gbps incl. | 2 | 1 TB | 2 |
- Linee verso la GPUQuanto velocemente i dati si muovono tra il processore e la GPU. Conta quando trasmetti batch di addestramento in streaming o un render invia dati di scena a ogni frame, e quasi per niente una volta che un modello è caricato e resta nella memoria della GPU.
- Porta massimaQuanto velocemente una macchina parla con la successiva. Un singolo server che fa il proprio lavoro non se ne accorge mai. Per un job diviso su più macchine, è l'intera questione.
- QuindiUn job che sta in una macchina e si appoggia al bus vuole le linee più ampie. Un job distribuito su più macchine vuole la porta e può convivere con un bus più vecchio. Entrambi insieme è l'unica combinazione che non abbiamo, ed è giusto che tu lo sappia prima di pagare.
Quale GPU va in ciascuna di queste piattaforme, e quanto aggiunge al mese, è su Server dedicati GPU, ogni prezzo mostrato accanto alla macchina a cui appartiene. Questa pagina non prezza nessuna GPU, così un dato non finisce mai accanto al server sbagliato.
04Il collegamento tra le macchine
Un cluster GPU multi-nodo paga la porta su ogni nodo
Il collegamento di rete fa parte di ogni server, quindi quattro macchine a 10 Gbps significano quattro porte da 10 Gbps ogni mese. È la voce che sorprende chi ha sempre e solo valutato un singolo server, perciò la tabella qui sotto fa la moltiplicazione al posto tuo.
| Porta | Un server | Due | Quattro | Piattaforme |
|---|---|---|---|---|
| 1 Gbps | incl. | incl. | incl. | 4 / 4 |
| 2 Gbps | $189 | $378 | $756 | 4 / 4 |
| 3 Gbps | $299 | $598 | $1,196 | 4 / 4 |
| 5 Gbps | $459 | $918 | $1,836 | 4 / 4 |
| 10 Gbps | $529 | $1,058 | $2,116 | 4 / 4 |
| 20 Gbps | $1,629 | $3,258 | $6,516 | 4 / 4 |
| 40 Gbps | $2,799 | $5,598 | $11,196 | 2 / 4 |
| 100 Gbps | $3,999 | $7,998 | $15,996 | 1 / 4 |
Un cluster più ampio può costare meno di uno più veloce. In alcuni punti di quella tabella, due macchine di un gradino inferiore costano meno di una macchina di un gradino superiore, e ti ritrovi con un server in più. Conviene solo se il tuo lavoro si divide tra più macchine.
Cosa non vendiamo tra le macchine. Il nostro catalogo elenca porte Ethernet e nient'altro: nessuna fabric InfiniBand e nessun bridge NVLink. Se la tua configurazione richiede l'uno o l'altro, chiedi prima di ordinare. La risposta è un preventivo, e potrebbe essere no. Il più piccolo setup multi-nodo che noleggiamo è il NVIDIA DGX Spark, dove fino a quattro unità si collegano tra loro tramite ConnectX-7.
La porta su una singola macchina, da sola, è trattata nella pagina larghezza di banda senza limiti.
05Dove può risiedere
Per un cluster GPU, scegli prima la città
Le macchine che lavorano insieme appartengono a un unico edificio, e i nostri data center non ospitano tutti le stesse piattaforme. Se scegli prima la piattaforma, potresti scoprire che la città che ti serve non la offre. New York and Bucharest le ospitano tutte.
- New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
- Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
- Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
- San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
- Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Ogni edificio e ciò a cui è collegato è descritto nella pagina data center. Se la tua configurazione deve estendersi su due città, chiedi al supporto di misurare la latenza tra di esse prima di ordinare.
06Tempi di consegna
In quanto tempo i tuoi server AI sono operativi
Una configurazione come questa spesso comprende più macchine e componenti che non sono a magazzino, quindi ricevi una data prima di pagare, calcolata con gli stessi passaggi delle nostre configurazioni server personalizzate.
- ~30 min
Già montato così com'è
Non viene installato né spostato nulla. La pagina Server istantanei elenca le macchine pronte all'uso: vale la pena darle un'occhiata se i tuoi nodi sono ordinari.
- 4–24 ore
Componenti che teniamo a magazzino
Il caso più comune. I tecnici installano le GPU, preparano i dischi e installano il sistema operativo su ogni macchina, in parallelo anziché una dopo l'altra.
- 5–10 giorni lavorativi
Componenti che acquistiamo
Qualcosa nelle specifiche non è un componente che teniamo a portata di mano, quindi lo ordiniamo e poi assembliamo. Con più GPU in una macchina, di solito è lo chassis a richiedere più tempo.
- 10–15 giorni lavorativi
Un componente raro
Gli acceleratori di ultima generazione vengono spediti su assegnazione, e la data è quella del distributore. Quando acquistiamo hardware per un singolo cliente, chiediamo tre mesi di anticipo.
Ogni passaggio inizia una volta che l'ordine supera il pagamento e la verifica antifrode. La maggior parte viene approvata entro un paio d'ore; un primo ordine consistente da un nuovo account può richiedere più tempo, e un pagamento tramite bonifico o stablecoin spesso viene approvato più rapidamente di un pagamento con carta.
Marketplace
Macchine multi-GPU inserite dai loro proprietari
I proprietari inseriscono macchine con più GPU, e coppie collegate, sul nostro marketplace a un prezzo mensile da loro stabilito. Gli annunci gestiti dalla nostra società consociata, Server Room, vengono noleggiati su serverroom.net.
Possiedi un server GPU che resta inattivo?
Inseriscilo sul marketplace Primcast e noleggialo a team di IA su base mensile, al prezzo che scegli tu.
07Domande
Domande sui server AI dedicati
01Che cos'è un server AI dedicato?
È un server fisico affittato solo a te e dotato di una o più GPU per l'addestramento, il fine-tuning o la pubblicazione di modelli. Qui le GPU passano direttamente al tuo sistema operativo, senza hypervisor e senza nessun altro sulla macchina, e paghi mensilmente senza contratto.
02Posso affittare un server GPU bare metal per il deep learning?
Sì. Ogni server GPU che affittiamo è bare metal: hai accesso root sull'intera macchina e installi il driver, la versione CUDA e il framework che il tuo codice richiede. Le GPU e i loro prezzi mensili sono su Server GPU dedicati, ciascuna indicata accanto alla macchina in cui può essere montata.
03Un server può contenere più di una GPU?
Sì, come configurazione su preventivo piuttosto che come opzione al checkout. Quante ne possono essere installate dipende dalla larghezza della GPU e dalla potenza che il telaio può erogare, quindi dicci in chat quale GPU desideri e la risposta indicherà il telaio, il numero e la data.
04Come posso costruire un cluster GPU con voi?
Ordina le macchine nella stessa città, su una piattaforma che raggiunga la velocità di porta necessaria, e scegli quella velocità su ciascuna. Restano server separati con fatture separate, così puoi iniziare con due e aggiungerne altri in seguito. Comunicaci prima il numero di nodi e il carico di lavoro e controlleremo la città e la piattaforma prima che tu paghi.
05Offrite InfiniBand o NVLink tra i server?
Non come opzione in listino. Le macchine si collegano tramite porte Ethernet fino a 100 Gbps. Se la tua configurazione richiede InfiniBand o un bridge NVLink, chiedi prima di ordinare: sarebbe un preventivo, e la risposta potrebbe essere no.
06Un server dedicato è migliore delle GPU cloud per il machine learning?
Dipende da quanto costantemente lo utilizzi. Un server AI dedicato costa lo stesso ogni mese sia che giri a pieno regime sia che resti inattivo, quindi è adatto a lunghi cicli di addestramento e a modelli pubblicati 24 ore su 24. Il traffico non è misurato qui, quindi spostare dataset tra i nodi o inviare risultati agli utenti non comporta costi aggiuntivi. Per un lavoro che richiede poche ore al mese, affittare a ore può costare meno.
07Che cos'è un server HPC e li affittate?
HPC significa calcolo ad alte prestazioni: simulazioni, rendering, codice scientifico e addestramento di modelli distribuiti su molti processori o GPU. Affittiamo i componenti, ovvero macchine con fino a 2 socket e 1 TB di memoria, GPU al loro interno e porte tra di esse. Configuri tu stesso lo scheduler, Slurm o Kubernetes o qualunque cosa il tuo team già utilizzi.
08Quanto costa un server AI dedicato?
La macchina e la sua GPU hanno un prezzo combinato su Server GPU dedicati. Una porta più veloce di quella inclusa è indicata nella tabella di questa pagina, per macchina e per mese. Pagando per tre, sei o dodici mesi si ottiene uno sconto fino al 15%, e una configurazione personalizzata comporta un costo di setup una tantum che il configuratore mostra prima del pagamento.
09Quanto tempo ci vuole per averne uno?
Circa da quattro a ventiquattro ore quando abbiamo i componenti in magazzino, da cinque a dieci giorni lavorativi quando devono essere acquistati, e da dieci a quindici giorni lavorativi per un componente difficile da reperire. Una macchina già montata come la desideri può essere operativa in circa 30 minuti.
10Affittate server CMP 170HX per l'AI?
Sì. Hanno una loro pagina, Server CMP 170HX, con le configurazioni e i loro prezzi mensili.
11Dove si trovano i vostri server GPU?
A New York, Miami, San Francisco, Amsterdam e Bucarest. Non tutte le piattaforme sono disponibili in ogni città; New York and Bucharest le ospitano tutte, il che le rende i luoghi più semplici per far crescere un cluster.
12Che aiuto ricevo se qualcosa si rompe?
La nostra chat AI risponde in pochi secondi e può controllare il tuo account e i tuoi server mentre ti assiste, e una persona subentra ogni volta che lo chiedi. I tempi di risposta e la sostituzione dell'hardware sono indicati su supporto.
08Pagine correlate
Dove andare dopo
- Server GPU dedicatiOgni GPU che installiamo e quanto costa sulla sua macchina.
- Hosting LLMCosa serve a un modello di una data dimensione per funzionare bene.
- Hosting DGX SparkPiccole unità che si collegano tra loro, fino a quattro alla volta.
- Configurazioni server personalizzateUna specifica completa con prezzo e data prima dell'impegno.
- Larghezza di banda illimitataVelocità di porta su una macchina e quanto costa ciascuna.
- Data centerI cinque edifici e cosa contiene ciascuno.
Pianificalo con noi
Dicci cosa deve fare il tuo modello
Il numero di nodi, se il lavoro è suddivisibile e con cosa deve comunicare. La nostra chat AI risponde in pochi secondi, una persona si unisce quando lo chiedi, e se una sola macchina fosse sufficiente, te lo diremo.