Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
Schede grafiche su bare metal · Primcast LLC · dal 2004
La difficoltà maggiore nell'acquistare un server GPU non è l'acquisto in sé. È sapere quale scheda sia sufficiente — e ogni catalogo di questo settore è organizzato in base a quanto sia impressionante il componente, piuttosto che in base a ciò che stai cercando di eseguire. Questo è organizzato al contrario. Di' qual è il lavoro e quanta memoria della scheda richiede, e ciò che resta è la risposta, con il prezzo completo.
Trova la scheda La scheda è mia?
Un solo locatario per macchina. La scheda viene passata direttamente al tuo sistema operativo — non suddivisa, non condivisa a tempo, non virtualizzata.
Il banco di prova
Non viene riservato nulla, non viene creato alcun account, e la cifra accanto a ciascuna scheda è l'intero server con quella scheda dentro — processore, memoria, dischi in mirroring, porta senza limiti, un indirizzo — non la scheda da sola. La quota della scheda stessa è stampata sotto di essa, così puoi vedere quale metà del denaro è quale.
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
Stime provenienti dallo stesso catalogo su cui si basa la fatturazione al checkout, non preventivi. Dove manca un dato sulla memoria non siamo riusciti a trovarne uno pubblicato dal produttore, quindi la scheda lo dichiara anziché tirare a indovinare — e quelle schede scompaiono non appena sposti il controllo della memoria, perché filtrare su un numero che non abbiamo nasconderebbe silenziosamente componenti che potrebbero fare al caso tuo. Chiedi e lo leggeremo direttamente dalla scheda. Diversi componenti si adattano a più di un telaio a più di un prezzo; la cifra qui è il modo più economico per avere quella scheda, e il configuratore mostra il resto.
Cosa c'è dietro quell'elenco
Contato dal catalogo degli ordini quando questa pagina è stata servita, non digitato. Se una scheda viene ritirata domani, questa striscia sarà più corta domani. Ciò che è in un rack questa mattina è una domanda diversa, e server istantanei è dove trova risposta.
La prima domanda che tutti fanno
Tua. L'intera scheda, l'intera macchina, nessun altro sopra.
La scheda si trova in uno slot PCIe su un server fisico affittato a un solo account, e viene consegnata direttamente al tuo sistema operativo: il tuo driver, il tuo CUDA o ROCm, i tuoi processi. Non c'è alcun hypervisor tra te e lei, nessuna partizione MIG, nessuno scheduler a suddivisione temporale che decida quando tocca a te, e nessun secondo locatario il cui job batch faccia variare la latenza della tua inferenza alle quattro del pomeriggio.
Il resto della macchina è tuo alle stesse condizioni — ogni core, tutta la memoria, tutti i dischi, root, e l'iLO HPE o l'iDRAC Dell del server per console, supporti virtuali e alimentazione. Se un driver manda giù la rete, puoi ancora vedere lo schermo.
Perché le cifre sopra hanno quell'aspetto
Ovunque altrove una GPU è un livello: noleggi “un'istanza H100” e qualcun altro ha già deciso quanto dovrebbero costarti il processore, la memoria, i dischi e la rete che la circondano. Qui i due sono righe separate che vengono sommate — ed è per questo che una scheda a ciascuna estremità dell'elenco sopra entra nello stesso telaio, e tu paghi la differenza tra le schede e nient'altro.
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
Il configuratore arrotonda un prezzo per disco e si discosta di uno o due centesimi da queste cifre. I cicli di fatturazione più lunghi beneficiano di un ulteriore sconto; prezzi ha tutto in un unico posto, e hardware più vecchio, prezzo più basso è l'argomento per cui il fondo di questo elenco esiste.
Quanta memoria sulla scheda
La frequenza di clock e il numero di core determinano la velocità di un modello. La memoria della scheda, invece, decide se il sistema si avvia o meno: i dati sono sufficienti o non lo sono, e una scheda con due gigabyte in meno non è più lenta, ma causa un crash. Quindi, questo è il dato fondamentale da considerare prima di ogni altro, ed è quello che quasi nessuno pubblica insieme al prezzo.
L'aritmetica consiste nel moltiplicare i parametri per il numero di byte di ciascun parametro. I pesi a sedici bit occupano due byte ciascuno, quelli a otto bit uno, quelli a quattro bit mezzo byte. La quantizzazione a quattro bit è ciò che trasforma una macchina incapace di memorizzare un modello in una in grado di farlo, seppur a scapito della qualità.
Lascia un margine di sicurezza. I valori riportati di seguito si riferiscono esclusivamente ai pesi. Il runtime, le attivazioni e la cache chiave-valore per un contesto lungo risiedono tutti nella stessa memoria e la cache aumenta con ogni token nella conversazione. Un modello con pesi di 38 GB non funziona comodamente su una scheda da 40 GB. Prevedi un margine di sicurezza di un quarto o metà, oppure contattaci e calcoleremo le dimensioni in base alle tue esigenze.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Cosa c'è sotto la carta?
Ciascuna prende una parte diversa del catalogo e assegna alla carta un collegamento diverso con il processore. Quell'ultima colonna è qui perché costa denaro alle persone e nessuno la stampa: un cliente è passato da una generazione di carte di consumo all'altra su un bus di terza generazione e la visualizzazione è risultata più lenta , e ha capito il perché prima di noi. Quindi è sulla pagina.
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Una scheda progettata per un bus più recente funziona perfettamente su uno più vecchio; semplicemente non è in grado di trasferire dati sul collegamento alla stessa velocità. Se questo sia un problema o meno dipende interamente dal tipo di lavoro.
Cosa include
Installiamo un sistema operativo pulito e vi consegniamo le chiavi. Voi scegliete la versione del driver, la release di CUDA o ROCm e la build del framework, e le configurate: questo è il punto fondamentale dell'installazione bare metal e l'opposto di un runtime gestito che si aggiorna automaticamente la settimana prima di una scadenza. Se preferite che installiamo il driver prima della consegna, specificatelo nell'ordine e lo faremo.
HPE iLO o Dell iDRAC: console con tastiera e schermo, supporti virtuali, controllo dell'alimentazione, stato dell'hardware e registro hardware. Un driver grafico che compromette il display o la rete è più un inconveniente che un problema che richiede assistenza, perché è comunque possibile monitorare l'avvio della macchina.
Non ci sono limiti di trasferimento da superare e nessuna voce in uscita su alcuna fattura. Set di dati in entrata, checkpoint in uscita, rendering in uscita, un modello fornito a utenti reali: tutto si muove al prezzo della porta e non un byte di più. La larghezza di banda illimitata è il livello superiore rispetto alla velocità inclusa ed è la differenza principale rispetto a una fattura di un hyperscaler.
Immagini del sistema operativo installabili con un clic, reinstallabili senza bisogno di assistenza e senza costi aggiuntivi: un esperimento con i driver che si conclude male vi costa solo venti minuti. Potete modificare il DNS inverso, il supporto per IPv6 è incluso e il supporto per IPv4 è disponibile di serie, non oggetto di negoziazione.
Assistenza telefonica, chat in tempo reale e ticket inclusi in ogni piano, con sostituzione di un componente guasto entro quattro ore dalla segnalazione tramite telefono o chat. Il supporto dispone di tempi di risposta e piani di rimborso per iscritto.
New York, Miami, San Francisco, Amsterdam e Bucarest: la posizione del computer determina la latenza verso chiunque lo chiami e il regime di protezione dei dati a cui è soggetto. Il termine "data center" si riferisce agli edifici.
Quanto presto esiste
Non un singolo numero, perché non è mai stato un singolo numero. Una carta già inserita in una macchina già installata è un passaggio di consegne. Una carta che deve essere acquistata è un ordine di acquisto. Dirti quale di queste stai richiedendo, prima di pagare anziché dopo, è l'unica versione di questo documento che abbia un qualche valore.
Nulla è installato e nulla è spostato. La macchina è configurata e consegnata. Server istantanei : ecco l'elenco di ciò che si trova lì in questo momento.
Questo è il caso standard per tutto ciò che è descritto in questa pagina. Il componente si trova nel nostro magazzino; un tecnico lo installa, assembla l'array e installa il sistema operativo. Una macchina a scaffale simile ma non identica – con memoria aggiunta, un'unità sostituita, l'array ricostruito in base alla vostra scelta – richiede lo stesso lavoro, eseguito in loco senza che la macchina venga spostata dal rack.
Alcuni articoli presenti nell'elenco non sono disponibili a magazzino. Li ordiniamo e poi li realizziamo. La pagina "Realizzazione su ordinazione" contiene le specifiche complete di questo tipo.
Gli acceleratori di ultima generazione funzionano con assegnazione e la data è quella del distributore, non nostra. Definiremo il long pole prima che vi impegniate, non dopo. Quando l'hardware viene acquistato per un singolo cliente, richiediamo un pagamento anticipato di tre mesi, perché si tratta di una macchina che non possiamo riaffittare se il contratto viene chiuso dopo due settimane.
Ogni fase inizia quando l'ordine viene elaborato e la verifica antifrode viene superata. Non possiamo garantire i tempi di elaborazione in ogni fase: la maggior parte degli ordini viene elaborata entro un paio d'ore, ma per un primo ordine da un nuovo account i tempi potrebbero essere più lunghi. Sono accettati pagamenti con carta, PayPal, bonifico bancario (ACH) e altre forme di pagamento, così come le criptovalute , che per ordini di importo elevato sono solitamente il metodo più veloce.
Chiesto in precedenza
Tratte da ciò che le persone ci chiedono realmente in chat e nei ticket, più o meno nell'ordine in cui lo chiedono. La prima ci è costata degli ordini, quindi è la prima anche qui.
Dove andare dopo
Questa pagina possiede una domanda: quali schede installiamo e quanto costano. Tutto ciò che è adiacente a quella domanda ha la propria pagina, e queste sono tutte, nell'ordine in cui i visitatori di questa pagina cliccano realmente.
Ancora incerto su quale scheda? e qualcuno che ha già dimensionato una di queste risponderà — incluso quando la risposta è una scheda più economica di quella per cui sei venuto.
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.