Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
Schede grafiche su metallo nudo · Primcast LLC · dal 2004
La difficoltà maggiore nell'acquisto di un server con GPU non sta nell'acquisto in sé, ma nel capire quale scheda sia sufficiente. In questo settore, infatti, ogni catalogo è organizzato in base alle prestazioni del componente, piuttosto che in base alle esigenze specifiche. Questo catalogo, invece, è strutturato in modo opposto: basta specificare il carico di lavoro e la quantità di memoria video necessaria, e il risultato sarà la soluzione completa, con il relativo prezzo.
Trova la carta La carta è mia?
Un solo utente per macchina. La scheda viene trasmessa direttamente al sistema operativo, senza suddivisione, condivisione in tempo reale o virtualizzazione.
La panchina
Nulla viene riservato, non viene creato alcun account e la cifra accanto a ciascuna carta si riferisce all'intero server con quella carta inserita (processore, memoria, dischi mirror, porta illimitata, un indirizzo), non alla carta stessa. La quota assegnata alla carta è stampata sotto, in modo da poter distinguere a quale metà del denaro corrisponde ciascuna.
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
I prezzi indicati provengono dallo stesso catalogo utilizzato per l'addebito, non da preventivi. Laddove manca un dato relativo alla memoria, non siamo riusciti a trovarne uno pubblicato dal produttore, quindi lo riportiamo sulla scheda anziché basarci su supposizioni. Queste schede vengono inoltre eliminate non appena si modifica il controllo della memoria, poiché filtrare in base a un valore non disponibile nasconderebbe componenti che potrebbero essere adatti alle vostre esigenze. Chiedete pure e vi forniremo il dato dalla scheda. Alcuni componenti sono compatibili con più chassis a prezzi diversi; il dato qui riportato si riferisce alla configurazione più economica per quella specifica scheda, mentre il configuratore mostra tutte le altre opzioni.
Cosa si cela dietro quella lista?
Conteggio effettuato dal catalogo degli ordini al momento della visualizzazione di questa pagina, non digitato. Se una carta viene ritirata domani, questa striscia sarà più piccola. Cosa si trova in un espositore stamattina è un'altra questione, e i server istantanei sono il luogo in cui si trova la risposta.
La prima domanda che tutti si pongono
Tua. Tutta la scheda, tutta la macchina, nessun altro sopra.
La scheda è inserita in uno slot PCIe su un server fisico affittato a un singolo account e viene fornita direttamente al sistema operativo: il tuo driver, il tuo CUDA o ROCm, i tuoi processi. Non c'è alcun hypervisor tra te e la scheda, nessuna partizione MIG, nessuno scheduler di time-slicing che decida quando è il tuo turno e nessun secondo tenant il cui job batch modifichi la latenza di inferenza alle quattro del pomeriggio.
Il resto della macchina è a tua disposizione alle stesse condizioni: ogni core, tutta la memoria, tutti i dischi, i privilegi di root e il software proprietario del server, HPE iLO o Dell iDRAC, per la console, i supporti virtuali e l'alimentazione. Se un driver causa un'interruzione della rete, potrai comunque visualizzare lo schermo.
Perché le figure qui sopra hanno quell'aspetto?
In tutti gli altri contesti, una GPU rappresenta un livello a sé stante: si noleggia "un'istanza H100" e qualcun altro ha già deciso quanto debbano costare il processore, la memoria, i dischi e la rete ad essa collegata. Qui, invece, i due elementi sono voci separate che vengono aggiunte al preventivo, ed è per questo che una scheda a una delle estremità dell'elenco sopra riportato viene installata nello stesso chassis, e si paga solo la differenza tra le due schede, nient'altro.
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
Il configuratore arrotonda il prezzo per disco, riducendolo di uno o due centesimi. Cicli di fatturazione più lunghi prevedono un ulteriore sconto; il listino prezzi include tutte le informazioni necessarie e, considerando l'hardware più vecchio, il prezzo inferiore è il motivo per cui la parte inferiore di questa lista è presente.
Quanta memoria sulla scheda
La frequenza di clock e il numero di core determinano la velocità di un modello. La memoria della scheda, invece, decide se il sistema si avvia o meno: i dati sono sufficienti o non lo sono, e una scheda con due gigabyte in meno non è più lenta, ma causa un crash. Quindi, questo è il dato fondamentale da considerare prima di ogni altro, ed è quello che quasi nessuno pubblica insieme al prezzo.
L'aritmetica consiste nel moltiplicare i parametri per il numero di byte di ciascun parametro. I pesi a sedici bit occupano due byte ciascuno, quelli a otto bit uno, quelli a quattro bit mezzo byte. La quantizzazione a quattro bit è ciò che trasforma una macchina incapace di memorizzare un modello in una in grado di farlo, seppur a scapito della qualità.
Lascia un margine di sicurezza. I valori riportati di seguito si riferiscono esclusivamente ai pesi. Il runtime, le attivazioni e la cache chiave-valore per un contesto lungo risiedono tutti nella stessa memoria e la cache aumenta con ogni token nella conversazione. Un modello con pesi di 38 GB non funziona comodamente su una scheda da 40 GB. Prevedi un margine di sicurezza di un quarto o metà, oppure contattaci e calcoleremo le dimensioni in base alle tue esigenze.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Cosa c'è sotto la carta?
Ciascuna prende una parte diversa del catalogo e assegna alla carta un collegamento diverso con il processore. Quell'ultima colonna è qui perché costa denaro alle persone e nessuno la stampa: un cliente è passato da una generazione di carte di consumo all'altra su un bus di terza generazione e la visualizzazione è risultata più lenta , e ha capito il perché prima di noi. Quindi è sulla pagina.
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Una scheda progettata per un bus più recente funziona perfettamente su uno più vecchio; semplicemente non è in grado di trasferire dati sul collegamento alla stessa velocità. Se questo sia un problema o meno dipende interamente dal tipo di lavoro.
Cosa include
Installiamo un sistema operativo pulito e vi consegniamo le chiavi. Voi scegliete la versione del driver, la release di CUDA o ROCm e la build del framework, e le configurate: questo è il punto fondamentale dell'installazione bare metal e l'opposto di un runtime gestito che si aggiorna automaticamente la settimana prima di una scadenza. Se preferite che installiamo il driver prima della consegna, specificatelo nell'ordine e lo faremo.
HPE iLO o Dell iDRAC: console con tastiera e schermo, supporti virtuali, controllo dell'alimentazione, stato dell'hardware e registro hardware. Un driver grafico che compromette il display o la rete è più un inconveniente che un problema che richiede assistenza, perché è comunque possibile monitorare l'avvio della macchina.
Non ci sono limiti di trasferimento da superare e nessuna voce in uscita su alcuna fattura. Set di dati in entrata, checkpoint in uscita, rendering in uscita, un modello fornito a utenti reali: tutto si muove al prezzo della porta e non un byte di più. La larghezza di banda illimitata è il livello superiore rispetto alla velocità inclusa ed è la differenza principale rispetto a una fattura di un hyperscaler.
Immagini del sistema operativo installabili con un clic, reinstallabili senza bisogno di assistenza e senza costi aggiuntivi: un esperimento con i driver che si conclude male vi costa solo venti minuti. Potete modificare il DNS inverso, il supporto per IPv6 è incluso e il supporto per IPv4 è disponibile di serie, non oggetto di negoziazione.
Assistenza telefonica, chat in tempo reale e ticket inclusi in ogni piano, con sostituzione di un componente guasto entro quattro ore dalla segnalazione tramite telefono o chat. Il supporto dispone di tempi di risposta e piani di rimborso per iscritto.
New York, Miami, San Francisco, Amsterdam e Bucarest: la posizione del computer determina la latenza verso chiunque lo chiami e il regime di protezione dei dati a cui è soggetto. Il termine "data center" si riferisce agli edifici.
Quanto presto esiste
Non un singolo numero, perché non è mai stato un singolo numero. Una carta già inserita in una macchina già installata è un passaggio di consegne. Una carta che deve essere acquistata è un ordine di acquisto. Dirti quale di queste stai richiedendo, prima di pagare anziché dopo, è l'unica versione di questo documento che abbia un qualche valore.
Nulla è installato e nulla è spostato. La macchina è configurata e consegnata. Server istantanei : ecco l'elenco di ciò che si trova lì in questo momento.
Questo è il caso standard per tutto ciò che è descritto in questa pagina. Il componente si trova nel nostro magazzino; un tecnico lo installa, assembla l'array e installa il sistema operativo. Una macchina a scaffale simile ma non identica – con memoria aggiunta, un'unità sostituita, l'array ricostruito in base alla vostra scelta – richiede lo stesso lavoro, eseguito in loco senza che la macchina venga spostata dal rack.
Alcuni articoli presenti nell'elenco non sono disponibili a magazzino. Li ordiniamo e poi li realizziamo. La pagina "Realizzazione su ordinazione" contiene le specifiche complete di questo tipo.
Gli acceleratori di ultima generazione funzionano con assegnazione e la data è quella del distributore, non nostra. Definiremo il long pole prima che vi impegniate, non dopo. Quando l'hardware viene acquistato per un singolo cliente, richiediamo un pagamento anticipato di tre mesi, perché si tratta di una macchina che non possiamo riaffittare se il contratto viene chiuso dopo due settimane.
Ogni fase inizia quando l'ordine viene elaborato e la verifica antifrode viene superata. Non possiamo garantire i tempi di elaborazione in ogni fase: la maggior parte degli ordini viene elaborata entro un paio d'ore, ma per un primo ordine da un nuovo account i tempi potrebbero essere più lunghi. Sono accettati pagamenti con carta, PayPal, bonifico bancario (ACH) e altre forme di pagamento, così come le criptovalute , che per ordini di importo elevato sono solitamente il metodo più veloce.
Chiesto prima
Tratto dalle domande che ci vengono poste in chat e tramite ticket, più o meno nell'ordine in cui ci vengono fatte. La prima domanda ci ha fatto perdere degli ordini, quindi la riporto al primo posto.
Dove andare dopo?
Questa pagina risponde a una sola domanda: quali schede SIM supportiamo e quanto costano. Tutto ciò che riguarda questa domanda ha una pagina dedicata, e qui le trovate tutte, nell'ordine in cui i visitatori accedono a questa pagina.
Ancora indeciso su quale scheda scegliere? e qualcuno che ha già utilizzato schede simili ti risponderà, anche nel caso in cui la soluzione migliore sia una scheda più economica di quella che stavi cercando.
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.