Schede grafiche su bare metal · Primcast LLC · dal 2004

Digli qual è il lavoro. Ti dice lui la scheda.

La difficoltà maggiore nell'acquistare un server GPU non è l'acquisto in sé. È sapere quale scheda sia sufficiente — e ogni catalogo di questo settore è organizzato in base a quanto sia impressionante il componente, piuttosto che in base a ciò che stai cercando di eseguire. Questo è organizzato al contrario. Di' qual è il lavoro e quanta memoria della scheda richiede, e ciò che resta è la risposta, con il prezzo completo.

Trova la scheda La scheda è mia?

Un solo locatario per macchina. La scheda viene passata direttamente al tuo sistema operativo — non suddivisa, non condivisa a tempo, non virtualizzata.

Trasforma le tue GPU in entrate mensili passive

Hai configurazioni GPU server o desktop inattive? Pubblicarle oggi sul marketplace di Primcast e guadagna affitti mensili costanti da team AI, sviluppatori e aziende che necessitano di capacità di calcolo di livello produttivo.

Vai al Marketplace

Il banco di prova

Due domande.

Non viene riservato nulla, non viene creato alcun account, e la cifra accanto a ciascuna scheda è l'intero server con quella scheda dentro — processore, memoria, dischi in mirroring, porta senza limiti, un indirizzo — non la scheda da sola. La quota della scheda stessa è stampata sotto di essa, così puoi vedere quale metà del denaro è quale.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Stime provenienti dallo stesso catalogo su cui si basa la fatturazione al checkout, non preventivi. Dove manca un dato sulla memoria non siamo riusciti a trovarne uno pubblicato dal produttore, quindi la scheda lo dichiara anziché tirare a indovinare — e quelle schede scompaiono non appena sposti il controllo della memoria, perché filtrare su un numero che non abbiamo nasconderebbe silenziosamente componenti che potrebbero fare al caso tuo. Chiedi e lo leggeremo direttamente dalla scheda. Diversi componenti si adattano a più di un telaio a più di un prezzo; la cifra qui è il modo più economico per avere quella scheda, e il configuratore mostra il resto.

Cosa c'è dietro quell'elenco

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Contato dal catalogo degli ordini quando questa pagina è stata servita, non digitato. Se una scheda viene ritirata domani, questa striscia sarà più corta domani. Ciò che è in un rack questa mattina è una domanda diversa, e server istantanei è dove trova risposta.

La prima domanda che tutti fanno

La scheda è mia o la sto condividendo?

Tua. L'intera scheda, l'intera macchina, nessun altro sopra.

La scheda si trova in uno slot PCIe su un server fisico affittato a un solo account, e viene consegnata direttamente al tuo sistema operativo: il tuo driver, il tuo CUDA o ROCm, i tuoi processi. Non c'è alcun hypervisor tra te e lei, nessuna partizione MIG, nessuno scheduler a suddivisione temporale che decida quando tocca a te, e nessun secondo locatario il cui job batch faccia variare la latenza della tua inferenza alle quattro del pomeriggio.

Il resto della macchina è tuo alle stesse condizioni — ogni core, tutta la memoria, tutti i dischi, root, e l'iLO HPE o l'iDRAC Dell del server per console, supporti virtuali e alimentazione. Se un driver manda giù la rete, puoi ancora vedere lo schermo.

  • Non una fettaNiente MIG, niente vGPU, nessuna allocazione frazionaria. Una scheda, un locatario.
  • Non una codaNiente prevarica il tuo processo. La scheda è inattiva quando sei inattivo tu.
  • Non un containerBare metal. Carica i tuoi moduli del kernel, fissa la tua versione del driver.
  • Non a consumoPesi in entrata, checkpoint in uscita, render in uscita. Niente conta i byte.

Perché le cifre sopra hanno quell'aspetto

La scheda è una riga sulla fattura, non un livello di prodotto.

Ovunque altrove una GPU è un livello: noleggi “un'istanza H100” e qualcun altro ha già deciso quanto dovrebbero costarti il processore, la memoria, i dischi e la rete che la circondano. Qui i due sono righe separate che vengono sommate — ed è per questo che una scheda a ciascuna estremità dell'elenco sopra entra nello stesso telaio, e tu paghi la differenza tra le schede e nient'altro.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Il configuratore arrotonda un prezzo per disco e si discosta di uno o due centesimi da queste cifre. I cicli di fatturazione più lunghi beneficiano di un ulteriore sconto; prezzi ha tutto in un unico posto, e hardware più vecchio, prezzo più basso è l'argomento per cui il fondo di questo elenco esiste.

Quanta memoria sulla scheda

L'unica specifica che determina se funziona.

La frequenza di clock e il numero di core determinano la velocità di un modello. La memoria della scheda, invece, decide se il sistema si avvia o meno: i dati sono sufficienti o non lo sono, e una scheda con due gigabyte in meno non è più lenta, ma causa un crash. Quindi, questo è il dato fondamentale da considerare prima di ogni altro, ed è quello che quasi nessuno pubblica insieme al prezzo.

L'aritmetica consiste nel moltiplicare i parametri per il numero di byte di ciascun parametro. I pesi a sedici bit occupano due byte ciascuno, quelli a otto bit uno, quelli a quattro bit mezzo byte. La quantizzazione a quattro bit è ciò che trasforma una macchina incapace di memorizzare un modello in una in grado di farlo, seppur a scapito della qualità.

Lascia un margine di sicurezza. I valori riportati di seguito si riferiscono esclusivamente ai pesi. Il runtime, le attivazioni e la cache chiave-valore per un contesto lungo risiedono tutti nella stessa memoria e la cache aumenta con ogni token nella conversazione. Un modello con pesi di 38 GB non funziona comodamente su una scheda da 40 GB. Prevedi un margine di sicurezza di un quarto o metà, oppure contattaci e calcoleremo le dimensioni in base alle tue esigenze.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Cosa c'è sotto la carta?

Quattro telai ne richiedono uno, e non sono intercambiabili.

Ciascuna prende una parte diversa del catalogo e assegna alla carta un collegamento diverso con il processore. Quell'ultima colonna è qui perché costa denaro alle persone e nessuno la stampa: un cliente è passato da una generazione di carte di consumo all'altra su un bus di terza generazione e la visualizzazione è risultata più lenta , e ha capito il perché prima di noi. Quindi è sulla pagina.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Cosa cambia realmente la generazione degli autobus

Una scheda progettata per un bus più recente funziona perfettamente su uno più vecchio; semplicemente non è in grado di trasferire dati sul collegamento alla stessa velocità. Se questo sia un problema o meno dipende interamente dal tipo di lavoro.

  • È importante quando i dati attraversano il bus in modo continuo: un ciclo di addestramento che trasmette batch dal disco o dalla memoria di sistema, un rendering che invia dati della scena alla scheda a ogni fotogramma, qualsiasi cosa che fuoriesca dalla memoria della scheda.
  • Non importa una volta che i pesi sono residenti e vi rimangono: inferenza su un modello adatto, transcodifica video, la maggior parte delle simulazioni. Il collegamento trasporta richieste e risultati, e questi sono piccoli.
  • Se avete dubbi, chiedete pure. Descriveteci il carico di lavoro e vi diremo chiaramente se la piattaforma rappresenta un collo di bottiglia, anche quando, onestamente, una carta più economica con una connessione migliore è preferibile a una carta più costosa con una connessione peggiore.

Cosa include

Tutto ciò che serve per utilizzare la carta, senza dover acquistare nulla.

  • I permessi di root e lo stack dei driver sono tuoi.

    Installiamo un sistema operativo pulito e vi consegniamo le chiavi. Voi scegliete la versione del driver, la release di CUDA o ROCm e la build del framework, e le configurate: questo è il punto fondamentale dell'installazione bare metal e l'opposto di un runtime gestito che si aggiorna automaticamente la settimana prima di una scadenza. Se preferite che installiamo il driver prima della consegna, specificatelo nell'ordine e lo faremo.

  • La console della macchina stessa, su una rete separata

    HPE iLO o Dell iDRAC: console con tastiera e schermo, supporti virtuali, controllo dell'alimentazione, stato dell'hardware e registro hardware. Un driver grafico che compromette il display o la rete è più un inconveniente che un problema che richiede assistenza, perché è comunque possibile monitorare l'avvio della macchina.

  • Un porto senza misuratori, in entrambe le direzioni

    Non ci sono limiti di trasferimento da superare e nessuna voce in uscita su alcuna fattura. Set di dati in entrata, checkpoint in uscita, rendering in uscita, un modello fornito a utenti reali: tutto si muove al prezzo della porta e non un byte di più. La larghezza di banda illimitata è il livello superiore rispetto alla velocità inclusa ed è la differenza principale rispetto a una fattura di un hyperscaler.

  • Reinstallalo tutte le volte che vuoi

    Immagini del sistema operativo installabili con un clic, reinstallabili senza bisogno di assistenza e senza costi aggiuntivi: un esperimento con i driver che si conclude male vi costa solo venti minuti. Potete modificare il DNS inverso, il supporto per IPv6 è incluso e il supporto per IPv4 è disponibile di serie, non oggetto di negoziazione.

  • Persone, a qualsiasi ora

    Assistenza telefonica, chat in tempo reale e ticket inclusi in ogni piano, con sostituzione di un componente guasto entro quattro ore dalla segnalazione tramite telefono o chat. Il supporto dispone di tempi di risposta e piani di rimborso per iscritto.

  • Cinque stanze in cui metterlo

    New York, Miami, San Francisco, Amsterdam e Bucarest: la posizione del computer determina la latenza verso chiunque lo chiami e il regime di protezione dei dati a cui è soggetto. Il termine "data center" si riferisce agli edifici.

Quanto presto esiste

Tra mezz'ora e tre settimane, e quale sia la durata dipende dalla posizione della carta.

Non un singolo numero, perché non è mai stato un singolo numero. Una carta già inserita in una macchina già installata è un passaggio di consegne. Una carta che deve essere acquistata è un ordine di acquisto. Dirti quale di queste stai richiedendo, prima di pagare anziché dopo, è l'unica versione di questo documento che abbia un qualche valore.

  1. circa 30 minuti

    La scheda è già inserita in un dispositivo sullo scaffale.

    Nulla è installato e nulla è spostato. La macchina è configurata e consegnata. Server istantanei : ecco l'elenco di ciò che si trova lì in questo momento.

  2. 4–24 ore

    Una carta che teniamo in mano viene inserita, oppure una macchina montata su rack viene riorganizzata

    Questo è il caso standard per tutto ciò che è descritto in questa pagina. Il componente si trova nel nostro magazzino; un tecnico lo installa, assembla l'array e installa il sistema operativo. Una macchina a scaffale simile ma non identica – con memoria aggiunta, un'unità sostituita, l'array ricostruito in base alla vostra scelta – richiede lo stesso lavoro, eseguito in loco senza che la macchina venga spostata dal rack.

  3. 5-10 giorni lavorativi

    La carta deve essere acquistata in

    Alcuni articoli presenti nell'elenco non sono disponibili a magazzino. Li ordiniamo e poi li realizziamo. La pagina "Realizzazione su ordinazione" contiene le specifiche complete di questo tipo.

  4. 10-15 giorni lavorativi

    La carta è rara

    Gli acceleratori di ultima generazione funzionano con assegnazione e la data è quella del distributore, non nostra. Definiremo il long pole prima che vi impegniate, non dopo. Quando l'hardware viene acquistato per un singolo cliente, richiediamo un pagamento anticipato di tre mesi, perché si tratta di una macchina che non possiamo riaffittare se il contratto viene chiuso dopo due settimane.

Ogni fase inizia quando l'ordine viene elaborato e la verifica antifrode viene superata. Non possiamo garantire i tempi di elaborazione in ogni fase: la maggior parte degli ordini viene elaborata entro un paio d'ore, ma per un primo ordine da un nuovo account i tempi potrebbero essere più lunghi. Sono accettati pagamenti con carta, PayPal, bonifico bancario (ACH) e altre forme di pagamento, così come le criptovalute , che per ordini di importo elevato sono solitamente il metodo più veloce.

Chiesto in precedenza

Le dodici domande a cui questa pagina esiste per rispondere.

Tratte da ciò che le persone ci chiedono realmente in chat e nei ticket, più o meno nell'ordine in cui lo chiedono. La prima ci è costata degli ordini, quindi è la prima anche qui.

La GPU è dedicata o condivisa?
Dedicata. Una macchina fisica, un account e la scheda passata direttamente al tuo sistema operativo. Nessun hypervisor, nessuna partizione MIG, nessun profilo vGPU, nessuno scheduler a time-slicing e nessun carico di lavoro di altri sulla scheda. Ciò che misuri il primo pomeriggio è ciò che mantieni.
Posso avere più di una scheda in una macchina?
Sì, ed è una configurazione che quotiamo piuttosto che una casella da spuntare. Il numero che ci sta dipende dallo chassis, dalla larghezza fisica della scheda e dal budget di potenza, quindi la risposta onesta richiede la scheda specifica. Chiedi e la risposta indicherà lo chassis, il numero e i tempi di consegna. Diversi clienti ne usano due, e il motivo più comune è la memoria piuttosto che la velocità — due schede da 48 GB contengono un modello che una da 80 GB non contiene. Più di una scheda o macchina è la pagina per l'intera questione, incluso cosa cambia quando la seconda scheda diventa una seconda macchina.
Quale versione di driver e CUDA ottengo?
Quella che installi tu. Questo è il punto del bare metal: la macchina arriva con un sistema operativo pulito e root, e blocchi il driver, la release CUDA o ROCm e la build del framework su qualsiasi cosa contro cui il tuo codice è stato testato — e nulla si aggiorna sotto di te. Se preferisci che il driver sia installato prima della consegna, dillo nell'ordine e indica la versione. Se hai bisogno di una release CUDA specifica supportata da una scheda specifica, chiedi prima di pagare e la verificheremo invece di tirare a indovinare.
Cosa succede se la scheda che voglio non è disponibile oggi?
Allora viene installata o ordinata, e ti viene detto quale delle due prima di pagare. Una scheda che teniamo in magazzino viene installata entro quattro-ventiquattro ore. Una scheda che dobbiamo acquistare richiede cinque-dieci giorni lavorativi, e un acceleratore di generazione attuale su allocazione può richiedere dieci-quindici. Questa pagina mostra deliberatamente nessun conteggio di stock, perché una scheda è un componente che installiamo piuttosto che un prodotto che va e viene — ma se vuoi una macchina oggi, instant servers è l'elenco di ciò che è realmente in un rack in questo momento.
Posso aggiungere o cambiare la scheda in seguito?
Sì, sulla macchina che hai già — nessuna migrazione, nessuna reinstallazione, nessun nuovo indirizzo. È una visita programmata al rack e un breve fermo mentre la macchina è spenta, e la cifra mensile cambia della differenza tra le due schede. Memoria, dischi e velocità della porta si aggiornano allo stesso modo.
Cosa succede quando una scheda si guasta?
Viene sostituita, e il contratto stabilisce un tempo: quattro ore dal momento in cui lo segnali per telefono o live chat. Oltre quel termine ti è dovuto un credito di servizio secondo un programma pubblicato piuttosto che su richiesta. Il supporto ha il programma e il numero di telefono per iscritto.
La larghezza di banda è misurata? Quanto costa l'egress?
Nulla è misurato e l'egress non costa nulla, a ogni velocità di porta che vendiamo. Non c'è alcuna franchigia di trasferimento da superare e nessuna riga di sovrapprezzo su alcuna fattura. Per il lavoro con GPU questo è di solito il costo nascosto più grande altrove: un run di addestramento che scarica un dataset e carica checkpoint, o un endpoint di inferenza che risponde a traffico reale, sposta molti byte, e l'egress per gigabyte su un hyperscaler viene addebitato su ognuno di essi. La larghezza di banda senza misura è il gradino sopra la velocità di porta inclusa.
Come si confronta con il noleggio di una GPU a ore?
È l'aritmetica a deciderlo. Una scheda a ore è più economica se il lavoro è a raffiche e si ferma davvero — poche centinaia di ore al mese o meno. Superati circa due terzi del mese non c'è paragone, e questo prima dell'egress, prima dello storage che deve persistere tra un run e l'altro e prima del tempo che il tuo job passa in coda per la capacità. Mensile qui significa anche la stessa macchina, gli stessi dischi e lo stesso indirizzo il mese prossimo, il che conta più di quanto la gente si aspetti una volta che qualcosa è in produzione.
Posso minare, o eseguire nodi blockchain e di calcolo decentralizzato?
Sì. Entrambi sono carichi di lavoro ordinari qui e lo sono sempre stati, e diverse schede su questa pagina sono state acquistate esattamente per questo. Mining servers è la pagina per il caso del mining nello specifico, incluse le parti che hanno senso solo per quello.
Come pago, e c'è un contratto?
Carta, PayPal, ACH, bonifico bancario o criptovaluta. Nessun contratto: un mese è il termine predefinito e unico, i cicli di tre, sei e dodici mesi hanno uno sconto, e il prezzo non aumenta al rinnovo. Crypto payments copre le monete accettate; per un primo ordine più grande un bonifico o una stablecoin di solito si liquidano più velocemente di una carta, il che è utile sapere prima che un controllo antifrode ritardi una build.
Posso ottenere un rimborso se non è ciò di cui avevo bisogno?
Entro tre giorni di calendario dalla prima attivazione, una volta esaurita la risoluzione dei problemi — la politica di rimborso è la formulazione esatta. Che è precisamente il motivo per cui le sezioni sul dimensionamento e sulla generazione del bus qui sopra esistono: è più economico per entrambi se compri la scheda giusta la prima volta, e preferiamo convincerti a prenderne una più piccola piuttosto che venderti un reso.
Avete la scheda più recente?
A volte, ed è la domanda sbagliata. Il componente più recente è un componente scarso su allocazione, su una piattaforma che non gli darà la generazione di bus per cui è stato progettato, a un prezzo che presuppone che tu abbia bisogno di ogni suo bit. La maggior parte del lavoro con GPU qui non è addestrare un modello di frontiera — è servire uno che già ci sta, codificare video, renderizzare frame o pilotare desktop, e per tutti questi la scheda giusta è di solito due generazioni indietro e un quarto del costo. Dicci il lavoro. Se la risposta è davvero il componente più recente lo diremo, e diremo anche quanto costerà e quando potrà esistere.

Dove andare dopo

Le pagine ai due lati di questa.

Questa pagina possiede una domanda: quali schede installiamo e quanto costano. Tutto ciò che è adiacente a quella domanda ha la propria pagina, e queste sono tutte, nell'ordine in cui i visitatori di questa pagina cliccano realmente.

Ancora incerto su quale scheda? e qualcuno che ha già dimensionato una di queste risponderà — incluso quando la risposta è una scheda più economica di quella per cui sei venuto.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.