Schede grafiche su metallo nudo · Primcast LLC · dal 2004

Digli qual è il lavoro. Ti dirà la carta.

La difficoltà maggiore nell'acquisto di un server con GPU non sta nell'acquisto in sé, ma nel capire quale scheda sia sufficiente. In questo settore, infatti, ogni catalogo è organizzato in base alle prestazioni del componente, piuttosto che in base alle esigenze specifiche. Questo catalogo, invece, è strutturato in modo opposto: basta specificare il carico di lavoro e la quantità di memoria video necessaria, e il risultato sarà la soluzione completa, con il relativo prezzo.

Trova la carta La carta è mia?

Un solo utente per macchina. La scheda viene trasmessa direttamente al sistema operativo, senza suddivisione, condivisione in tempo reale o virtualizzazione.

La panchina

Due domande.

Nulla viene riservato, non viene creato alcun account e la cifra accanto a ciascuna carta si riferisce all'intero server con quella carta inserita (processore, memoria, dischi mirror, porta illimitata, un indirizzo), non alla carta stessa. La quota assegnata alla carta è stampata sotto, in modo da poter distinguere a quale metà del denaro corrisponde ciascuna.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  47. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  48. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  49. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  50. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  51. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  52. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  53. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  54. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  55. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  56. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

I prezzi indicati provengono dallo stesso catalogo utilizzato per l'addebito, non da preventivi. Laddove manca un dato relativo alla memoria, non siamo riusciti a trovarne uno pubblicato dal produttore, quindi lo riportiamo sulla scheda anziché basarci su supposizioni. Queste schede vengono inoltre eliminate non appena si modifica il controllo della memoria, poiché filtrare in base a un valore non disponibile nasconderebbe componenti che potrebbero essere adatti alle vostre esigenze. Chiedete pure e vi forniremo il dato dalla scheda. Alcuni componenti sono compatibili con più chassis a prezzi diversi; il dato qui riportato si riferisce alla configurazione più economica per quella specifica scheda, mentre il configuratore mostra tutte le altre opzioni.

Cosa si cela dietro quella lista?

  • 56Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Conteggio effettuato dal catalogo degli ordini al momento della visualizzazione di questa pagina, non digitato. Se una carta viene ritirata domani, questa striscia sarà più piccola. Cosa si trova in un espositore stamattina è un'altra questione, e i server istantanei sono il luogo in cui si trova la risposta.

La prima domanda che tutti si pongono

La carta è mia o la sto condividendo?

Tua. Tutta la scheda, tutta la macchina, nessun altro sopra.

La scheda è inserita in uno slot PCIe su un server fisico affittato a un singolo account e viene fornita direttamente al sistema operativo: il tuo driver, il tuo CUDA o ROCm, i tuoi processi. Non c'è alcun hypervisor tra te e la scheda, nessuna partizione MIG, nessuno scheduler di time-slicing che decida quando è il tuo turno e nessun secondo tenant il cui job batch modifichi la latenza di inferenza alle quattro del pomeriggio.

Il resto della macchina è a tua disposizione alle stesse condizioni: ogni core, tutta la memoria, tutti i dischi, i privilegi di root e il software proprietario del server, HPE iLO o Dell iDRAC, per la console, i supporti virtuali e l'alimentazione. Se un driver causa un'interruzione della rete, potrai comunque visualizzare lo schermo.

  • Niente slice. Niente MIG, niente vGPU, niente allocazione frazionaria. Una scheda, un tenant.
  • Non si tratta di una coda. Nulla interrompe il tuo processo. La scheda è inattiva quando non lo sei.
  • Non è un container . Metallo nudo. Carica i tuoi moduli del kernel, blocca la tua versione del driver.
  • Nessun conteggio dei pesi in ingresso, checkpoint in uscita, rendering in uscita. Nulla conta i byte.

Perché le figure qui sopra hanno quell'aspetto?

La scheda è una riga della fattura, non un livello di prodotto.

In tutti gli altri contesti, una GPU rappresenta un livello a sé stante: si noleggia "un'istanza H100" e qualcun altro ha già deciso quanto debbano costare il processore, la memoria, i dischi e la rete ad essa collegata. Qui, invece, i due elementi sono voci separate che vengono aggiunte al preventivo, ed è per questo che una scheda a una delle estremità dell'elenco sopra riportato viene installata nello stesso chassis, e si paga solo la differenza tra le due schede, nient'altro.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Il configuratore arrotonda il prezzo per disco, riducendolo di uno o due centesimi. Cicli di fatturazione più lunghi prevedono un ulteriore sconto; il listino prezzi include tutte le informazioni necessarie e, considerando l'hardware più vecchio, il prezzo inferiore è il motivo per cui la parte inferiore di questa lista è presente.

Quanta memoria sulla scheda

L'unica specifica che determina se funziona.

La frequenza di clock e il numero di core determinano la velocità di un modello. La memoria della scheda, invece, decide se il sistema si avvia o meno: i dati sono sufficienti o non lo sono, e una scheda con due gigabyte in meno non è più lenta, ma causa un crash. Quindi, questo è il dato fondamentale da considerare prima di ogni altro, ed è quello che quasi nessuno pubblica insieme al prezzo.

L'aritmetica consiste nel moltiplicare i parametri per il numero di byte di ciascun parametro. I pesi a sedici bit occupano due byte ciascuno, quelli a otto bit uno, quelli a quattro bit mezzo byte. La quantizzazione a quattro bit è ciò che trasforma una macchina incapace di memorizzare un modello in una in grado di farlo, seppur a scapito della qualità.

Lascia un margine di sicurezza. I valori riportati di seguito si riferiscono esclusivamente ai pesi. Il runtime, le attivazioni e la cache chiave-valore per un contesto lungo risiedono tutti nella stessa memoria e la cache aumenta con ogni token nella conversazione. Un modello con pesi di 38 GB non funziona comodamente su una scheda da 40 GB. Prevedi un margine di sicurezza di un quarto o metà, oppure contattaci e calcoleremo le dimensioni in base alle tue esigenze.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Cosa c'è sotto la carta?

Quattro telai ne richiedono uno, e non sono intercambiabili.

Ciascuna prende una parte diversa del catalogo e assegna alla carta un collegamento diverso con il processore. Quell'ultima colonna è qui perché costa denaro alle persone e nessuno la stampa: un cliente è passato da una generazione di carte di consumo all'altra su un bus di terza generazione e la visualizzazione è risultata più lenta , e ha capito il perché prima di noi. Quindi è sulla pagina.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
43
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
47
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Cosa cambia realmente la generazione degli autobus

Una scheda progettata per un bus più recente funziona perfettamente su uno più vecchio; semplicemente non è in grado di trasferire dati sul collegamento alla stessa velocità. Se questo sia un problema o meno dipende interamente dal tipo di lavoro.

  • È importante quando i dati attraversano il bus in modo continuo: un ciclo di addestramento che trasmette batch dal disco o dalla memoria di sistema, un rendering che invia dati della scena alla scheda a ogni fotogramma, qualsiasi cosa che fuoriesca dalla memoria della scheda.
  • Non importa una volta che i pesi sono residenti e vi rimangono: inferenza su un modello adatto, transcodifica video, la maggior parte delle simulazioni. Il collegamento trasporta richieste e risultati, e questi sono piccoli.
  • Se avete dubbi, chiedete pure. Descriveteci il carico di lavoro e vi diremo chiaramente se la piattaforma rappresenta un collo di bottiglia, anche quando, onestamente, una carta più economica con una connessione migliore è preferibile a una carta più costosa con una connessione peggiore.

Cosa include

Tutto ciò che serve per utilizzare la carta, senza dover acquistare nulla.

  • I permessi di root e lo stack dei driver sono tuoi.

    Installiamo un sistema operativo pulito e vi consegniamo le chiavi. Voi scegliete la versione del driver, la release di CUDA o ROCm e la build del framework, e le configurate: questo è il punto fondamentale dell'installazione bare metal e l'opposto di un runtime gestito che si aggiorna automaticamente la settimana prima di una scadenza. Se preferite che installiamo il driver prima della consegna, specificatelo nell'ordine e lo faremo.

  • La console della macchina stessa, su una rete separata

    HPE iLO o Dell iDRAC: console con tastiera e schermo, supporti virtuali, controllo dell'alimentazione, stato dell'hardware e registro hardware. Un driver grafico che compromette il display o la rete è più un inconveniente che un problema che richiede assistenza, perché è comunque possibile monitorare l'avvio della macchina.

  • Un porto senza misuratori, in entrambe le direzioni

    Non ci sono limiti di trasferimento da superare e nessuna voce in uscita su alcuna fattura. Set di dati in entrata, checkpoint in uscita, rendering in uscita, un modello fornito a utenti reali: tutto si muove al prezzo della porta e non un byte di più. La larghezza di banda illimitata è il livello superiore rispetto alla velocità inclusa ed è la differenza principale rispetto a una fattura di un hyperscaler.

  • Reinstallalo tutte le volte che vuoi

    Immagini del sistema operativo installabili con un clic, reinstallabili senza bisogno di assistenza e senza costi aggiuntivi: un esperimento con i driver che si conclude male vi costa solo venti minuti. Potete modificare il DNS inverso, il supporto per IPv6 è incluso e il supporto per IPv4 è disponibile di serie, non oggetto di negoziazione.

  • Persone, a qualsiasi ora

    Assistenza telefonica, chat in tempo reale e ticket inclusi in ogni piano, con sostituzione di un componente guasto entro quattro ore dalla segnalazione tramite telefono o chat. Il supporto dispone di tempi di risposta e piani di rimborso per iscritto.

  • Cinque stanze in cui metterlo

    New York, Miami, San Francisco, Amsterdam e Bucarest: la posizione del computer determina la latenza verso chiunque lo chiami e il regime di protezione dei dati a cui è soggetto. Il termine "data center" si riferisce agli edifici.

Quanto presto esiste

Tra mezz'ora e tre settimane, e quale sia la durata dipende dalla posizione della carta.

Non un singolo numero, perché non è mai stato un singolo numero. Una carta già inserita in una macchina già installata è un passaggio di consegne. Una carta che deve essere acquistata è un ordine di acquisto. Dirti quale di queste stai richiedendo, prima di pagare anziché dopo, è l'unica versione di questo documento che abbia un qualche valore.

  1. circa 30 minuti

    La scheda è già inserita in un dispositivo sullo scaffale.

    Nulla è installato e nulla è spostato. La macchina è configurata e consegnata. Server istantanei : ecco l'elenco di ciò che si trova lì in questo momento.

  2. 4–24 ore

    Una carta che teniamo in mano viene inserita, oppure una macchina montata su rack viene riorganizzata

    Questo è il caso standard per tutto ciò che è descritto in questa pagina. Il componente si trova nel nostro magazzino; un tecnico lo installa, assembla l'array e installa il sistema operativo. Una macchina a scaffale simile ma non identica – con memoria aggiunta, un'unità sostituita, l'array ricostruito in base alla vostra scelta – richiede lo stesso lavoro, eseguito in loco senza che la macchina venga spostata dal rack.

  3. 5-10 giorni lavorativi

    La carta deve essere acquistata in

    Alcuni articoli presenti nell'elenco non sono disponibili a magazzino. Li ordiniamo e poi li realizziamo. La pagina "Realizzazione su ordinazione" contiene le specifiche complete di questo tipo.

  4. 10-15 giorni lavorativi

    La carta è rara

    Gli acceleratori di ultima generazione funzionano con assegnazione e la data è quella del distributore, non nostra. Definiremo il long pole prima che vi impegniate, non dopo. Quando l'hardware viene acquistato per un singolo cliente, richiediamo un pagamento anticipato di tre mesi, perché si tratta di una macchina che non possiamo riaffittare se il contratto viene chiuso dopo due settimane.

Ogni fase inizia quando l'ordine viene elaborato e la verifica antifrode viene superata. Non possiamo garantire i tempi di elaborazione in ogni fase: la maggior parte degli ordini viene elaborata entro un paio d'ore, ma per un primo ordine da un nuovo account i tempi potrebbero essere più lunghi. Sono accettati pagamenti con carta, PayPal, bonifico bancario (ACH) e altre forme di pagamento, così come le criptovalute , che per ordini di importo elevato sono solitamente il metodo più veloce.

Chiesto prima

Questa pagina si propone di rispondere a dodici domande.

Tratto dalle domande che ci vengono poste in chat e tramite ticket, più o meno nell'ordine in cui ci vengono fatte. La prima domanda ci ha fatto perdere degli ordini, quindi la riporto al primo posto.

La GPU è dedicata o condivisa?
Dedicata. Un'unica macchina fisica, un unico account e la scheda video collegata direttamente al sistema operativo. Nessun hypervisor, nessuna partizione MIG, nessun profilo vGPU, nessuno scheduler di time-slicing e nessun altro carico di lavoro sulla scheda. I risultati ottenuti il ​​primo pomeriggio sono quelli definitivi.
Posso inserire più di una carta in un singolo dispositivo?
Sì, e si tratta di una configurazione che ci viene preventivata, non di una semplice casella da spuntare. Il numero di schede compatibili dipende dallo chassis, dalla larghezza fisica della scheda e dal fabbisogno energetico, quindi per una risposta precisa è necessario conoscere il modello specifico. Chiedete e vi risponderemo indicando lo chassis, il numero di schede e i tempi di consegna. Diversi clienti ne utilizzano due, e il motivo più comune è la memoria piuttosto che la velocità: due schede da 48 GB possono supportare un modello che una da 80 GB non supporta. La pagina dedicata a questa domanda, che include anche le modifiche da apportare quando la seconda scheda viene utilizzata su una seconda macchina, tratta l'argomento in modo più approfondito .
Quale driver e quale versione di CUDA devo utilizzare?
Qualunque cosa tu scelga di installare. Questo è il punto del bare metal: la macchina arriva con un sistema operativo e un root puliti, e tu blocchi il driver, la versione di CUDA o ROCm e la build del framework a quella con cui è stato testato il tuo codice, senza che nulla venga aggiornato a livello sottostante. Se preferisci che il driver venga installato prima della consegna, specificalo nell'ordine e indica la versione. Se hai bisogno di una versione specifica di CUDA supportata da una scheda specifica, chiedi prima di pagare e verificheremo anziché fare supposizioni.
E se la carta che desidero non fosse disponibile oggi?
Successivamente, la scheda viene installata o ordinata e ti viene comunicato quale opzione verrà scelta prima del pagamento. Una scheda che abbiamo in magazzino viene installata entro quattro-ventiquattro ore. Una scheda che dobbiamo acquistare richiede dai cinque ai dieci giorni lavorativi, mentre per un acceleratore di ultima generazione, in fase di assegnazione, i tempi possono variare dai dieci ai quindici giorni. Questa pagina non mostra volutamente la disponibilità a magazzino, perché una scheda è un componente che installiamo, non un prodotto che va e viene; tuttavia, se desideri una macchina oggi stesso , la sezione "server istantanei" mostra l'elenco dei server effettivamente disponibili in un rack in questo momento.
Posso aggiungere o modificare la carta in un secondo momento?
Sì, sulla macchina che già possiedi: nessuna migrazione, nessuna reinstallazione, nessun nuovo indirizzo. Si tratta di un intervento programmato presso il rack e di una breve interruzione del servizio durante la quale la macchina è spenta; la cifra mensile varia in base alla differenza tra le due schede. L'aggiornamento di memoria, dischi e velocità delle porte avviene allo stesso modo.
Cosa succede quando una scheda si guasta?
Il componente verrà sostituito e l'accordo prevede una tempistica: quattro ore dal momento in cui lo segnali telefonicamente o tramite chat. Trascorso tale termine, ti verrà accreditato un importo in base a una tabella di marcia pubblicata, anziché su richiesta. L'assistenza clienti dispone di tale tabella e del numero di telefono per iscritto.
La larghezza di banda è a consumo? Qual è il costo del traffico in uscita?
Nulla viene misurato e il traffico in uscita è gratuito, a qualsiasi velocità di porta offriamo. Non ci sono limiti di trasferimento da superare e nessuna voce di spesa extra in fattura. Per le elaborazioni GPU, questo è solitamente il costo nascosto più grande, che si trova altrove: un'esecuzione di training che preleva un dataset e invia checkpoint, o un endpoint di inferenza che risponde al traffico reale, trasferisce molti byte e il traffico in uscita su un hyperscaler viene addebitato per ogni gigabyte. La larghezza di banda illimitata è il livello superiore rispetto alla velocità di porta inclusa.
Come si confronta questa soluzione con il noleggio di una GPU a ore?
È una questione di calcoli. Una scheda a tariffa oraria è più economica se il lavoro è intermittente e si interrompe effettivamente, ovvero per poche centinaia di ore al mese o meno. Oltre i due terzi del mese, la convenienza aumenta notevolmente, e questo senza considerare il traffico in uscita, lo spazio di archiviazione necessario per la persistenza dei dati tra un'esecuzione e l'altra e il tempo di attesa del lavoro in coda per l'utilizzo della capacità. Inoltre, la tariffazione mensile implica la stessa macchina, gli stessi dischi e lo stesso indirizzo IP anche il mese successivo, un aspetto che assume maggiore importanza di quanto si pensi una volta che il sistema è in produzione.
Posso minare o gestire nodi blockchain e di calcolo decentralizzato?
Sì. Entrambi sono carichi di lavoro ordinari qui e lo sono sempre stati, e diverse delle schede in questa pagina sono state acquistate proprio per questo scopo. La pagina dedicata ai server di mining è specifica per il caso del mining, comprese le parti che hanno senso solo in questo contesto.
Come posso pagare e devo stipulare un contratto?
Carta di credito, PayPal, bonifico ACH, bonifico bancario o criptovaluta. Nessun contratto: la durata predefinita è di un mese, mentre i cicli di tre, sei e dodici mesi prevedono uno sconto. Il prezzo non aumenta al rinnovo. I pagamenti in criptovaluta coprono le valute accettate; per un primo ordine di importo elevato, un bonifico bancario o una stablecoin vengono generalmente elaborati più velocemente rispetto a una carta di credito, un aspetto da tenere presente prima che un controllo antifrode ritardi la realizzazione del prodotto.
Posso ottenere un rimborso se il prodotto non è quello che mi serviva?
Entro tre giorni di calendario dalla prima attivazione, una volta esaurite tutte le procedure di risoluzione dei problemi, la politica di rimborso è formulata esattamente come segue. Ed è proprio per questo che esistono le sezioni relative alle dimensioni e alla generazione del bus di cui sopra: è più conveniente per entrambi se acquisti la scheda giusta fin da subito, e preferiamo convincerti ad acquistarne una di dimensioni inferiori piuttosto che venderti un reso.
Possiedi la carta più recente?
A volte, e questa è la domanda sbagliata. Il componente più recente è un componente raro, su una piattaforma che non gli fornirà la generazione di bus per cui è stato progettato, a un prezzo che presuppone che tu ne abbia bisogno in ogni sua parte. La maggior parte del lavoro con le GPU qui non consiste nell'addestrare un modello di frontiera, ma nel supportarne uno già esistente, codificare video, renderizzare frame o gestire desktop, e per tutte queste attività la scheda giusta è solitamente di due generazioni precedenti e costa un quarto. Dicci qual è l'applicazione. Se la risposta è davvero il componente più recente, lo diremo, e diremo anche quanto costerà e quando sarà disponibile.

Dove andare dopo?

Le pagine ai lati di questa.

Questa pagina risponde a una sola domanda: quali schede SIM supportiamo e quanto costano. Tutto ciò che riguarda questa domanda ha una pagina dedicata, e qui le trovate tutte, nell'ordine in cui i visitatori accedono a questa pagina.

Ancora indeciso su quale scheda scegliere? e qualcuno che ha già utilizzato schede simili ti risponderà, anche nel caso in cui la soluzione migliore sia una scheda più economica di quella che stavi cercando.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
56 add-in cards, in 3 classes: 14 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.