Plăci grafice pe bază de metal bare metal · Primcast LLC · din 2004

Spune-i ce este treaba. Îți spune cardul.

Cea mai mare dificultate în achiziționarea unui server GPU nu constă în procesul de cumpărare. Constă în a ști care placă este suficientă - și fiecare catalog din această industrie este aranjat în funcție de cât de impresionantă este piesa, mai degrabă decât de ceea ce încerci să execuți. Acesta este aranjat invers. Spune care este sarcina și câtă memorie de placă este necesară, și ceea ce rămâne este răspunsul, la preț complet.

Găsește cartea Cardul este al meu?

Un singur chiriaș per mașină. Cardul este transmis către sistemul dvs. de operare — nu este segmentat, nu este partajat în timp, nu este virtualizat.

Banca

Două întrebări.

Nimic nu este rezervat, niciun cont nu este creat, iar cifra de lângă fiecare card reprezintă întregul server cu cardul respectiv în el - procesor, memorie, discuri în oglindă, port nelimitat, o adresă - nu cardul în sine. Partea cardului este tipărită sub el, astfel încât să puteți vedea care jumătate din bani este care.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  47. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  48. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  49. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  50. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  51. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  52. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  53. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  54. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  55. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  56. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Estimări din același catalog din care se facturează la finalizarea comenzii, nu citate. În cazul în care lipsește o valoare a memoriei, nu am putut găsi una publicată de producător, așa că este indicat pe card în loc să ghicim - iar acele carduri dispar imediat ce mișcați controlul memoriei, deoarece filtrarea după un număr pe care nu îl avem ar ascunde în liniște piesele care ți s-ar putea potrivi. Întreabă și îl vom citi de pe card. Mai multe piese se potrivesc mai multor șasiuri la mai multe prețuri; cifra de aici este cea mai ieftină modalitate de a avea cardul respectiv, iar configuratorul arată restul.

Ce se află în spatele acelei liste

  • 56Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Numărat din catalogul de comenzi la momentul livrării acestei pagini, nu introdus prin tastare. Dacă un card este retras mâine, această bandă este mai mică mâine. Ce se află pe un raft în această dimineață este o altă întrebare, iar serverele instant sunt locul unde se răspunde.

Prima întrebare pe care toată lumea o pune

Cardul este al meu sau îl împart?

Al tău. Întregul card, tot aparatul, nimeni altcineva pe el.

Placa se află într-un slot PCIe pe un server fizic închiriat unui singur cont și este transmisă direct sistemului de operare: propriul driver, propriul CUDA sau ROCm, propriile procese. Nu există niciun hypervisor între tine și acesta, nicio partiție MIG, niciun planificator care să decidă când este rândul tău și niciun al doilea client al cărui job batch să facă latența inferenței tale să se mute la ora patru după-amiaza.

Restul mașinii vă aparține în aceleași condiții — fiecare nucleu, toată memoria, toate discurile, root-ul și propriul HPE iLO sau Dell iDRAC al serverului pentru consolă, suporturi media virtuale și alimentare. Chiar dacă un driver întrerupe rețeaua, puteți vedea în continuare ecranul.

  • Nicio felie. Fără MIG, fără vGPU, fără alocare fracționară. O singură placă, un singur utilizator.
  • Nu este o coadă. Nimic nu vă împiedică procesul. Cardul este inactiv atunci când sunteți inactiv.
  • Nu este un container Bare metal. Încarcă-ți propriile module de kernel, fixează-ți propria versiune de driver.
  • Ponderări necontorizate , puncte de control eliminate, randări eliminate. Nimic nu contorizează octeții.

De ce arată așa cifrele de mai sus

Cardul este o linie pe factură, nu un nivel de produs.

În orice alt loc, un GPU este un nivel: închiriezi „o instanță H100” și altcineva a decis deja cât ar trebui să te coste procesorul, memoria, discurile și rețeaua din jurul acesteia. Aici, cele două sunt linii separate care sunt adăugate - motiv pentru care o placă de la oricare dintre capetele listei de mai sus intră în aceeași carcasă, iar tu plătești diferența dintre plăci și nimic altceva.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Configuratorul rotunjește prețul per disc și scade cu un cențiu sau doi din aceste cifre. Ciclurile de facturare mai lungi au o reducere suplimentară; prețurile au totul la un loc, iar hardware-ul mai vechi, prețul mai mic, este argumentul pentru care există în sfârșit ultimul loc pe această listă.

Câtă memorie pe card

Singura specificație care decide dacă funcționează.

Vitezele de ceas și numărul de nuclee decid cât de repede rulează un model. Memoria cardului decide dacă acesta rulează - ponderile fie se potrivesc, fie nu, iar un card cu doi gigabytes mai puțin nu este mai lent, ci este o prăbușire. Așadar, acesta este numărul de stabilit înaintea oricărui altul și este cel pe care aproape nimeni nu îl publică lângă un preț.

Aritmetica constă în înmulțirea parametrilor cu octeți per parametru. Ponderile de șaisprezece biți sunt câte doi octeți fiecare, cele de opt biți sunt câte unu, cele de patru biți sunt câte jumătate. Cuantificarea la patru biți este ceea ce transformă o mașină care nu poate stoca un model într-una care poate, cu un anumit cost al calității.

Lăsați spațiu liber. Cifrele de mai jos reprezintă ponderile și nimic altceva. Timpul de execuție, activările și memoria cache cheie-valoare pentru un context lung se află toate în aceeași memorie, iar memoria cache crește cu fiecare token din conversație. Un model ale cărui ponderi sunt de 38 GB nu funcționează confortabil pe un card de 40 GB. Bugetați din nou un sfert până la jumătate în plus sau întrebați-ne și îl vom dimensiona în funcție de ceea ce rulați efectiv.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Ce se află sub card

Patru șasiuri iau unul și nu sunt interschimbabile.

Fiecare preia o parte diferită a catalogului și oferă unui card o legătură diferită către procesor. Ultima coloană este aici deoarece costă bani și nimeni nu o tipărește: un client a trecut de la o generație de carduri de consum la următoarea pe o magistrală de a treia generație și a rulat mai lent , și a aflat de ce înaintea noastră. Deci este scris pe pagină.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
43
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
47
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Ce schimbă de fapt generația de autobuze

O placă concepută pentru o magistrală mai nouă funcționează perfect pe una mai veche; pur și simplu nu poate transfera date prin legătură la fel de repede. Contează sau nu depinde în întregime de sarcină.

  • Contează atunci când datele traversează magistrala în mod continuu — o buclă de antrenament care transmite în flux continuu date din memoria discului sau a sistemului, o randare care alimentează date de scenă pe card în fiecare cadru, orice iese din memoria cardului.
  • Nu contează odată ce ponderile sunt rezidente și rămân acolo - inferență pe un model care se potrivește, transcodare video, majoritatea simulărilor. Legătura transportă cereri și rezultate, iar acestea sunt mici.
  • Întreabă dacă nu ești sigur. Spune-ne volumul de muncă și îți vom spune clar dacă platforma reprezintă un blocaj pentru aceasta, chiar și atunci când răspunsul sincer este că un card mai ieftin pe o conexiune mai bună este mai bun decât un card mai scump pe una mai proastă.

Ce vine cu el

Tot ce face cardul utilizabil și nimic ce trebuie să cumperi.

  • Root, iar stiva de drivere este a ta

    Instalăm un sistem de operare curat și vă înmânăm cheile. Dumneavoastră alegeți versiunea driverului, versiunea CUDA sau ROCM și versiunea framework-ului și le configurați fix — acesta fiind punctul culminant al instalării și opusul unui runtime gestionat care se actualizează sub conducerea dumneavoastră cu o săptămână înainte de un termen limită. Dacă preferați să instalăm driverul înainte de predare, specificați acest lucru în comandă și o vom face.

  • Consola proprie a mașinii, pe o rețea separată

    HPE iLO sau Dell iDRAC: consolă cu tastatură și ecran, suport media virtual, controlul alimentării, starea hardware-ului și jurnalul hardware. Un driver grafic care ia cu el afișajul sau rețeaua este un inconvenient mai degrabă decât un tichet de asistență, deoarece puteți urmări în continuare pornirea mașinii.

  • Un port nelimitat, în ambele direcții

    Nu există nicio limită de transfer care trebuie depășită și nicio linie de ieșire pe nicio factură. Seturi de date introduse, puncte de control trimise, randări trimise, un model servit utilizatorilor reali - toate acestea se mișcă la prețul portului și niciun octet în plus. Lățimea de bandă nelimitată este scara superioară vitezei incluse și este cea mai mare diferență dintre aceasta și o factură de la un hiperscaler.

  • Reinstalați-l oricât de des doriți

    Imagini ale sistemului de operare cu un singur clic, reinstalabile fără tichet și fără costuri, astfel încât un experiment cu drivere care se termină prost vă costă douăzeci de minute. DNS-ul invers este al dumneavoastră pentru editare, IPv6 este inclus și, în plus, IPv4 este o linie de catalog, nu o negociere.

  • Oameni, la orice oră

    Telefon, chat live și tichete incluse în fiecare abonament, precum și înlocuirea oricărei componente defecte în termen de patru ore de la raportarea prin telefon sau chat. Asistența tehnică are timpii de răspuns și programul de creditare în scris.

  • Cinci camere în care să-l pui

    New York, Miami, San Francisco, Amsterdam și București — iar locul în care se află mașina decide latența ta față de oricine o apelează și regimul de protecție a datelor în care se încadrează. Centrele de date descriu clădirile.

Cât de curând există

Între o jumătate de oră și trei săptămâni, iar care dintre ele depinde de locul în care se află cardul.

Nu un singur număr, pentru că nu a fost niciodată un singur număr. Un card deja montat pe un aparat deja încărcat este o predare. Un card care trebuie cumpărat este un ordin de achiziție. A-ți spune pe care dintre acestea îl ceri - înainte de a plăti, nu după - este singura versiune a acestui fapt care valorează ceva.

  1. ~30 de minute

    Cardul este deja într-un aparat de pe raft

    Nimic nu este montat și nimic nu este mutat. Mașina este fotografiată și predată. Serverele instantanee sunt lista cu ceea ce se află acolo chiar acum.

  2. 4–24 de ore

    O cartelă pe care o deținem este montată sau un aparat din rack este rearanjat

    Cazul obișnuit pentru tot ce este pe această pagină. Piesa se află în depozitul nostru; un tehnician o montează, construiește matricea și instalează sistemul de operare. O mașină pe raft care este apropiată, dar nu exactă - memorie adăugată, o unitate schimbată, matricea reconstruită în funcție de alegerea dvs. - este aceeași muncă, efectuată pe loc, fără ca mașina să părăsească rack-ul.

  3. 5–10 zile lucrătoare

    Cardul trebuie cumpărat

    Ceva din listă nu este din stocul nostru. Îl comandăm, apoi îl construim. Construim la comandă este pagina pentru o specificație completă de acest tip.

  4. 10–15 zile lucrătoare

    Cardul este rar

    Acceleratoarele din generația actuală funcționează pe bază de alocare, iar data este a distribuitorului, nu a noastră. Vom anunța polul lung înainte de a vă angaja, nu ulterior. În cazul în care hardware-ul este achiziționat pentru un client, solicităm trei luni în avans, deoarece este o mașină pe care nu o putem reînchiria dacă contul se închide în a doua săptămână.

Fiecare etapă începe atunci când comanda trece prin procesarea plății și verificarea fraudelor, acesta fiind singurul pas pe care nu îl vom promite: majoritatea procesărilor se fac în câteva ore, o primă comandă dintr-un cont nou poate dura mai mult. Sunt acceptate toate cardurile, PayPal, ACH și transferul bancar, la fel și criptomonedele — care, pentru comenzile mai mari, sunt de obicei cele mai rapide de procesat.

Întrebat anterior

Cele douăsprezece întrebări la care există această pagină pentru a răspunde.

Preluat din ceea ce oamenii ne întreabă efectiv în chat și pe tichete, aproximativ în ordinea în care o întreabă. Prima întrebare ne-a costat comenzi, așa că este prima și aici.

GPU-ul este dedicat sau este partajat?
Dedicat. O mașină fizică, un cont, iar placa este transmisă direct către sistemul de operare. Fără hypervisor, fără partiție MIG, fără profil vGPU, fără planificator de time-slicing și fără sarcina de lucru a altcuiva pe placă. Ceea ce măsori în prima după-amiază, asta păstrezi.
Pot avea mai multe carduri într-un singur aparat?
Da, și este o versiune pe care o cităm, nu o căsuță pe care o bifați. Numărul care se potrivește depinde de șasiu, de lățimea fizică a plăcii și de bugetul de putere, așa că răspunsul sincer are nevoie de placa specifică. Întrebați, iar răspunsul menționează șasiul, numărul și timpul de livrare. Mai mulți clienți folosesc două, iar cel mai frecvent motiv este memoria mai degrabă decât viteza - două plăci de 48 GB conțin un model pe care una de 80 GB nu îl are. Mai mult de o placă sau un computer este pagina pentru întreaga întrebare, inclusiv ce se schimbă când a doua placă devine un al doilea computer.
Ce driver și versiune de CUDA primesc?
Indiferent ce instalați. Acesta este scopul instalării bare metal: mașina sosește cu un sistem de operare și un root curate, iar dumneavoastră conectați driverul, versiunea CUDA sau ROCM și framework-ul la codul testat - și nimic nu se actualizează sub comanda dumneavoastră. Dacă preferați ca driverul să fie instalat înainte de predare, specificați acest lucru în comandă și specificați versiunea. Dacă aveți nevoie de o anumită versiune CUDA acceptată de o anumită placă de circuit, întrebați înainte de a plăti și o vom verifica în loc să ghicim.
Ce se întâmplă dacă cardul pe care îl doresc nu este pe raft astăzi?
Apoi este montat sau comandat, și vi se spune care dintre acestea înainte de a plăti. Un card pe care îl deținem intră în termen de patru până la douăzeci și patru de ore. Un card pe care trebuie să-l cumpărăm durează cinci până la zece zile lucrătoare, iar un accelerator de generație actuală, la alocare, poate dura zece până la cincisprezece zile. Această pagină nu afișează în mod deliberat stocul, deoarece un card este o piesă pe care o montăm, mai degrabă decât un produs care vine și pleacă - dar dacă doriți o mașină astăzi , serverele instantanee reprezintă lista cu ceea ce se află cu adevărat într-un rack chiar acum.
Pot adăuga sau modifica cardul mai târziu?
Da, pe mașina pe care o ai deja — fără migrare, fără reinstalare, fără adresă nouă. Este vorba de o vizită programată la rack și o scurtă întrerupere în timp ce mașina este nefuncțională, iar cifra lunară se modifică în funcție de diferența dintre cele două plăci. Memoria, discurile și viteza porturilor se actualizează în același mod.
Ce se întâmplă când un card eșuează?
Se înlocuiește, iar acordul prevede o dată limită: patru ore din momentul în care îl raportați prin telefon sau chat live. După aceea, vi se datorează credit de serviciu conform unui program publicat, nu la cerere. Asistența are programul și numărul de telefon în scris.
Lățimea de bandă este contorizată? Cât costă ieșirea?
Nimic nu este contorizat, iar ieșirea nu costă nimic, la fiecare viteză de port pe care o vindem. Nu există nicio alocație de transfer care trebuie depășită și nicio linie de depășire pe nicio factură. Pentru munca la GPU, acesta este de obicei cel mai mare cost ascuns în altă parte: o rulare de antrenament care extrage un set de date și trimite puncte de control afară sau un endpoint de inferență care răspunde la traficul real, mută mulți octeți, iar ieșirea per gigabyte pe un hiperscaler este taxată pentru fiecare dintre ele. Lățimea de bandă necontorizată este scara de deasupra vitezei de port incluse.
Cum se compară asta cu închirierea unui GPU pe oră?
Aritmetica decide. Un card orar este mai ieftin dacă munca este în rafale și se oprește efectiv - câteva sute de ore pe lună sau mai puțin. După aproximativ două treimi din lună, nu este aproape, și asta înainte de ieșirea din proces, înainte de stocarea care trebuie să persiste între rulări și înainte de timpul în care jobul tău petrece în coadă pentru capacitate. Lunar înseamnă aici și aceeași mașină, aceleași discuri și aceeași adresă luna viitoare, ceea ce contează mai mult decât se așteaptă oamenii odată ce ceva este în producție.
Pot să minez sau să rulez noduri blockchain și de calcul descentralizat?
Da. Ambele sunt sarcini de lucru obișnuite aici și au fost întotdeauna, iar mai multe dintre cardurile de pe această pagină au fost cumpărate exact pentru asta. Serverele de minat sunt pagina dedicată în mod specific cazului de minat, inclusiv părțile care au sens doar pentru acesta.
Cum plătesc și există vreun contract?
Card, PayPal, ACH, transfer bancar sau criptomonedă. Fără contract: o lună este implicită și doar termenul, ciclurile de trei, șase și doisprezece luni beneficiază de o reducere, iar prețul nu crește la reînnoire. Plățile cu criptomonede acoperă monedele acceptate; pentru o primă comandă mai mare, un transfer bancar sau o stablecoin se procesează de obicei mai repede decât un card, lucru care merită știut înainte ca o verificare a fraudei să întârzie o construire.
Pot primi o rambursare dacă nu este ceea ce aveam nevoie?
În termen de trei zile calendaristice de la prima activare, odată ce soluțiile depanare au fost epuizate, politica de rambursare este exact formulată. Tocmai de aceea există secțiunile de dimensionare și generare a magistralelor de mai sus: este mai ieftin pentru amândoi dacă cumpărați cardul potrivit de prima dată și am prefera să vă convingem să alegeți unul mai mic decât să vă vindem un retur.
Ai cea mai nouă cartelă?
Uneori, și este o întrebare greșită. Cea mai nouă piesă este o piesă rară la alocare, pe o platformă care nu îi va oferi generația de magistrală pentru care a fost proiectată, la un preț care presupune că aveți nevoie de fiecare element din ea. Cea mai mare parte a muncii GPU aici nu constă în antrenarea unui model de frontieră - ci în deservirea unuia care se potrivește deja, codând video, redând cadre sau controlând desktop-uri, iar pentru toate acestea, placa potrivită este de obicei cu două generații în urmă și un sfert din preț. Spuneți-ne care este treaba. Dacă răspunsul este într-adevăr cea mai nouă piesă, o vom spune și vom spune, de asemenea, cât va costa și când va putea exista.

Unde să mergi în continuare

Paginile de o parte și de alta a acesteia.

Această pagină are o singură întrebare: ce cărți potrivim și cât costă. Tot ce este adiacent acestei întrebări are propria pagină, și acestea sunt toate, în ordinea în care vizitatorii acestei pagini dau clic.

Încă nu știi ce carte? și cineva care a mai folosit una dintre acestea va răspunde — inclusiv atunci când răspunsul este o carte mai ieftină decât cea pentru care ai venit.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
56 add-in cards, in 3 classes: 14 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.