Karty graficzne na gołym metalu · Primcast LLC · od 2004 roku

Powiedz mu, na czym polega praca. On powie ci, jaka jest karta.

Większość trudności w zakupie serwera GPU nie polega na samym zakupie. Chodzi o to, aby wiedzieć, która karta jest wystarczająca — a każdy katalog w tej branży jest ułożony według tego, jak imponująca jest dana część, a nie według tego, co chcesz uruchomić. Ten jest ułożony odwrotnie. Określ, na czym polega zadanie i ile pamięci karty potrzebuje, a to, co zostanie, będzie odpowiedzią, w cenie kompletnego produktu.

Znajdź kartę Czy ta karta jest moja?

Jeden użytkownik na maszynę. Karta jest przekazywana do systemu operacyjnego — nie jest podzielona, ​​nie jest współdzielona czasowo, nie jest wirtualizowana.

Ławka

Dwa pytania.

Nic nie jest rezerwowane, nie tworzy się konta, a liczba obok każdej karty to cały serwer z daną kartą – procesor, pamięć, zdublowane dyski, nielimitowany port, jeden adres – a nie sama karta. Udział karty jest wydrukowany pod nią, więc widać, która połowa pieniędzy jest która.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  47. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  48. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  49. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  50. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  51. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  52. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  53. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  54. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  55. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  56. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Szacunki pochodzą z tego samego katalogu, z którego pochodzą faktury, a nie z ofert. W przypadku braku danych o pamięci nie mogliśmy znaleźć danych opublikowanych przez producenta, więc karta wskazuje na to, a nie zgaduje — a te karty znikają natychmiast po przesunięciu elementu sterującego pamięcią, ponieważ filtrowanie według numeru, którego nie mamy, dyskretnie ukryłoby części, które mogłyby Ci odpowiadać. Zapytaj, a odczytamy to z karty. Kilka części pasuje do więcej niż jednego podwozia w więcej niż jednej cenie; podana tutaj wartość to najtańszy sposób na posiadanie tej karty, a konfigurator pokazuje resztę.

Co kryje się za tą listą?

  • 56Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Liczone z katalogu zamówień w momencie wyświetlenia tej strony, a nie wpisane. Jeśli jutro karta zostanie wycofana, ten pasek jutro będzie mniejszy. To, co stoi na półce dziś rano, to inne pytanie, a odpowiedź na nie znajduje się w serwerach instant .

Pierwsze pytanie, które zadaje sobie każdy

Czy ta karta jest moja, czy udostępniam ją innym?

Twoja. Cała karta, cała maszyna, nikt inny na niej.

Karta znajduje się w slocie PCIe na fizycznym serwerze wynajętym jednemu użytkownikowi i jest przekazywana bezpośrednio do systemu operacyjnego: Twojego własnego sterownika, Twojej własnej CUDA lub ROCm, Twoich własnych procesów. Nie ma między Tobą a nią żadnego hiperwizora, żadnej partycji MIG, żadnego harmonogramu czasowego decydującego o Twojej kolejce i żadnego drugiego użytkownika, którego zadanie wsadowe powoduje, że Twoje opóźnienie w wnioskowaniu przesuwa się o czwartej po południu.

Reszta komputera należy do Ciebie na tych samych warunkach – każdy rdzeń, cała pamięć, wszystkie dyski, root oraz własny kontroler HPE iLO lub Dell iDRAC do konsoli, nośników wirtualnych i zasilania. Jeśli sterownik wyłączy sieć, nadal będziesz widzieć ekran.

  • Ani kawałka. Bez MIG, bez vGPU, bez alokacji cząstkowej. Jedna karta, jeden najemca.
  • Nie ma kolejki. Nic nie blokuje Twojego procesu. Karta jest bezczynna, gdy Ty nie masz nic do zrobienia.
  • To nie jest kontener . Goły metal. Załaduj własne moduły jądra i przypnij własną wersję sterownika.
  • Niezmierzone wagi, punkty kontrolne poza, rendery poza. Nic nie liczy bajtów.

Dlaczego powyższe liczby wyglądają tak

Karta to pozycja na fakturze, a nie poziom produktu.

Wszędzie indziej GPU to kategoria: wynajmujesz „instancję H100”, a ktoś inny już zdecydował, ile powinien kosztować procesor, pamięć, dyski i sieć wokół niej. W tym przypadku te dwie rzeczy są dodawane oddzielnie – dlatego karta na każdym końcu listy powyżej trafia do tej samej obudowy, a Ty płacisz różnicę między kartami i nic więcej.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Konfigurator zaokrągla cenę za dysk i pobiera centa lub dwa od tych kwot. Dłuższe cykle rozliczeniowe wiążą się z dodatkowym rabatem; cennik zawiera wszystko w jednym miejscu, a starszy sprzęt i niższa cena to argument za tym, dlaczego w ogóle znajduje się na dole listy.

Ile pamięci karty

Jedyna specyfikacja decydująca o tym, czy to działa.

Taktowanie i liczba rdzeni decydują o szybkości działania modelu. Pamięć karty decyduje o tym, czy w ogóle będzie działać – albo się zmieści, albo nie, a karta z dwoma gigabajtami mniej nie jest wolniejsza, tylko miażdżąca. To jest więc liczba, którą należy ustalić przed jakąkolwiek inną, i to ta, której prawie nikt nie publikuje obok ceny.

Arytmetyka to parametry pomnożone przez bajty na parametr. Szesnastobitowe wagi to dwa bajty każda, ośmiobitowe to jeden bajt, a czterobitowe to połowa. Kwantowanie do czterech bitów to sposób, w jaki maszyna, która nie jest w stanie utrzymać modelu, przekształca się w taką, która to potrafi, kosztem jakości.

Zostaw zapas. Poniższe liczby to tylko wagi i nic więcej. Środowisko wykonawcze, aktywacje i pamięć podręczna klucz-wartość dla długiego kontekstu znajdują się w tej samej pamięci, a pamięć podręczna rośnie z każdym tokenem w konwersacji. Model z wagą 38 GB nie działa komfortowo na karcie 40 GB. Zaplanuj dodatkowy budżet w wysokości ćwierć do połowy lub zapytaj nas, a dostosujemy go do Twojego aktualnego zapotrzebowania.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Co jest pod kartą

Cztery podwozia zajmują jedno, a podwozia nie są zamienne.

Każdy z nich bierze inną część katalogu i nadaje karcie inne połączenie z procesorem. Ta ostatnia kolumna jest tutaj, ponieważ kosztuje ludzi pieniądze i nikt jej nie drukuje: klient przeszedł z jednej generacji karty konsumenckiej do następnej na magistrali trzeciej generacji i został spowolniony , i odkrył przyczynę przed nami. Więc jest na stronie.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
43
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
47
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Co tak naprawdę zmienia pokolenie autobusów

Karta zaprojektowana dla nowszej magistrali działa doskonale na starszej; po prostu nie może przesyłać danych przez łącze tak szybko. To, czy ma to znaczenie, zależy wyłącznie od konkretnego zadania.

  • Ma to znaczenie, gdy dane przepływają przez magistralę w sposób ciągły — pętla szkoleniowa przesyła strumieniowo partie z dysku lub pamięci systemowej, renderowanie przesyłające dane sceny na kartę w każdej klatce, cokolwiek, co wydostaje się z pamięci karty.
  • Nie ma to znaczenia, gdy wagi są już rezydentne i tam pozostają – wnioskowanie na podstawie dopasowanego modelu, transkodowanie wideo, większość symulacji. Łącze przenosi żądania i wyniki, a te są niewielkie.
  • Zapytaj, jeśli masz wątpliwości. Podaj nam obciążenie, a my powiemy wprost, czy platforma stanowi dla niego wąskie gardło, nawet jeśli uczciwie odpowiemy, że tańsza karta na lepszym łączu jest lepsza od droższej na gorszym.

Co się z tym wiąże

Wszystko, co umożliwia korzystanie z karty, bez konieczności kupowania czegokolwiek.

  • Root i stos sterowników są Twoje

    Instalujemy czysty system operacyjny i przekazujemy Ci klucze. Wybierasz wersję sterownika, wersję CUDA lub ROCm oraz kompilację frameworka i je przypinasz – to jest istota systemu fizycznego i przeciwieństwo zarządzanego środowiska uruchomieniowego, które aktualizuje się automatycznie na tydzień przed terminem. Jeśli wolisz, abyśmy zainstalowali sterownik przed przekazaniem, zaznacz to w zamówieniu, a my to zrobimy.

  • Własna konsola maszyny, w oddzielnej sieci

    HPE iLO lub Dell iDRAC: konsola klawiatury i ekranu, wirtualne nośniki, sterowanie zasilaniem, stan sprzętu i dziennik sprzętowy. Sterownik graficzny, który pobiera dane z wyświetlacza lub sieci, to raczej niedogodność niż zgłoszenie do pomocy technicznej, ponieważ nadal można obserwować rozruch komputera.

  • Port niemierzony, w obu kierunkach

    Nie ma limitu transferu, którego można przekroczyć, ani linii wyjściowej na żadnej fakturze. Zestawy danych przychodzące, punkty kontrolne wychodzące, renderowane, model udostępniany rzeczywistym użytkownikom — wszystko to przesyłane jest za cenę portu i ani bajta więcej. Nielimitowana przepustowość to drabinka ponad wliczoną prędkość i stanowi największą różnicę między tym a rachunkiem od hiperskalera.

  • Zainstaluj ponownie tak często, jak chcesz

    Obrazy systemu operacyjnego dostępne za jednym kliknięciem, z możliwością ponownej instalacji bez biletu i bez opłat, więc eksperyment ze sterownikiem, który się nie powiedzie, kosztuje dwadzieścia minut. Możesz edytować odwrotny DNS, IPv6 jest w zestawie, a IPv4 to linia katalogowa, a nie negocjacja.

  • Ludzie o każdej porze

    Telefon, czat na żywo i zgłoszenia wliczone w cenę każdego planu, a także wymiana uszkodzonego komponentu w ciągu czterech godzin od zgłoszenia telefonicznego lub czatu. Dział wsparcia dysponuje pisemnymi informacjami o czasie reakcji i harmonogramie kredytowym.

  • Pięć pokoi, w których można to umieścić

    Nowy Jork, Miami, San Francisco, Amsterdam i Bukareszt – a lokalizacja maszyny decyduje o opóźnieniu dla osoby dzwoniącej i o tym, któremu systemowi ochrony danych podlega. Centra danych opisują budynki.

Jak szybko to istnieje

Od pół godziny do trzech tygodni, a który okres zależy od tego, na jakim etapie znajduje się karta.

Nie jeden numer, bo nigdy nim nie był. Karta już zamontowana w maszynie, która już jest w czytniku, to przekazanie. Karta, którą trzeba kupić, to zamówienie zakupu. Powiedzenie ci, o którą z nich prosisz – przed zapłatą, a nie po – to jedyna wersja tego, która ma jakąkolwiek wartość.

  1. ~30 minut

    Karta jest już w maszynie na półce

    Nic nie jest montowane ani przenoszone. Maszyna jest obrazowana i przekazywana. Lista serwerów natychmiastowych to lista tego, co tam teraz stoi.

  2. 4–24 godziny

    Karta, którą trzymamy, zostaje dopasowana lub maszyna, w której się znajdujemy, zostaje przeorganizowana

    Typowy przypadek dla wszystkiego, co jest na tej stronie. Część znajduje się w naszym magazynie; technik ją montuje, buduje macierz i instaluje system operacyjny. Maszyna na półce, która jest podobna, ale nie identyczna – z dodaną pamięcią, zamienionym dyskiem, przebudowaną macierzą według własnego wyboru – to ta sama praca, wykonywana na miejscu, bez wyjmowania maszyny z szafy.

  3. 5–10 dni roboczych

    Kartę trzeba kupić

    Coś na liście nie jest produktem, który mamy w magazynie. Zamawiamy to, a następnie budujemy. „Budowa na zamówienie” to strona zawierająca całą specyfikację tego typu.

  4. 10–15 dni roboczych

    Karta jest rzadka

    Akceleratory obecnej generacji działają w oparciu o alokację, a data należy do dystrybutora, a nie do nas. Nazwę długiego bieguna podamy przed podjęciem decyzji, a nie po niej. W przypadku zakupu sprzętu dla jednego klienta prosimy o trzymiesięczny okres zaliczki, ponieważ jest to maszyna, której nie możemy ponownie wynająć, jeśli umowa zostanie zamknięta w drugim tygodniu.

Każdy etap rozpoczyna się od zaksięgowania płatności i weryfikacji pod kątem oszustwa, czego nie obiecujemy: większość zamówień realizuje się w ciągu kilku godzin, ale pierwsze zamówienie z nowego konta może zająć więcej czasu. Akceptujemy płatności kartą, PayPal, ACH i przelewem, a także kryptowaluty — które w przypadku większych zamówień zazwyczaj realizują się najszybciej.

Zapytano wcześniej

Dwanaście pytań, na które odpowiada ta strona.

Wzięte z tego, o co ludzie faktycznie pytają nas na czacie i na zgłoszeniach, mniej więcej w kolejności, w jakiej zadają te pytania. Za pierwszym razem otrzymaliśmy zamówienia, więc tutaj też jest pierwsze.

Czy procesor graficzny jest dedykowany czy współdzielony?
Dedykowana. Jedna maszyna fizyczna, jedno konto i karta przesyłana bezpośrednio do systemu operacyjnego. Bez hypervisora, partycji MIG, profilu vGPU, harmonogramu czasowego i obciążenia karty przez nikogo innego. To, co zmierzysz pierwszego popołudnia, to zachowasz.
Czy mogę mieć więcej niż jedną kartę w jednym urządzeniu?
Tak, i to jest konstrukcja, którą wyceniamy, a nie pole, które zaznaczasz. Liczba pasujących kart zależy od obudowy, fizycznej szerokości karty i budżetu mocy, więc szczera odpowiedź wymaga podania konkretnej karty. Zapytaj, a otrzymasz odpowiedź z nazwą obudowy, liczbą kart i czasem realizacji. Wielu klientów korzysta z dwóch kart, a najczęstszym powodem jest pamięć, a nie szybkość — dwie karty 48 GB mieszczą model, którego nie ma jedna 80 GB. Więcej niż jedna karta lub urządzenie to strona, która zawiera całą odpowiedź na to pytanie, w tym zmiany, jakie zachodzą, gdy druga karta staje się drugim urządzeniem.
Jakie sterowniki i wersję CUDA mam otrzymać?
Niezależnie od tego, którą wersję zainstalujesz. Właśnie o to chodzi w przypadku gołego metalu: komputer jest dostarczany z czystym systemem operacyjnym i rootem, a Ty przypinasz sterownik, wersję CUDA lub ROCm oraz kompilację frameworka do tego, z czym przetestowano Twój kod – i nic nie zostanie zaktualizowane pod Twoim kontem. Jeśli wolisz, aby sterownik został zainstalowany przed przekazaniem, zaznacz to w zamówieniu i podaj wersję. Jeśli potrzebujesz konkretnej wersji CUDA obsługiwanej przez konkretną kartę, zapytaj przed zapłatą, a my to sprawdzimy, zamiast zgadywać.
Co zrobić, jeśli karta, którą chcę kupić, nie znajduje się dziś na półce?
Następnie jest ona montowana lub zamawiana, a przed dokonaniem płatności informowani są Państwo o wyborze. Karta, którą posiadamy, trafia do Państwa w ciągu czterech do dwudziestu czterech godzin. Czas realizacji karty, którą musimy kupić, wynosi od pięciu do dziesięciu dni roboczych, a czas realizacji akceleratora obecnej generacji może wynosić od dziesięciu do piętnastu dni. Ta strona celowo nie zawiera informacji o stanie magazynowym, ponieważ karta jest częścią, którą montujemy, a nie produktem, który pojawia się i znika – ale jeśli chcesz mieć maszynę już dziś , serwery instant to lista tego, co faktycznie stoi teraz w szafie.
Czy mogę dodać lub zmienić kartę później?
Tak, na maszynie, którą już posiadasz — bez migracji, bez reinstalacji, bez nowego adresu. To zaplanowana wizyta w szafie rack i krótka przerwa w działaniu maszyny, a miesięczna opłata zmienia się o różnicę między dwiema kartami. Pamięć, dyski i prędkość portu są aktualizowane w ten sam sposób.
Co się dzieje, gdy karta ulegnie awarii?
Usługa jest zastępowana, a umowa określa czas jej obowiązywania: cztery godziny od momentu zgłoszenia przez telefon lub czat na żywo. Po tym terminie przysługuje Ci naliczenie opłaty serwisowej zgodnie z opublikowanym harmonogramem, a nie na żądanie. Dział wsparcia dysponuje harmonogramem i numerem telefonu na piśmie.
Czy przepustowość jest mierzona? Ile kosztuje ruch wychodzący?
Nic nie jest mierzone, a transfer wychodzący jest bezpłatny, przy każdej sprzedawanej przez nas prędkości portu. Nie ma limitu transferu, którego można przekroczyć, ani limitu przekroczenia na żadnej fakturze. W przypadku pracy z GPU jest to zazwyczaj największy ukryty koszt, który znajduje się gdzie indziej: przebieg treningowy, który pobiera zestaw danych i wysyła punkty kontrolne, lub punkt końcowy wnioskowania odpowiadający na rzeczywisty ruch, przesyła wiele bajtów, a transfer wychodzący za gigabajt w hiperskalerze jest naliczany za każdy z nich. Niemierzona przepustowość to drabinka powyżej dołączonej prędkości portu.
Jak to się ma do wynajmu procesora graficznego na godziny?
O tym decyduje arytmetyka. Karta godzinowa jest tańsza, jeśli praca jest dynamiczna i rzeczywiście się zatrzymuje – kilkaset godzin miesięcznie lub mniej. Po około dwóch trzecich miesiąca nie jest to już blisko, a to jest przed wyjściem, przed pamięcią masową, która musi być przechowywana między uruchomieniami, i przed czasem, jaki zadanie spędza w kolejce, aby uzyskać pojemność. Miesięczny czas oznacza również tę samą maszynę, te same dyski i ten sam adres w przyszłym miesiącu, co ma większe znaczenie, niż ludzie się spodziewają, gdy coś jest już w produkcji.
Czy mogę wydobywać lub obsługiwać węzły blockchain i zdecentralizowanego przetwarzania?
Tak. Oba są tutaj standardowymi obciążeniami i zawsze nimi były, a kilka kart na tej stronie zostało zakupionych właśnie w tym celu. Strona „Serwery wydobywcze” to strona poświęcona konkretnie serwerom wydobywczym, w tym częściom, które mają w tym przypadku sens.
Jak zapłacić i czy istnieje umowa?
Karta, PayPal, ACH, przelew bankowy lub kryptowaluta. Brak umowy: domyślny i jedyny okres to jeden miesiąc, cykle trzy-, sześcio- i dwunastomiesięczne obejmują zniżkę, a cena nie wzrasta przy odnowieniu. Płatności kryptowalutami pokrywają akceptowane monety; w przypadku większego pierwszego zamówienia przelew lub stablecoin zazwyczaj realizuje się szybciej niż płatność kartą, o czym warto wiedzieć, zanim kontrola oszustwa opóźni realizację.
Czy mogę otrzymać zwrot pieniędzy, jeśli nie jest to to, czego potrzebowałem?
W ciągu trzech dni kalendarzowych od pierwszej aktywacji, po wyczerpaniu możliwości rozwiązywania problemów – polityka zwrotów brzmi dokładnie tak. Właśnie dlatego istnieją powyższe sekcje dotyczące rozmiarów i generacji magistrali: taniej będzie dla nas obu, jeśli kupisz odpowiednią kartę za pierwszym razem, a my wolelibyśmy namówić Cię na mniejszą, niż sprzedać Ci zwrot.
Czy masz najnowszą kartę?
Czasami, i to jest złe pytanie. Najnowsza część jest rzadkością w alokacji, na platformie, która nie zapewni jej generacji magistrali, dla której została zaprojektowana, w cenie zakładającej, że potrzebujesz jej w każdym calu. Większość pracy z GPU nie polega na trenowaniu modelu pionierskiego — to obsługa takiego, który już pasuje, kodowanie wideo, renderowanie klatek lub sterowanie pulpitami, a do wszystkich tych zadań odpowiednia karta jest zazwyczaj o dwie generacje starsza i kosztuje jedną czwartą tej ceny. Powiedz nam, o co chodzi. Jeśli odpowiedź brzmi: najnowsza część, to powiemy, a także podamy jej koszt i kiedy będzie dostępna.

Gdzie dalej iść

Strony po obu stronach tej.

Ta strona zawiera jedno pytanie: jakie karty pasują i ile kosztują. Wszystko, co jest z tym związane, ma swoją własną stronę i to jest wszystkie, w kolejności klikania przez odwiedzających.

Nadal nie wiesz, o którą kartę chodzi? , a ktoś, kto już kiedyś próbował kupić taką kartę, odpowie – nawet jeśli odpowiedź będzie brzmiała: tańsza karta niż ta, po którą przyszedłeś.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
56 add-in cards, in 3 classes: 14 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.