Karty graficzne na gołym sprzęcie · Primcast LLC · od 2004 roku

Powiedz, jaka to praca. Karta powie Ci sama.

Większość trudności w kupowaniu serwera GPU to nie samo kupowanie. To wiedza, która karta wystarczy — a każdy katalog w tej branży jest ułożony według tego, jak imponująca jest dana część, a nie według tego, co próbujesz uruchomić. Ten jest ułożony odwrotnie. Powiedz, jakie to zadanie i ile pamięci karty potrzebuje, a to, co zostanie, jest odpowiedzią, wycenioną w całości.

Znajdź kartę Czy karta jest moja?

Jeden najemca na maszynę. Karta jest przekazywana do Twojego systemu operacyjnego — nie dzielona, nie współdzielona czasowo, nie wirtualizowana.

Zamień swoje GPU w pasywny miesięczny przychód

Masz nieużywane serwerowe lub desktopowe zestawy GPU? Wystaw je już dziś na marketplace Primcast i zarabiaj stały miesięczny czynsz od zespołów AI, deweloperów i firm potrzebujących mocy obliczeniowej klasy produkcyjnej.

Przejdź do Marketplace

Ława

Dwa pytania.

Nic nie jest rezerwowane, żadne konto nie jest tworzone, a kwota obok każdej karty to cały serwer z tą kartą w środku — procesor, pamięć, dyski lustrzane, port bez limitu, jeden adres — nie sama karta. Udział samej karty jest wydrukowany pod nią, żebyś widział, która połowa pieniędzy jest za co.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A20006 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,328 CUDA cores$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP 170HX 64GB HBM2e8 GB HBM2e, 64 GB unlockedIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Szacunki z tego samego katalogu, z którego kasa wystawia rachunki, nie oferty. Tam, gdzie brakuje wartości pamięci, nie znaleźliśmy żadnej opublikowanej przez producenta, więc karta mówi to wprost, zamiast zgadywać — a te karty znikają, gdy tylko ruszysz suwak pamięci, bo filtrowanie po liczbie, której nie mamy, po cichu ukryłoby części, które mogłyby Ci pasować. Zapytaj, a odczytamy to z karty. Kilka części pasuje do więcej niż jednej obudowy w więcej niż jednej cenie; kwota tutaj to najtańszy sposób, żeby mieć tę kartę, a konfigurator pokazuje resztę.

Co stoi za tą listą

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Policzone z katalogu zamówień w momencie wyświetlenia tej strony, nie wpisane ręcznie. Jeśli karta zostanie jutro wycofana, ten pasek będzie jutro mniejszy. To, co stoi dziś rano w szafie rack, to inne pytanie, a serwery natychmiastowe to miejsce, gdzie pada na nie odpowiedź.

Pierwsze pytanie, które zadaje każdy

Czy karta jest moja, czy ją współdzielę?

Twoja. Cała karta, cała maszyna, nikt inny na niej.

Karta siedzi w gnieździe PCIe na fizycznym serwerze wynajętym na jedno konto i jest przekazywana bezpośrednio do Twojego systemu operacyjnego: Twój własny sterownik, Twoje własne CUDA lub ROCm, Twoje własne procesy. Nie ma między Tobą a nią hipernadzorcy, żadnej partycji MIG, żadnego harmonogramu dzielenia czasu decydującego, kiedy Twoja kolej, i żadnego drugiego najemcy, którego zadanie wsadowe rusza Twoje opóźnienia inferencji o czwartej po południu.

Reszta maszyny jest Twoja na tych samych warunkach — każdy rdzeń, cała pamięć, wszystkie dyski, root oraz własny HPE iLO lub Dell iDRAC serwera do konsoli, mediów wirtualnych i zasilania. Jeśli sterownik wyłączy sieć, nadal widzisz ekran.

  • Nie wycinekŻadnego MIG, żadnego vGPU, żadnej alokacji ułamkowej. Jedna karta, jeden najemca.
  • Nie kolejkaNic nie wywłaszcza Twojego procesu. Karta jest bezczynna, gdy Ty jesteś bezczynny.
  • Nie kontenerGoły sprzęt. Ładuj własne moduły jądra, przypinaj własną wersję sterownika.
  • Nie pomiarWagi wchodzą, checkpointy wychodzą, rendery wychodzą. Nic nie liczy bajtów.

Dlaczego powyższe kwoty tak wyglądają

Karta to pozycja na fakturze, nie poziom produktu.

Wszędzie indziej GPU to poziom: wynajmujesz „instancję H100” i ktoś inny już zdecydował, ile powinien Cię kosztować procesor, pamięć, dyski i sieć wokół niej. Tutaj to dwie osobne pozycje, które się dodaje — dlatego karta na każdym końcu powyższej listy trafia do tej samej obudowy, a Ty płacisz różnicę między kartami i nic więcej. Część sprzętowa ma własne strony, według producenta: serwery dedykowane AMD dla linii EPYC, która obsługuje te karty, oraz serwery dedykowane Intel dla Xeon.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. Setup$29 onceNo contract; one month is the default term$29 once

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Konfigurator zaokrągla cenę za dysk i ląduje o cent lub dwa od tych kwot. Dłuższe cykle rozliczeniowe mają dodatkowy rabat; cennik ma wszystko w jednym miejscu, a starszy sprzęt, niższa cena to argument za tym, dlaczego dół tej listy w ogóle istnieje.

Ile pamięci karty

Jedyna specyfikacja, która decyduje o tym, czy to działa.

Taktowania i liczba rdzeni decydują o tym, jak szybko działa dany model. Pamięć karty decyduje o tym, czy w ogóle działa — wagi albo się mieszczą, albo nie, a karta o dwa gigabajty za mała nie jest wolniejsza, tylko powoduje awarię. To zatem liczba, którą należy ustalić przed wszystkimi innymi, a której prawie nikt nie podaje obok ceny.

Arytmetyka to parametry pomnożone przez bajty na parametr. Wagi szesnastobitowe to po dwa bajty, ośmiobitowe po jednym, czterobitowe po pół. Kwantyzacja do czterech bitów zamienia maszynę, która nie pomieści modelu, w taką, która go pomieści, kosztem pewnej utraty jakości.

Zostaw zapas. Poniższe wartości to same wagi i nic więcej. Środowisko uruchomieniowe, aktywacje i pamięć podręczna klucz-wartość dla długiego kontekstu żyją w tej samej pamięci, a pamięć podręczna rośnie z każdym tokenem w rozmowie. Model, którego wagi mają 38 GB, nie działa wygodnie na karcie 40 GB. Zaplanuj od ćwierci do połowy więcej na wierzchu albo zapytaj nas, a dobierzemy rozmiar pod to, co faktycznie uruchamiasz.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Co znajduje się pod kartą

Cztery obudowy mieszczą jedną kartę i nie są wymienne.

Każda obejmuje inną część katalogu i daje karcie inne połączenie z procesorem. Ta ostatnia kolumna jest tutaj, bo kosztuje ludzi pieniądze, a nikt jej nie drukuje: klient przeszedł z jednej generacji karty konsumenckiej na następną na magistrali trzeciej generacji i działał wolniej, a przyczynę odkrył przed nami. Dlatego jest na stronie.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

I jedna, która wcale nie jest serwerem.

Jest też desktop: podzespoły klasy biurowej, karta NVIDIA już w środku, sprzedawany jako jedna maszyna w jednej miesięcznej cenie. To najmniej, ile możesz nam zapłacić za dedykowane pudło z GPU, co czyni go sensownym miejscem do nauki CUDA, uruchamiania małego modelu, transkodowania NVENC albo utrzymywania zdalnej stacji roboczej. Cena daje mniej niż obudowa i wolimy, żebyś wiedział od razu: pojedynczy dysk bez RAID, brak konsoli out-of-band (przeinstalowania i cykle zasilania przechodzą przez nas), jeden zasilacz.

Co faktycznie zmienia generacja magistrali

Karta zaprojektowana pod nowszą magistralę działa doskonale na starszej; po prostu nie może przenosić danych przez łącze tak szybko. Czy to ma znaczenie, zależy wyłącznie od zadania.

  • Ma znaczenie, gdy dane przepływają przez magistralę bez przerwy — pętla treningowa strumieniująca paczki z dysku lub pamięci systemowej, render podający dane sceny po stronie karty w każdej klatce, cokolwiek, co wylewa się z pamięci karty.
  • Nie ma znaczenia, gdy wagi są już rezydentne i tam pozostają — inferencja na modelu, który się mieści, transkodowanie wideo, większość symulacji. Łącze przenosi żądania i wyniki, a te są małe.
  • Zapytaj, jeśli nie masz pewności. Opisz nam obciążenie, a powiemy wprost, czy platforma jest dla niego wąskim gardłem, także wtedy, gdy uczciwa odpowiedź brzmi, że tańsza karta na lepszym łączu bije droższą kartę na gorszym.

Co jest w zestawie

Wszystko, co czyni kartę użyteczną, i nic, co musisz dokupić.

  • Root i stos sterowników należy do ciebie

    Instalujemy czysty system operacyjny i przekazujemy ci klucze. Ty wybierasz wersję sterownika, wydanie CUDA lub ROCm i build frameworka, i je przypinasz — co jest sednem bare metalu i przeciwieństwem zarządzanego środowiska, które aktualizuje się pod tobą na tydzień przed terminem. Jeśli wolisz, żebyśmy zainstalowali sterownik przed przekazaniem, zaznacz to w zamówieniu, a to zrobimy.

  • Własna konsola maszyny, w osobnej sieci

    HPE iLO lub Dell iDRAC: konsola klawiatura-ekran, nośniki wirtualne, kontrola zasilania, stan sprzętu i dziennik sprzętowy. Sterownik graficzny, który zabiera ze sobą wyświetlacz lub sieć, jest niedogodnością, a nie zgłoszeniem do supportu, bo wciąż możesz patrzeć, jak maszyna się uruchamia.

  • Port bez limitu, w obie strony

    Nie ma limitu transferu do przekroczenia ani wiersza za ruch wychodzący na żadnej fakturze. Zbiory danych wchodzą, checkpointy wychodzą, rendery wychodzą, model serwowany prawdziwym użytkownikom — wszystko to przemieszcza się za cenę portu i ani bajta więcej. Nielimitowana przepustowość to szczebel powyżej dołączonej prędkości i największa pojedyncza różnica między tym a rachunkiem od hiperskalera.

  • Przeinstalowuj tak często, jak chcesz

    Obrazy systemu operacyjnego jednym kliknięciem, przeinstalowanie bez zgłoszenia i bez opłaty, więc eksperyment ze sterownikiem, który kończy się źle, kosztuje cię dwadzieścia minut. Reverse DNS możesz edytować sam, IPv6 jest w cenie, a więcej IPv4 to pozycja w katalogu, a nie negocjacja.

  • Ludzie, o każdej porze

    Telefon, czat na żywo i zgłoszenia, w cenie każdego planu, a uszkodzony podzespół wymieniany w ciągu czterech godzin od zgłoszenia telefonicznego lub na czacie. Wsparcie ma czasy reakcji i harmonogram kredytów na piśmie.

  • Pięć pomieszczeń, w których można to postawić

    Nowy Jork, Miami, San Francisco, Amsterdam i Bukareszt — a to, gdzie stoi maszyna, decyduje o twoich opóźnieniach wobec tego, kto ją wywołuje, i o tym, pod jaki reżim ochrony danych podlega. Centra danych opisują budynki.

Jak szybko powstaje

Od pół godziny do trzech tygodni, a który z tych terminów zależy od tego, gdzie stoi karta.

Nie jedna liczba, bo nigdy nie była to jedna liczba. Karta już zamontowana w maszynie już wpiętej w szafę to przekazanie. Karta, którą trzeba kupić, to zamówienie zakupu. Powiedzenie ci, o które z nich pytasz — zanim zapłacisz, a nie po — to jedyna wersja tej informacji, która ma jakąkolwiek wartość.

  1. ~30 minut

    Karta jest już w maszynie na półce

    Nic nie jest montowane i nic nie jest przenoszone. Maszyna jest obrazowana i przekazywana. Serwery natychmiastowe to lista tego, co stoi tam w tej chwili.

  2. 4–24 godziny

    Karta, którą mamy na stanie, jest montowana albo maszyna w szafie jest przekonfigurowywana

    Zwykły przypadek dla wszystkiego na tej stronie. Część jest w naszym magazynie; technik ją montuje, buduje macierz i instaluje system operacyjny. Maszyna na półce, która jest bliska, ale nie dokładna — dodana pamięć, wymieniony dysk, macierz przebudowana pod twój wybór — to ta sama praca, wykonana na miejscu, bez wyjmowania maszyny z szafy.

  3. 5–10 dni roboczych

    Kartę trzeba dokupić

    Coś z listy nie jest towarem, który trzymamy na stanie. Zamawiamy to, potem budujemy. Budowa na zamówienie to strona dla całej specyfikacji tego rodzaju.

  4. 10–15 dni roboczych

    Karta jest deficytowa

    Akceleratory obecnej generacji działają na przydziałach, a data należy do dystrybutora, nie do nas. Wskażemy najdłuższy element, zanim się zobowiążesz, a nie po. Gdy sprzęt jest kupowany dla jednego klienta, prosimy o trzy miesiące z góry, bo to maszyna, której nie możemy wynająć ponownie, jeśli konto zamknie się w drugim tygodniu.

Każdy szczebel startuje, gdy zamówienie przejdzie płatność i kontrolę antyfraudową, a to jedyny krok, na który nie złożymy obietnicy: większość przechodzi w ciągu kilku godzin, pierwsze zamówienie z nowego konta może potrwać dłużej. Akceptujemy karty, PayPal, ACH i przelewy, a także kryptowaluty — które przy większych zamówieniach zwykle przechodzą najszybciej ze wszystkich.

Pytane wcześniej

Trzynaście pytań, na które ta strona ma odpowiedzieć.

Zebrane z tego, co ludzie faktycznie pytają nas na czacie i w zgłoszeniach, mniej więcej w kolejności, w jakiej to robią. Pierwsze kosztowało nas zamówienia, więc tutaj też jest pierwsze.

Czy GPU jest dedykowane, czy współdzielone?
Dedykowane. Jedna fizyczna maszyna, jedno konto, a karta przekazana bezpośrednio do Twojego systemu operacyjnego. Żadnego hypervisora, partycji MIG, profilu vGPU, harmonogramu dzielącego czas ani cudzego obciążenia na karcie. To, co zmierzysz pierwszego popołudnia, zostaje z Tobą.
Czy mogę mieć więcej niż jedną kartę w jednej maszynie?
Tak, i jest to konfiguracja, którą wyceniamy, a nie pole do zaznaczenia. Liczba, która się zmieści, zależy od obudowy, fizycznej szerokości karty i budżetu mocy, więc uczciwa odpowiedź wymaga konkretnej karty. Zapytaj, a w odpowiedzi podamy obudowę, liczbę i czas realizacji. Kilku klientów korzysta z dwóch, a najczęstszym powodem jest pamięć, nie szybkość — dwie karty po 48 GB pomieszczą model, którego nie pomieści jedna 80 GB. Więcej niż jedna karta lub maszyna to strona poświęcona całemu temu pytaniu, w tym temu, co się zmienia, gdy druga karta staje się drugą maszyną.
Który sterownik i wersję CUDA otrzymam?
Ten, który sam zainstalujesz. Na tym polega bare metal: maszyna przychodzi z czystym systemem operacyjnym i uprawnieniami root, a Ty przypinasz sterownik, wydanie CUDA lub ROCm oraz wersję frameworka do tego, na czym testowano Twój kod — i nic nie aktualizuje się pod Tobą. Jeśli wolisz, aby sterownik został zainstalowany przed przekazaniem, zaznacz to w zamówieniu i podaj wersję. Jeśli potrzebujesz konkretnego wydania CUDA obsługiwanego przez konkretną kartę, zapytaj przed zapłatą, a my to sprawdzimy, zamiast zgadywać.
Co, jeśli karty, której chcę, nie ma dziś na półce?
Wtedy zostaje zamontowana lub zamówiona, a Ty dowiadujesz się o tym przed zapłatą. Kartę, którą mamy na stanie, montujemy w ciągu czterech do dwudziestu czterech godzin. Kartę, którą musimy kupić, w ciągu pięciu do dziesięciu dni roboczych, a akcelerator obecnej generacji na przydziale może zająć od dziesięciu do piętnastu. Ta strona celowo nie pokazuje stanu magazynowego, bo karta to część, którą montujemy, a nie produkt, który pojawia się i znika — ale jeśli chcesz maszynę dziś, serwery natychmiastowe to lista tego, co naprawdę stoi teraz w szafie.
Czy mogę później dodać lub wymienić kartę?
Tak, na maszynie, którą już masz — bez migracji, bez ponownej instalacji, bez nowego adresu. To zaplanowana wizyta przy szafie i krótka przerwa, gdy maszyna jest wyłączona, a miesięczna kwota zmienia się o różnicę między dwiema kartami. Pamięć, dyski i prędkość portu rozbudowuje się w ten sam sposób.
Co się dzieje, gdy karta ulegnie awarii?
Zostaje wymieniona, a umowa określa na to czas: cztery godziny od momentu zgłoszenia telefonicznie lub przez czat na żywo. Po tym czasie należy Ci się kredyt usługowy według opublikowanego harmonogramu, a nie na żądanie. Dział wsparcia ma harmonogram i numer telefonu na piśmie.
Czy mogę przynieść własną kartę?
Tak. Karta, którą już posiadasz, lub jakakolwiek inna część, może trafić do serwera, który od nas wynajmujesz. To nie jest darmowe: karta pobiera prąd, więc obowiązuje opłata, która zależy od sprzętu, a nie jest stałą ceną. Jeśli część, którą przyniosłeś, ulegnie awarii, nie ponosimy za nią odpowiedzialności: czterogodzinna wymiana powyżej obejmuje wyłącznie sprzęt, który dostarczamy my. Porozmawiajmy, zanim ją kupisz lub wyślesz. Umów rozmowę, a wycenimy Twoją kartę i sprawdzimy, czy maszyna ją przyjmie, bo nie każda to robi; na przykład blade nie ma miejsca na pełnowymiarowe GPU.
Czy transfer jest limitowany? Ile kosztuje ruch wychodzący?
Nic nie jest limitowane, a ruch wychodzący nic nie kosztuje, przy każdej sprzedawanej przez nas prędkości portu. Nie ma limitu transferu do przekroczenia ani pozycji za nadmiar na żadnej fakturze. W przypadku prac GPU to zwykle największy ukryty koszt gdzie indziej: przebieg treningowy, który pobiera zbiór danych i wysyła punkty kontrolne, albo punkt końcowy inferencji obsługujący prawdziwy ruch, przenosi mnóstwo bajtów, a za każdy gigabajt ruchu wychodzącego u hiperskalera płaci się za każdy z nich. Nielimitowana przepustowość to drabina powyżej dołączonej prędkości portu.
Jak to wypada w porównaniu z wynajmem GPU na godziny?
Decyduje arytmetyka. Karta na godziny jest tańsza, jeśli praca jest skokowa i naprawdę się zatrzymuje — kilkaset godzin miesięcznie lub mniej. Powyżej mniej więcej dwóch trzecich miesiąca różnica jest ogromna, a to jeszcze przed ruchem wychodzącym, przed magazynem, który musi przetrwać między przebiegami, i przed czasem, który Twoje zadanie spędza w kolejce po zasoby. Miesięczny wynajem tutaj oznacza też tę samą maszynę, te same dyski i ten sam adres w przyszłym miesiącu, co ma większe znaczenie, niż ludzie się spodziewają, gdy coś już działa produkcyjnie.
Czy mogę kopać kryptowaluty lub uruchamiać węzły blockchain i zdecentralizowanych obliczeń?
Tak. Oba typy obciążeń są tu zwykłymi zadaniami i zawsze były, a kilka kart na tej stronie kupiono właśnie w tym celu. Przy dzisiejszych cenach monet kopanie rzadko pokrywa czynsz za serwer GPU, więc przelicz liczby przed złożeniem zamówienia.
Jak mogę zapłacić i czy jest umowa?
Karta, PayPal, ACH, przelew bankowy lub kryptowaluta. Bez umowy: jeden miesiąc to domyślny i jedyny okres, cykle trzy-, sześcio- i dwunastomiesięczne objęte są rabatem, a cena nie rośnie przy odnowieniu. Płatności kryptowalutowe opisują akceptowane monety; przy większym pierwszym zamówieniu przelew lub stablecoin zwykle księguje się szybciej niż karta, co warto wiedzieć, zanim kontrola antyfraudowa opóźni realizację.
Czy mogę otrzymać zwrot, jeśli to nie było to, czego potrzebowałem?
W ciągu trzech dni kalendarzowych od pierwszej aktywacji, po wyczerpaniu możliwości rozwiązywania problemów — polityka zwrotów to dokładne brzmienie. Właśnie dlatego istnieją powyższe sekcje o doborze rozmiaru i generacji magistrali: dla nas obu taniej jest, jeśli kupisz właściwą kartę za pierwszym razem, a my wolimy namówić Cię na mniejszą, niż sprzedać Ci zwrot.
Czy macie najnowszą kartę?
Czasami, ale to złe pytanie. Najnowsza część to rzadka część na przydziale, na platformie, która nie da jej generacji magistrali, do której została zaprojektowana, w cenie zakładającej, że potrzebujesz każdego jej bitu. Większość prac GPU tutaj to nie trenowanie modelu granicznego — to serwowanie takiego, który już się mieści, kodowanie wideo, renderowanie klatek lub obsługa pulpitów, a do tego wszystkiego właściwa karta to zwykle dwie generacje wstecz i ćwierć ceny. Powiedz nam, jakie jest zadanie. Jeśli odpowiedzią naprawdę jest najnowsza część, powiemy to, a także ile będzie kosztować i kiedy może powstać.

Dokąd dalej

Strony po obu stronach tej.

Ta strona odpowiada na jedno pytanie: jakie karty montujemy i ile kosztują. Wszystko, co sąsiaduje z tym pytaniem, ma własną stronę, a to wszystkie z nich, w kolejności, w jakiej odwiedzający tę stronę faktycznie klikają.

Nadal nie wiesz, która karta? , a ktoś, kto już dobierał takie konfiguracje, odpowie — także wtedy, gdy odpowiedzią jest tańsza karta niż ta, po którą przyszedłeś.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.