Çıplak metal üzerinde grafik kartları · Primcast LLC · 2004'ten beri

İşin ne olduğunu söyle. Kartı o söyler.

GPU sunucusu satın almanın zorluğu çoğunlukla satın almak değildir. Hangi kartın yeterli olduğunu bilmektir — ve bu sektördeki her katalog, ne çalıştırmaya çalıştığınıza göre değil, parçanın ne kadar etkileyici olduğuna göre düzenlenmiştir. Bu katalog ise tam tersi şekilde düzenlenmiştir. İşin ne olduğunu ve ne kadar kart belleği gerektirdiğini söyleyin; geriye kalan, komple fiyatlandırılmış cevaptır.

Kartı bul Kart benim mi?

Makine başına tek kiracı. Kart, işletim sisteminize doğrudan aktarılır — dilimlenmez, zaman paylaşımlı değildir, sanallaştırılmaz.

GPU'larınızı pasif aylık gelire dönüştürün

Atıl durumda sunucu veya masaüstü GPU kurulumlarınız mı var? Bugün Primcast pazar yerinde listeleyin ve üretim düzeyinde işlem gücüne ihtiyaç duyan yapay zeka ekiplerinden, geliştiricilerden ve kuruluşlardan düzenli aylık kira kazanın.

Pazar Yerine Git

Tezgah

İki soru.

Hiçbir şey rezerve edilmez, hesap oluşturulmaz ve her kartın yanındaki rakam, o kartın bulunduğu sunucunun tamamıdır — işlemci, bellek, yansıtılmış diskler, limitsiz port, tek adres — yalnızca kartın kendisi değil. Kartın kendi payı altında yazılıdır, böylece paranın hangi yarısının neye gittiğini görebilirsiniz.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Tahminler, ödemenin faturalandığı katalogdan alınır; teklif değildir. Bellek rakamının eksik olduğu yerlerde üreticinin yayınladığı bir değer bulamadık, bu yüzden kart tahmin etmek yerine bunu söylüyor — ve bellek kontrolünü hareket ettirdiğiniz anda bu kartlar listeden düşer, çünkü elimizde olmayan bir sayıya göre filtrelemek size uygun olabilecek parçaları sessizce gizler. Sorun, karttan okuyalım. Birkaç parça birden fazla kasaya birden fazla fiyatla uyar; buradaki rakam o karta sahip olmanın en ucuz yoludur ve yapılandırıcı gerisini gösterir.

O listenin arkasında ne var

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Bu sayfa sunulduğunda sipariş kataloğundan sayıldı, elle yazılmadı. Yarın bir kart geri çekilirse bu şerit yarın daha kısa olur. Bu sabah rafta neyin durduğu farklı bir sorudur ve cevabı anında sunucular sayfasındadır.

Herkesin sorduğu ilk soru

Kart benim mi, yoksa paylaşıyor muyum?

Sizin. Kartın tamamı, makinenin tamamı, üzerinde başka kimse yok.

Kart, tek bir hesaba kiralanan fiziksel bir sunucudaki PCIe yuvasında durur ve doğrudan işletim sisteminize teslim edilir: kendi sürücünüz, kendi CUDA veya ROCm'unuz, kendi süreçleriniz. Sizinle kart arasında hipervizör yok, MIG bölümü yok, sıranızın ne zaman geldiğine karar veren zaman dilimleme zamanlayıcısı yok ve öğleden sonra dörtte çıkarım gecikmenizi oynatan ikinci bir kiracı yok.

Makinenin geri kalanı da aynı koşullarla sizindir — her çekirdek, tüm bellek, tüm diskler, root ve konsol, sanal ortam ve güç için sunucunun kendi HPE iLO veya Dell iDRAC'ı. Bir sürücü ağı çökertirse ekranı yine de görebilirsiniz.

  • Dilim değilMIG yok, vGPU yok, kesirli tahsis yok. Tek kart, tek kiracı.
  • Kuyruk değilHiçbir şey sürecinizi öncelemez. Siz boştayken kart da boştadır.
  • Konteyner değilÇıplak metal. Kendi çekirdek modüllerinizi yükleyin, kendi sürücü sürümünüzü sabitleyin.
  • Ölçülü değilAğırlıklar girer, kontrol noktaları çıkar, renderlar çıkar. Hiçbir şey baytları saymaz.

Yukarıdaki rakamlar neden öyle görünüyor

Kart faturada bir satırdır, bir ürün kademesi değil.

Başka her yerde GPU bir kademedir: “bir H100 örneği” kiralarsınız ve çevresindeki işlemcinin, belleğin, disklerin ve ağın size neye mal olacağına başkası karar vermiştir. Burada ikisi ayrı satırlardır ve toplanır — bu yüzden yukarıdaki listenin iki ucundaki kart da aynı kasaya girer ve kartlar arasındaki farkı ödersiniz, başka hiçbir şeyi değil.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Yapılandırıcı disk başına fiyatı yuvarlar ve bu rakamlardan bir veya iki sent sapar. Daha uzun faturalama döngüleri ek indirim alır; fiyatlandırma her şeyi tek yerde toplar ve eski donanım, düşük fiyat bu listenin en altının neden var olduğunun gerekçesidir.

Kart hafızası ne kadar?

Çalışıp çalışmayacağına karar veren tek özellik budur.

Saat hızları ve çekirdek sayıları bir modelin ne kadar hızlı çalıştığını belirler. Kart belleği ise çalışıp çalışmayacağını belirler; ağırlıklar ya uygundur ya da uygun değildir ve iki gigabayt eksik bir kart daha yavaş değil, çökmeye neden olur. Bu nedenle, her şeyden önce belirlenmesi gereken sayı budur ve neredeyse hiç kimse fiyatın yanında bunu yayınlamaz.

Aritmetik, parametrelerin parametre başına bayt sayısı ile çarpılmasıdır. On altı bitlik ağırlıklar iki bayt, sekiz bitlik ağırlıklar bir bayt, dört bitlik ağırlıklar ise yarım bayttır. Dört bite niceleme, bir modeli tutamayan bir makineyi, kalite kaybı pahasına da olsa, tutabilen bir makineye dönüştüren şeydir.

Yeterli alan bırakın. Aşağıdaki rakamlar sadece ağırlıkları gösteriyor. Uzun bir bağlam için çalışma süresi, aktivasyonlar ve anahtar-değer önbelleği aynı bellekte bulunur ve önbellek, konuşmadaki her belirteçle birlikte büyür. Ağırlıkları 38 GB olan bir model, 40 GB'lık bir kartta rahatça çalışmaz. Bunun üzerine çeyrek ila yarım GB daha ekleyin veya bize sorun, biz de gerçekte kullandığınız sisteme göre boyutlandıralım.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Kartın altında ne var?

Dört şasi bir tane kullanır ve bunlar birbirinin yerine kullanılamaz.

Her biri kataloğun farklı bir bölümünü alıyor ve karta işlemciye farklı bir bağlantı veriyor. Son sütun burada çünkü insanlara para kaybettiriyor ve kimse bunu basmıyor: Bir müşteri, üçüncü nesil bir veri yolu üzerinde bir sonraki nesil tüketici kartına geçti ve daha yavaş çalıştı ve bunun nedenini bizden önce anladı. Bu yüzden sayfada yer alıyor.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Otobüs neslinin aslında değiştirdiği şey nedir?

Daha yeni bir veri yolu için tasarlanmış bir kart, daha eski bir veri yolunda da mükemmel şekilde çalışır; tek sorun, veri aktarımının daha yavaş olmasıdır. Bunun önemli olup olmadığı tamamen yapılacak işe bağlıdır.

  • Verilerin sürekli olarak veri yolu üzerinden geçmesi önemlidir ; diskten veya sistem belleğinden veri kümeleri aktaran bir eğitim döngüsü, her karede sahne verilerini kart tarafına aktaran bir render işlemi veya kart belleğinden taşan herhangi bir şey.
  • Ağırlıklar bir kere yerleşip orada kaldıktan sonra önemi kalmaz ; uygun bir model üzerinde çıkarım yapma, video dönüştürme, çoğu simülasyon için geçerlidir. Bağlantı istekleri ve sonuçları taşır ve bunlar küçüktür.
  • Emin değilseniz sorun. İş yükünü bize bildirin, platformun bir darboğaz olup olmadığını açıkça söyleyelim; dürüst olmak gerekirse, daha iyi bağlantıya sahip daha ucuz bir kart, daha kötü bağlantıya sahip daha pahalı bir karttan daha iyidir.

Bununla birlikte neler gelir?

Kartın kullanılabilirliğini sağlayan her şey ve satın almanız gereken hiçbir şey yok.

  • Root erişimi ve sürücü yığını sizin elinizde.

    Temiz bir işletim sistemi kuruyoruz ve anahtarları size teslim ediyoruz. Sürücü sürümünü, CUDA veya ROCm sürümünü ve çerçeve yapısını seçip sabitliyorsunuz; bu, bare metal kurulumunun amacı ve son teslim tarihinden bir hafta önce sizin altınızda yükseltme yapan yönetilen bir çalışma ortamının tam tersidir. Sürücüyü teslimden önce kurmamızı tercih ederseniz, siparişte belirtin, biz de kurarız.

  • Makinenin kendi konsolu, ayrı bir ağ üzerinde yer almaktadır.

    HPE iLO veya Dell iDRAC: klavye ve ekran konsolu, sanal ortam, güç kontrolü, donanım sağlığı ve donanım günlüğü. Ekranı veya ağı da beraberinde götüren bir grafik sürücüsü, destek talebi oluşturmaktan ziyade bir rahatsızlıktır, çünkü makinenin önyüklemesini yine de izleyebilirsiniz.

  • Her iki yönde de ölçüm yapılmayan bir liman.

    Herhangi bir faturada aşılmaması gereken bir transfer limiti veya çıkış satırı bulunmamaktadır. Veri kümeleri içeri, kontrol noktaları dışarı, render işlemleri dışarı, gerçek kullanıcılara sunulan bir model – bunların hepsi port ücreti karşılığında ve bir bayt fazlası olmadan aktarılır. Sınırsız bant genişliği , dahil edilen hızın bir üst basamağıdır ve bu, bir hiper ölçekli sağlayıcının faturasından en büyük farkı oluşturur.

  • İstediğiniz sıklıkta yeniden yükleyin.

    İşletim sistemi imajları tek tıklamayla indirilebilir, yeniden kurulum için bilet gerekmez ve ücret alınmaz; bu sayede kötü sonuçlanan bir sürücü denemesi size yirmi dakikaya mal olur. Ters DNS'i düzenleyebilirsiniz, IPv6 dahildir ve daha fazla IPv4, pazarlık konusu olmaktan ziyade katalogda yer alır.

  • İnsanlar, herhangi bir saatte

    Her plana dahil olan telefon, canlı sohbet ve destek biletleri ile arızalı bir parça, telefon veya sohbet yoluyla bildirildikten sonra dört saat içinde değiştirilir. Destek ekibi , yanıt sürelerini ve kredi planını yazılı olarak bildirir.

  • İçine koymak için beş oda

    New York, Miami, San Francisco, Amsterdam ve Bükreş — ve makinenin nerede bulunduğu, onu arayan kişiye olan gecikme sürenizi ve hangi veri koruma rejimine tabi olduğunu belirler. Veri merkezleri ise binaları tanımlar.

Ne kadar çabuk var olur?

Yarım saat ile üç hafta arasında değişir ve hangisi olacağı kartın nerede durduğuna bağlıdır.

Tek bir sayı değil, çünkü hiçbir zaman tek bir sayı olmadı. Makineye zaten takılmış, rafa yerleştirilmiş bir kart, bir teslimattır. Satın alınması gereken bir kart ise bir satın alma siparişidir. Ödeme yapmadan önce, yani sonrasında değil, hangisini istediğinizi size söylemek, bunun tek değerli versiyonudur.

  1. ~30 dakika

    Kart zaten raftaki bir makinede.

    Hiçbir şey takılmıyor ve hiçbir şey yerinden oynatılmıyor. Makine imajlanıyor ve teslim ediliyor. Instant Servers, şu anda orada bulunanların listesidir.

  2. 4–24 saat

    Elimizdeki bir kart takılıyor veya rafa yerleştirilmiş bir makine yeniden düzenleniyor.

    Bu sayfadaki her şey için olağan durum şöyledir: Parça kendi depomuzda bulunur; bir teknisyen onu takar, diziyi oluşturur ve işletim sistemini kurar. Rafta bulunan, benzer ancak tam olarak aynı olmayan bir makine (bellek eklenmiş, sürücü değiştirilmiş, dizi sizin tercihinize göre yeniden oluşturulmuş) aynı işi, makine raftan çıkarılmadan yerinde yapar.

  3. 5-10 iş günü

    Kartın satın alınması gerekiyor.

    Listede yer alan bazı ürünler stoklarımızda bulunmamaktadır. Sipariş verip üretiyoruz. Siparişe göre üretim sayfası, bu tür ürünlerin tüm özelliklerini içermektedir.

  4. 10-15 iş günü

    Bu kart nadirdir.

    Mevcut nesil hızlandırıcılar tahsisat esasına göre çalışır ve tarih bizim değil, dağıtımcınındır. Taahhütte bulunmadan önce uzun direğin adını vereceğiz, sonrasında değil. Donanım tek bir müşteri için satın alındığında, üç aylık peşinat talep ediyoruz çünkü hesap ikinci haftada kapanırsa makineyi yeniden kiralayamayız.

Her aşama, siparişin ödeme ve dolandırıcılık kontrolünden geçmesiyle başlar; bu aşama için kesin bir söz veremiyoruz: çoğu sipariş birkaç saat içinde tamamlanır, yeni bir hesaptan verilen ilk sipariş daha uzun sürebilir. Kart, PayPal, ACH ve banka havalesi kabul edilir, ayrıca kripto para birimi de kabul edilir; büyük siparişler için genellikle en hızlı tamamlanan yöntem kripto paradır .

Daha önce soruldu

Bu sayfanın var olma nedeni olan on iki soru.

İnsanların sohbette ve destek kayıtlarında bize gerçekten sorduklarından, yaklaşık olarak sorulma sırasına göre derlendi. İlki bize sipariş kaybettirdi, bu yüzden burada da ilk sırada.

GPU özel mi, yoksa paylaşımlı mı?
Özel. Tek fiziksel makine, tek hesap ve kart doğrudan işletim sisteminize geçirilir. Hipervizör yok, MIG bölümü yok, vGPU profili yok, zaman dilimleme zamanlayıcısı yok ve kartta başka hiç kimsenin iş yükü yok. İlk öğleden sonra ölçtüğünüz neyse, sahip olduğunuz odur.
Bir makinede birden fazla kart alabilir miyim?
Evet ve bu, işaretlediğiniz bir kutu değil, fiyat teklifi verdiğimiz bir yapılandırmadır. Sığacak sayı kasaya, kartın fiziksel genişliğine ve güç bütçesine bağlıdır; bu yüzden dürüst cevap belirli kartı gerektirir. Sorun, yanıt kasa, sayı ve teslim süresini belirtsin. Birçok müşteri iki kart kullanıyor ve en yaygın neden hızdan çok bellek — 48 GB'lık iki kart, 80 GB'lık tek kartın sığdıramadığı bir modeli tutar. Birden fazla kart veya makine, ikinci kartın ikinci makineye dönüştüğünde nelerin değiştiği de dahil olmak üzere bu sorunun tamamının sayfasıdır.
Hangi sürücü ve CUDA sürümünü alıyorum?
Hangisini kurarsanız onu. Çıplak metalin amacı budur: makine temiz bir işletim sistemi ve root ile gelir; sürücüyü, CUDA veya ROCm sürümünü ve çerçeve yapısını kodunuzun test edildiği sürüme sabitlersiniz — ve altınızda hiçbir şey yükseltilmez. Sürücünün teslimden önce kurulmasını tercih ederseniz, siparişte belirtin ve sürümü adlandırın. Belirli bir kart tarafından desteklenen belirli bir CUDA sürümüne ihtiyacınız varsa, ödemeden önce sorun; tahmin etmek yerine kontrol edelim.
İstediğim kart bugün rafta yoksa ne olur?
O zaman takılır veya sipariş edilir ve ödemeden önce hangisi olduğu size söylenir. Elimizde bulunan bir kart dört ila yirmi dört saat içinde takılır. Satın almamız gereken bir kart beş ila on iş günü sürer ve tahsisli mevcut nesil bir hızlandırıcı on ila on beş gün sürebilir. Bu sayfa bilinçli olarak stok sayısı göstermez, çünkü kart gelip giden bir ürün değil, taktığımız bir parçadır — ama bugün bir makine istiyorsanız, anında sunucular şu anda gerçekten rafta duranların listesidir.
Kartı daha sonra ekleyebilir veya değiştirebilir miyim?
Evet, zaten sahip olduğunuz makinede — taşıma yok, yeniden kurulum yok, yeni adres yok. Rafa planlı bir ziyaret ve makine kapalıyken kısa bir kesinti olur; aylık tutar iki kart arasındaki farka göre değişir. Bellek, diskler ve bağlantı noktası hızı da aynı şekilde yükseltilir.
Bir kart arızalandığında ne olur?
Değiştirilir ve sözleşme buna bir süre koyar: telefon veya canlı sohbetle bildirdiğiniz andan itibaren dört saat. Bu süre aşılırsa, talep üzerine değil, yayınlanmış bir tarifeye göre hizmet kredisi alırsınız. Destek, tarifeyi ve telefon numarasını yazılı olarak sunar.
Bant genişliği ölçülüyor mu? Çıkış trafiğinin maliyeti nedir?
Hiçbir şey ölçülmez ve sattığımız her bağlantı noktası hızında çıkış trafiği ücretsizdir. Aşılacak bir transfer kotası yoktur ve hiçbir faturada aşım satırı yoktur. GPU işleri için bu genellikle başka yerlerdeki en büyük gizli maliyettir: bir veri kümesini içeri çeken ve kontrol noktalarını dışarı iten bir eğitim çalışması veya gerçek trafiğe yanıt veren bir çıkarım uç noktası çok fazla bayt taşır ve bir hiper ölçekleyicide gigabayt başına çıkış trafiği bunların her birinden ücretlendirilir. Ölçülmeyen bant genişliği, dahil edilen bağlantı noktası hızının üzerindeki basamaktır.
Bu, saatlik GPU kiralamakla nasıl karşılaştırılır?
Buna aritmetik karar verir. İş ani ve gerçekten duruyorsa — ayda birkaç yüz saat veya daha az — saatlik kart daha ucuzdur. Ayın kabaca üçte ikisini geçtikten sonra yakın bile değildir ve bu, çıkış trafiğinden, çalıştırmalar arasında kalıcı olması gereken depolamadan ve işinizin kapasite için kuyrukta geçirdiği zamandan öncedir. Burada aylık ayrıca gelecek ay aynı makine, aynı diskler ve aynı adres anlamına gelir; bu, bir şey üretime girdikten sonra insanların beklediğinden daha önemlidir.
Madencilik yapabilir miyim veya blok zinciri ve merkeziyetsiz hesaplama düğümleri çalıştırabilir miyim?
Evet. Her ikisi de burada sıradan iş yükleridir ve her zaman öyle olmuştur; bu sayfadaki kartların birçoğu tam olarak bunun için satın alındı. Madencilik sunucuları, yalnızca madencilik durumu için anlamlı olan parçalar da dahil olmak üzere özellikle madencilik senaryosunun sayfasıdır.
Nasıl ödeme yaparım ve sözleşme var mı?
Kart, PayPal, ACH, banka havalesi veya kripto para. Sözleşme yok: bir ay varsayılan ve tek vadedir; üç, altı ve on iki aylık döngüler indirim alır ve yenilemede fiyat artmaz. Kripto ödemeleri kabul edilen coinleri kapsar; daha büyük bir ilk sipariş için havale veya sabit coin genellikle karttan daha hızlı temizlenir; bunu bilmek, bir dolandırıcılık kontrolü yapıyı geciktirmeden önce faydalıdır.
İhtiyacım olan şey değilse para iadesi alabilir miyim?
İlk etkinleştirmeden itibaren üç takvim günü içinde, sorun giderme tükendikten sonra — iade politikası tam ifadedir. Yukarıdaki boyutlandırma ve veri yolu nesli bölümlerinin var olmasının nedeni tam olarak budur: doğru kartı ilk seferde almanız ikimiz için de daha ucuzdur ve size bir iade satmaktansa sizi daha küçük bir karta ikna etmeyi tercih ederiz.
En yeni karta sahip misiniz?
Bazen ve bu yanlış sorudur. En yeni parça, tasarlandığı veri yolu neslini vermeyecek bir platformda, her bitine ihtiyacınız olduğunu varsayan bir fiyata, tahsisli kıt bir parçadır. Buradaki GPU işlerinin çoğu sınırda bir model eğitmek değildir — zaten sığan bir modeli sunmak, video kodlamak, kareler oluşturmak veya masaüstlerini çalıştırmaktır ve bunların tümü için doğru kart genellikle iki nesil geride ve paranın dörtte biridir. Bize işi söyleyin. Cevap gerçekten en yeni parçaysa bunu söyleriz ve ayrıca maliyetini ve ne zaman var olabileceğini de söyleriz.

Sonraki adım

Bu sayfanın iki yanındaki sayfalar.

Bu sayfa tek bir soruya sahiptir: hangi kartları takıyoruz ve maliyetleri nedir. Bu soruya bitişik her şeyin kendi sayfası vardır ve bu, ziyaretçilerin bu sayfada gerçekten tıkladığı sırayla hepsidir.

Hâlâ hangi kartın doğru olduğundan emin değil misiniz? ve daha önce bunlardan birini boyutlandırmış biri yanıtlayacaktır — cevap, geldiğiniz karttan daha ucuz bir kart olduğunda bile.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.