Çıplak metal üzerinde grafik kartları · Primcast LLC · 2004'ten beri

İşin ne olduğunu söyle. Kartı o söyler.

GPU sunucusu satın almanın zorluğu çoğunlukla satın almak değildir. Hangi kartın yeterli olduğunu bilmektir — ve bu sektördeki her katalog, çalıştırmaya çalıştığınız işe göre değil, parçanın ne kadar etkileyici olduğuna göre düzenlenmiştir. Bu katalog ise tam tersi şekilde düzenlenmiştir. İşin ne olduğunu ve ne kadar kart belleği gerektirdiğini söyleyin; geriye kalan, komple fiyatlandırılmış cevaptır.

Kartı bul Kart benim mi?

Makine başına tek kiracı. Kart, işletim sisteminize doğrudan aktarılır — dilimlenmez, zaman paylaşımlı değildir, sanallaştırılmaz.

GPU'larınızı pasif aylık gelire dönüştürün

Atıl sunucu veya masaüstü GPU kurulumlarınız mı var? Bugün Primcast pazar yerinde listeleyin ve üretim düzeyinde işlem gücüne ihtiyaç duyan yapay zeka ekiplerinden, geliştiricilerden ve kuruluşlardan düzenli aylık kira kazanın.

Pazar Yerine Git

Tezgah

İki soru.

Hiçbir şey rezerve edilmez, hesap oluşturulmaz ve her kartın yanındaki rakam, o kartın bulunduğu sunucunun tamamıdır — işlemci, bellek, yansıtılmış diskler, limitsiz port, tek adres — kartın tek başına fiyatı değildir. Kartın kendi payı altında yazılıdır, böylece paranın hangi yarısının neye gittiğini görebilirsiniz.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A20006 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,328 CUDA cores$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP 170HX 64GB HBM2e8 GB HBM2e, 64 GB unlockedIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Tahminler, ödemenin faturalandığı katalogdan alınır, teklif değildir. Bellek rakamının eksik olduğu yerlerde üretici tarafından yayınlanmış bir değer bulamadık, bu yüzden kart tahmin etmek yerine bunu söylüyor — ve bellek kontrolünü hareket ettirdiğiniz anda bu kartlar listeden düşer, çünkü sahip olmadığımız bir sayıya göre filtrelemek size uygun olabilecek parçaları sessizce gizler. Sorun, karttan okuyalım. Birkaç parça birden fazla kasaya birden fazla fiyattan uyar; buradaki rakam o karta sahip olmanın en ucuz yoludur ve yapılandırıcı gerisini gösterir.

O listenin arkasında ne var

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Bu sayfa sunulduğunda sipariş kataloğundan sayılmıştır, elle yazılmamıştır. Yarın bir kart geri çekilirse bu şerit yarın daha kısa olur. Bu sabah rafta neyin durduğu farklı bir sorudur ve anında sunucular bunun cevaplandığı yerdir.

Herkesin sorduğu ilk soru

Kart benim mi, yoksa paylaşıyor muyum?

Sizin. Kartın tamamı, makinenin tamamı, üzerinde başka kimse yok.

Kart, tek bir hesaba kiralanan fiziksel bir sunucudaki PCIe yuvasında durur ve doğrudan işletim sisteminize teslim edilir: kendi sürücünüz, kendi CUDA veya ROCm'unuz, kendi süreçleriniz. Sizinle kart arasında hipervizör yok, MIG bölümü yok, sıranızın ne zaman geldiğine karar veren zaman dilimleme zamanlayıcısı yok ve toplu işi öğleden sonra dörtte çıkarım gecikmenizi oynatan ikinci bir kiracı yok.

Makinenin geri kalanı da aynı koşullarla sizindir — her çekirdek, tüm bellek, tüm diskler, root ve konsol, sanal ortam ve güç için sunucunun kendi HPE iLO veya Dell iDRAC'ı. Bir sürücü ağı çökertirse ekranı yine de görebilirsiniz.

  • Dilim değilMIG yok, vGPU yok, kesirli tahsis yok. Tek kart, tek kiracı.
  • Kuyruk değilHiçbir şey sürecinizi öncelemez. Siz boştayken kart boştadır.
  • Konteyner değilÇıplak metal. Kendi çekirdek modüllerinizi yükleyin, kendi sürücü sürümünüzü sabitleyin.
  • Ölçülü değilAğırlıklar girer, kontrol noktaları çıkar, renderlar çıkar. Hiçbir şey baytları saymaz.

Yukarıdaki rakamlar neden öyle görünüyor

Kart faturada bir satırdır, ürün kademesi değil.

Başka her yerde GPU bir kademedir: “bir H100 örneği” kiralarsınız ve çevresindeki işlemcinin, belleğin, disklerin ve ağın size ne kadara mal olacağına başkası karar vermiştir. Burada ikisi toplanan ayrı satırlardır — bu yüzden yukarıdaki listenin her iki ucundaki bir kart aynı kasaya girer ve kartlar arasındaki farkı ödersiniz, başka hiçbir şeyi değil. Makine yarısının üreticiye göre kendi sayfaları var: EPYC serisi için AMD dedicated sunucular — bu kartları kullanan seri — ve Xeon için Intel dedicated sunucular.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. Setup$29 onceNo contract; one month is the default term$29 once

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Yapılandırıcı disk başına fiyatı yuvarlar ve bu rakamlardan bir veya iki sent sapar. Daha uzun faturalandırma döngüleri ek indirim alır; fiyatlandırma her şeyi tek yerde toplar ve eski donanım, daha düşük fiyat bu listenin en altının neden var olduğunun gerekçesidir.

Ne kadar kart belleği

Çalışıp çalışmayacağına karar veren tek özellik.

Saat hızları ve çekirdek sayıları bir modelin ne kadar hızlı çalışacağını belirler. Kart belleği ise hiç çalışıp çalışmayacağını belirler — ağırlıklar ya sığar ya sığmaz ve iki gigabayt eksik kalan bir kart daha yavaş değil, çökme demektir. Bu yüzden her şeyden önce netleştirilmesi gereken sayı budur ve neredeyse hiç kimsenin bir fiyatın yanına yazmadığı sayı da budur.

Hesap şudur: parametre sayısı çarpı parametre başına bayt. On altı bit ağırlıklar iki bayttır, sekiz bit bir bayttır, dört bit yarım bayttır. Dört bite nicemlemek, bir modeli tutamayan bir makineyi tutabilir hale getiren şeydir; kaliteden bir miktar ödün vererek.

Boşluk bırakın. Aşağıdaki rakamlar yalnızca ağırlıklardır, başka hiçbir şey değil. Çalışma zamanı, aktivasyonlar ve uzun bir bağlam için anahtar-değer önbelleği aynı bellekte yaşar ve önbellek konuşmadaki her token ile büyür. Ağırlıkları 38 GB olan bir model, 40 GB'lık bir kartta rahatça servis edilmez. Üzerine dörtte bir ila yarısı kadar daha bütçe ayırın ya da bize sorun, gerçekte çalıştırdığınız işe göre boyutlandıralım.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Kartın altında ne var

Dört kasa bir kart alır ve birbirlerinin yerine geçmezler.

Her biri kataloğun farklı bir bölümünü alır ve karta işlemciye giden farklı bir bağlantı verir. Son sütun burada çünkü insanlara paraya mal oluyor ve kimse yazmıyor: bir müşteri bir nesil tüketici kartından diğerine üçüncü nesil bir veri yolunda geçti ve daha yavaş çalıştı; nedenini bizden önce kendisi buldu. O yüzden sayfada.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Ve hiç sunucu olmayan bir tane.

Bir de masaüstü var: ofis sınıfı parçalar, içinde hazır bir NVIDIA kart, tek bir makine olarak tek bir aylık fiyata satılır. GPU'lu özel bir kutu için bize ödeyebileceğiniz en düşük tutardır; bu da onu CUDA öğrenmek, küçük bir model çalıştırmak, NVENC ile dönüştürme yapmak ya da uzak bir iş istasyonu tutmak için mantıklı bir yer yapar. Fiyat bir kasadan daha azını satın alır ve bunu şimdiden bilmenizi isteriz: RAID'siz tek disk, bant dışı konsol yok (yeniden kurulumlar ve güç döngüleri bizden geçer), tek güç kaynağı.

Veri yolu nesli gerçekte neyi değiştirir

Daha yeni bir veri yolu için tasarlanmış bir kart, daha eskisinde kusursuz çalışır; yalnızca veriyi bağlantı üzerinden o kadar hızlı taşıyamaz. Bunun önemli olup olmadığı tamamen işe bağlıdır.

  • Önemlidir veri sürekli olarak veri yolundan geçtiğinde — diskten ya da sistem belleğinden yığınları akıtan bir eğitim döngüsü, her karede sahne verisini kart tarafına besleyen bir render, kart belleğinden taşan herhangi bir şey.
  • Önemli değildir ağırlıklar bir kez yerleşip orada kaldığında — sığan bir modelde çıkarım, video dönüştürme, çoğu simülasyon. Bağlantı istekleri ve sonuçları taşır ve bunlar küçüktür.
  • Emin değilseniz sorun. İş yükünü söyleyin, platformun onun için bir darboğaz olup olmadığını açıkça söyleyelim; dürüst cevap daha iyi bir bağlantıdaki daha ucuz bir kartın daha kötü bir bağlantıdaki daha pahalı bir kartı yendiği olduğunda bile.

Yanında ne gelir

Kartı kullanılabilir kılan her şey ve satın almanız gereken hiçbir şey.

  • Root ve sürücü yığını sizindir

    Temiz bir işletim sistemi kurar ve anahtarları size teslim ederiz. Sürücü sürümünü, CUDA veya ROCm sürümünü ve çerçeve derlemesini siz seçer ve sabitlersiniz — ki bu, bare metal'in amacıdır ve bir teslim tarihinden bir hafta önce altınızda güncellenen yönetilen bir çalışma zamanının tam tersidir. Teslimden önce sürücüyü bizim kurmamızı tercih ederseniz, siparişte belirtin, kurarız.

  • Makinenin kendi konsolu, ayrı bir ağda

    HPE iLO veya Dell iDRAC: klavye-ve-ekran konsolu, sanal ortam, güç kontrolü, donanım sağlığı ve donanım günlüğü. Ekranı ya da ağı da beraberinde götüren bir grafik sürücüsü, bir destek talebi değil bir rahatsızlıktır çünkü makinenin açılışını yine de izleyebilirsiniz.

  • Her iki yönde de limitsiz bir port

    Aşılacak bir transfer kotası yok ve hiçbir faturada çıkış satırı yok. Veri setleri içeri, kontrol noktaları dışarı, renderlar dışarı, gerçek kullanıcılara servis edilen bir model — hepsi portun fiyatına taşınır, bir bayt fazlasına değil. Limitsiz bant genişliği, dahil edilen hızın üzerindeki basamaktır ve bununla bir hiper ölçekleyiciden gelen fatura arasındaki en büyük tek fark budur.

  • İstediğiniz sıklıkta yeniden kurun

    İşletim sistemi görüntüleri tek tıkla, talep olmadan ve ücret olmadan yeniden kurulabilir; böylece kötü biten bir sürücü deneyi size yirmi dakikaya mal olur. Ters DNS sizin düzenlemenize açıktır, IPv6 dahildir ve daha fazla IPv4 bir pazarlık değil bir katalog satırıdır.

  • İnsanlar, her saatte

    Telefon, canlı sohbet ve talepler her planda dahildir ve arızalı bir bileşen telefon ya da sohbetle bildirildikten sonra dört saat içinde değiştirilir. Destek sayfasında yanıt süreleri ve kredi takvimi yazılıdır.

  • Koyacak beş oda

    New York, Miami, San Francisco, Amsterdam ve Bükreş — ve makinenin nerede durduğu, onu arayan kişiye gecikmenizi ve hangi veri koruma rejimine tabi olduğunu belirler. Veri merkezleri binaları anlatır.

Ne kadar sürede var olur

Yarım saat ile üç hafta arasında ve hangisi olduğu kartın nerede durduğuna bağlıdır.

Tek bir sayı değil, çünkü hiçbir zaman tek bir sayı olmadı. Zaten rafa konmuş bir makineye takılmış bir kart bir teslimattır. Satın alınması gereken bir kart bir satın alma siparişidir. Hangisini istediğinizi — ödemeden önce, sonra değil — söylemek, bunun bir işe yarayan tek halidir.

  1. ~30 dakika

    Kart zaten raftaki bir makinenin içinde

    Hiçbir şey takılmaz ve hiçbir şey taşınmaz. Makine görüntülenir ve teslim edilir. Anında sunucular, şu anda orada duranların listesidir.

  2. 4–24 saat

    Elimizdeki bir kart takılır ya da raftaki bir makine yeniden düzenlenir

    Bu sayfadaki her şey için olağan durum. Parça kendi depomuzdadır; bir teknisyen takar, diziyi kurar ve işletim sistemini yükler. Raftaki yakın ama tam olmayan bir makine — bellek eklenmiş, bir sürücü değiştirilmiş, dizi sizin seçiminize göre yeniden kurulmuş — aynı iştir, makine raftan çıkmadan yerinde yapılır.

  3. 5–10 iş günü

    Kartın satın alınması gerekir

    Listedeki bir şey taşıdığımız stok değildir. Sipariş eder, sonra kurarız. Siparişe göre üretim, bu türden bütün bir özellik listesi için olan sayfadır.

  4. 10–15 iş günü

    Kart kıttır

    Güncel nesil hızlandırıcılar tahsisle çalışır ve tarih dağıtıcınınkidir, bizim değil. Uzun direği taahhüt etmeden önce söyleriz, sonra değil. Donanımın tek bir müşteri için satın alındığı durumlarda üç ay peşin isteriz çünkü hesap ikinci haftada kapanırsa yeniden kiraya veremeyeceğimiz bir makinedir.

Her basamak, sipariş ödeme ve dolandırıcılık incelemesinden geçtiğinde başlar; bu, üzerine söz vermeyeceğimiz tek adımdır: çoğu birkaç saat içinde temizlenir, yeni bir hesaptan gelen ilk sipariş daha uzun sürebilir. Kart, PayPal, ACH ve havale kabul edilir; kripto para da kabul edilir — ki büyük siparişlerde genellikle temizlenmesi en hızlı olanıdır.

Daha önce soruldu

Bu sayfanın yanıtlamak için var olduğu on üç soru.

İnsanların sohbette ve destek kayıtlarında bize gerçekten sorduklarından alınmıştır; yaklaşık olarak sorulma sırasına göre dizilmiştir. İlki bize sipariş kaybettirdi, bu yüzden burada da ilk sırada.

GPU adanmış mı, yoksa paylaşımlı mı?
Adanmış. Tek fiziksel makine, tek hesap ve kart doğrudan işletim sisteminize geçirilir. Hipervizör yok, MIG bölümü yok, vGPU profili yok, zaman dilimleme zamanlayıcısı yok ve kartta başka kimsenin iş yükü yok. İlk öğleden sonra ölçtüğünüz neyse, elinizde kalan odur.
Bir makinede birden fazla kart alabilir miyim?
Evet ve bu, bir kutuyu işaretlemekten çok fiyat teklifi verdiğimiz bir yapılandırmadır. Sığan sayı kasaya, kartın fiziksel genişliğine ve güç bütçesine bağlıdır; bu yüzden dürüst yanıt belirli kartı gerektirir. Sorun, yanıt kasa modelini, kart sayısını ve teslim süresini belirtir. Birçok müşteri iki kart kullanır ve en yaygın neden hızdan çok bellektir — 48 GB'lık iki kart, 80 GB'lık tek kartın sığdıramadığı bir modeli tutar. Birden fazla kart veya makine, ikinci kartın ikinci makineye dönüştüğünde nelerin değiştiği de dahil olmak üzere bu sorunun tamamının sayfasıdır.
Hangi sürücü ve CUDA sürümünü alırım?
Hangisini kurarsanız onu. Çıplak metalin amacı budur: makine temiz bir işletim sistemi ve root ile gelir; sürücüyü, CUDA veya ROCm sürümünü ve çerçeve yapısını kodunuzun test edildiği sürüme sabitlersiniz — ve altınızda hiçbir şey kendiliğinden güncellenmez. Sürücünün teslimden önce kurulmasını tercih ederseniz, siparişte belirtin ve sürümü adlandırın. Belirli bir kart tarafından desteklenen belirli bir CUDA sürümüne ihtiyacınız varsa, ödemeden önce sorun; tahmin etmek yerine kontrol ederiz.
İstediğim kart bugün rafta yoksa ne olur?
O zaman takılır veya sipariş edilir ve ödemeden önce hangisi olduğu size söylenir. Elimizde tuttuğumuz bir kart dört ila yirmi dört saat içinde takılır. Satın almamız gereken bir kart beş ila on iş günü sürer; tahsisli güncel nesil bir hızlandırıcı ise on ila on beş gün sürebilir. Bu sayfa bilinçli olarak stok sayısı göstermez, çünkü kart gelip giden bir üründen çok taktığımız bir parçadır — ama bugün bir makine istiyorsanız, anında sunucular şu anda gerçekten rafta duranların listesidir.
Kartı sonradan ekleyebilir veya değiştirebilir miyim?
Evet, zaten sahip olduğunuz makinede — taşıma yok, yeniden kurulum yok, yeni adres yok. Rafa planlı bir ziyaret ve makine kapalıyken kısa bir kesinti olur; aylık tutar iki kart arasındaki farka göre değişir. Bellek, diskler ve bağlantı noktası hızı da aynı şekilde yükseltilir.
Bir kart arızalandığında ne olur?
Değiştirilir ve sözleşme buna bir süre koyar: telefon veya canlı sohbetle bildirdiğiniz andan itibaren dört saat. Bu süre aşılırsa, talep üzerine değil yayımlanmış bir tarifeye göre hizmet kredisi alırsınız. Destek, tarifeyi ve telefon numarasını yazılı olarak elinde bulundurur.
Kendi kartımı getirebilir miyim?
Evet. Zaten sahip olduğunuz bir kart veya başka herhangi bir parça, bizden kiraladığınız sunucuya takılabilir. Ücretsiz değildir: kart güç çeker, bu yüzden bir ücret vardır ve sabit bir fiyat olmaktan çok donanıma bağlıdır. Getirdiğiniz bir parça arızalanırsa bundan sorumlu değiliz: yukarıdaki dört saatlik değiştirme yalnızca bizim sağladığımız donanımı kapsar. Satın almadan veya göndermeden önce konuşalım. Bir görüşme planlayın; kartınızı fiyatlandıralım ve makinenin onu kabul edip etmediğini kontrol edelim, çünkü her makine kabul etmez; örneğin bir blade'de tam boyutlu bir GPU için yer yoktur.
Bant genişliği ölçülüyor mu? Çıkış trafiğinin maliyeti nedir?
Hiçbir şey ölçülmez ve sattığımız her bağlantı noktası hızında çıkış trafiği ücretsizdir. Aşılacak bir transfer kotası yoktur ve hiçbir faturada aşım satırı yoktur. GPU işleri için bu genellikle başka yerlerdeki en büyük gizli maliyettir: bir veri kümesini içeri çeken ve kontrol noktalarını dışarı iten bir eğitim çalışması veya gerçek trafiğe yanıt veren bir çıkarım uç noktası çok sayıda bayt taşır ve bir hiper ölçekleyicide gigabayt başına çıkış trafiği bunların her birinden ücretlendirilir. Ölçülmeyen bant genişliği, dahil edilen bağlantı noktası hızının üzerindeki basamaktır.
Bu, saatlik GPU kiralamakla nasıl karşılaştırılır?
Aritmetik buna karar verir. İş ani yükselişliyse ve gerçekten duruyorsa — ayda birkaç yüz saat veya daha az — saatlik bir kart daha ucuzdur. Ayın kabaca üçte ikisini geçtikten sonra fark kapanmaz ve bu; çıkış trafiğinden, çalıştırmalar arasında kalıcı olması gereken depolamadan ve işinizin kapasite için kuyrukta geçirdiği zamandan öncedir. Burada aylık aynı zamanda gelecek ay aynı makine, aynı diskler ve aynı adres anlamına gelir; bu da bir şey üretime girdikten sonra insanların beklediğinden daha önemlidir.
Madencilik yapabilir veya blok zinciri ve merkeziyetsiz hesaplama düğümleri çalıştırabilir miyim?
Evet. Her ikisi de burada sıradan iş yükleridir ve her zaman öyle olmuştur; bu sayfadaki kartların birçoğu tam olarak bunun için satın alındı. Bugünün coin fiyatlarında madencilik bir GPU sunucusunun kirasını nadiren karşılar, bu yüzden sipariş vermeden önce rakamları hesaplayın.
Nasıl ödeme yaparım ve sözleşme var mı?
Kart, PayPal, ACH, banka havalesi veya kripto para. Sözleşme yok: bir ay varsayılan ve tek vadedir; üç, altı ve on iki aylık döngüler indirim alır ve yenilemede fiyat artmaz. Kripto ödemeler kabul edilen coinleri kapsar; daha büyük bir ilk sipariş için havalenin veya bir sabit coinin genellikle karttan daha hızlı temizlendiğini bilmek, bir dolandırıcılık kontrolü yapıyı geciktirmeden önce değerlidir.
İhtiyacım olan şey değilse para iadesi alabilir miyim?
İlk etkinleştirmeden itibaren üç takvim günü içinde, sorun giderme tükendikten sonra — iade politikası tam ifadedir. Yukarıdaki boyutlandırma ve veri yolu nesli bölümlerinin var olmasının nedeni tam olarak budur: doğru kartı ilk seferde almanız ikimiz için de daha ucuzdur ve size iade satmaktansa daha küçük bir karta ikna etmeyi tercih ederiz.
En yeni karta sahip misiniz?
Bazen ve bu yanlış sorudur. En yeni parça, tahsisli kıt bir parçadır; onu tasarlandığı veri yolu neslini vermeyecek bir platformda ve her bitine ihtiyacınız olduğunu varsayan bir fiyatla sunulur. Buradaki GPU işlerinin çoğu bir öncü modeli eğitmek değildir — zaten sığan bir modeli sunmak, video kodlamak, kareler işlemek veya masaüstlerini çalıştırmaktır ve bunların tümü için doğru kart genellikle iki nesil geride ve paranın dörtte biri kadardır. Bize işi söyleyin. Yanıt gerçekten en yeni parçaysa bunu söyleriz; ayrıca maliyetini ve ne zaman var olabileceğini de söyleriz.

Sonraki adım

Bu sayfanın iki yanındaki sayfalar.

Bu sayfa tek bir soruya sahiptir: hangi kartları taktığımız ve maliyetleri. Bu soruya bitişik her şeyin kendi sayfası vardır ve bu, bu sayfayı ziyaret edenlerin gerçekten tıkladığı sırayla hepsidir.

Hâlâ hangi kartın doğru olduğundan emin değil misiniz? ; daha önce bunlardan birini boyutlandırmış biri yanıtlar — yanıt, geldiğiniz karttan daha ucuz bir kart olduğunda bile.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.