Çıplak donanıma grafik kartı montajı · Primcast LLC · 2004'ten beri

Ona işin ne olduğunu söyleyin. O da size kartı söyleyecektir.

GPU sunucusu satın almanın zorluğunun büyük kısmı satın alma işleminde değil, hangi kartın yeterli olduğunu bilmekte yatıyor. Bu sektördeki her katalog, ne çalıştırmaya çalıştığınızdan ziyade parçanın ne kadar etkileyici olduğuna göre düzenlenmiştir. Bu katalog ise tam tersi şekilde düzenlenmiştir. Yapılacak işi ve ne kadar kart belleğine ihtiyaç duyduğunu belirtin, geriye kalan miktar size eksiksiz fiyatla sunulacaktır.

Kartı bulun Kart benim mi?

Makine başına bir kiracı. Kart, işletim sisteminize doğrudan aktarılır; dilimlenmez, zaman paylaşımı yapılmaz, sanallaştırılmaz.

bank

İki soru.

Hiçbir şey rezerve edilmez, hesap oluşturulmaz ve her kartın yanındaki rakam, o kartın da dahil olduğu tüm sunucuyu (işlemci, bellek, aynalı diskler, sınırsız port, tek adres) temsil eder; kartın kendisini değil. Kartın kendi payı altında yazılıdır, böylece paranın hangi yarısının kime ait olduğunu görebilirsiniz.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  47. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  48. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  49. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  50. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  51. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  52. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  53. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  54. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  55. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  56. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Fiyat teklifleri değil, aynı katalogdan alınan tahminler. Bellek değeri eksik olduğunda, üretici tarafından yayınlanmış bir değer bulamadık, bu nedenle kartta tahmin etmek yerine bu değer belirtiliyor — ve bellek kontrolünü değiştirdiğiniz anda bu kartlar listeden çıkarılıyor, çünkü elimizde olmayan bir sayıya göre filtreleme yapmak, size uygun olabilecek parçaları sessizce gizleyecektir. İsteyin, karttan okuyalım. Birçok parça birden fazla kasaya birden fazla fiyata uyuyor; buradaki rakam, o karta sahip olmanın en ucuz yoludur ve yapılandırıcı geri kalanını gösterir.

Bu listenin ardında ne var?

  • 56Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Bu sayfa sunulduğunda sipariş kataloğundan sayılmıştır, elle girilmemiştir. Eğer kart yarın çekilirse, bu şerit yarın daha küçük olacaktır. Bu sabah rafta ne olduğu farklı bir sorudur ve anlık sunucular bu sorunun cevabını verir.

Herkesin sorduğu ilk soru

Bu kart benim mi, yoksa başkalarıyla mı paylaşıyorum?

Senin. Kartın tamamı, makinenin tamamı, üzerinde başka kimse yok.

Kart, tek bir hesaba kiralanmış fiziksel bir sunucudaki PCIe yuvasına takılıdır ve doğrudan işletim sisteminize verilir: kendi sürücünüz, kendi CUDA veya ROCm'niz, kendi işlemleriniz. Sizinle arasında hiçbir hipervizör, hiçbir MIG bölümü, sıranızın ne zaman geleceğine karar veren hiçbir zaman dilimleme zamanlayıcısı ve çıkarım gecikmenizi öğleden sonra dörtte hareket ettiren toplu işi olan ikinci bir kiracı yoktur.

Makinenin geri kalanı da aynı şartlarda sizin kullanımınızda: her çekirdek, tüm bellek, tüm diskler, root dizini ve sunucunun kendi HPE iLO veya Dell iDRAC'ı (konsol, sanal ortam ve güç için). Bir sürücü ağı devre dışı bıraksa bile ekranı görebilirsiniz.

  • Dilimleme yok. MIG yok, vGPU yok, kesirli tahsis yok. Tek kart, tek kiracı.
  • Sıra bekleme durumu değil . Hiçbir şey işleminizi önceliklendirmiyor. Siz boşta olduğunuzda kart da boşta kalıyor.
  • Konteyner değil, doğrudan donanım üzerinde çalışır. Kendi çekirdek modüllerinizi yükleyin, kendi sürücü sürümünüzü sabitleyin.
  • Ölçülmemiş. Ağırlıklar giriyor, kontrol noktaları çıkıyor, görüntüler oluşturuluyor. Hiçbir şey baytları saymıyor.

Yukarıdaki rakamlar neden böyle görünüyor?

Kart, faturada yer alan bir kalemdir, ürün kategorisini temsil etmez.

Diğer her yerde GPU bir kademe olarak ele alınır: "Bir H100 örneği" kiralarsınız ve işlemci, bellek, diskler ve etrafındaki ağın size ne kadara mal olacağına başkası karar vermiştir. Burada ise ikisi ayrı ayrı kalemler halinde toplanır; bu nedenle yukarıdaki listedeki kartların her iki ucundaki kartlar aynı kasaya takılır ve siz sadece kartlar arasındaki farkı ödersiniz.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Yapılandırma aracı, disk başına fiyatı yuvarlar ve bu rakamlardan bir veya iki sent düşürür. Daha uzun faturalama dönemleri ek bir indirim sağlar; fiyatlandırma her şeyi tek bir yerde toplar ve eski donanım, daha düşük fiyat, bu listenin en alt kısmının var olma nedenini açıklar.

Kart hafızası ne kadar?

Çalışıp çalışmayacağına karar veren tek özellik budur.

Saat hızları ve çekirdek sayıları bir modelin ne kadar hızlı çalıştığını belirler. Kart belleği ise çalışıp çalışmayacağını belirler; ağırlıklar ya uygundur ya da uygun değildir ve iki gigabayt eksik bir kart daha yavaş değil, çökmeye neden olur. Bu nedenle, her şeyden önce belirlenmesi gereken sayı budur ve neredeyse hiç kimse fiyatın yanında bunu yayınlamaz.

Aritmetik, parametrelerin parametre başına bayt sayısı ile çarpılmasıdır. On altı bitlik ağırlıklar iki bayt, sekiz bitlik ağırlıklar bir bayt, dört bitlik ağırlıklar ise yarım bayttır. Dört bite niceleme, bir modeli tutamayan bir makineyi, kalite kaybı pahasına da olsa, tutabilen bir makineye dönüştüren şeydir.

Yeterli alan bırakın. Aşağıdaki rakamlar sadece ağırlıkları gösteriyor. Uzun bir bağlam için çalışma süresi, aktivasyonlar ve anahtar-değer önbelleği aynı bellekte bulunur ve önbellek, konuşmadaki her belirteçle birlikte büyür. Ağırlıkları 38 GB olan bir model, 40 GB'lık bir kartta rahatça çalışmaz. Bunun üzerine çeyrek ila yarım GB daha ekleyin veya bize sorun, biz de gerçekte kullandığınız sisteme göre boyutlandıralım.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Kartın altında ne var?

Dört şasi bir tane kullanır ve bunlar birbirinin yerine kullanılamaz.

Her biri kataloğun farklı bir bölümünü alıyor ve karta işlemciye farklı bir bağlantı veriyor. Son sütun burada çünkü insanlara para kaybettiriyor ve kimse bunu basmıyor: Bir müşteri, üçüncü nesil bir veri yolu üzerinde bir sonraki nesil tüketici kartına geçti ve daha yavaş çalıştı ve bunun nedenini bizden önce anladı. Bu yüzden sayfada yer alıyor.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
43
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
47
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Otobüs neslinin aslında değiştirdiği şey nedir?

Daha yeni bir veri yolu için tasarlanmış bir kart, daha eski bir veri yolunda da mükemmel şekilde çalışır; tek sorun, veri aktarımının daha yavaş olmasıdır. Bunun önemli olup olmadığı tamamen yapılacak işe bağlıdır.

  • Verilerin sürekli olarak veri yolu üzerinden geçmesi önemlidir ; diskten veya sistem belleğinden veri kümeleri aktaran bir eğitim döngüsü, her karede sahne verilerini kart tarafına aktaran bir render işlemi veya kart belleğinden taşan herhangi bir şey.
  • Ağırlıklar bir kere yerleşip orada kaldıktan sonra önemi kalmaz ; uygun bir model üzerinde çıkarım yapma, video dönüştürme, çoğu simülasyon için geçerlidir. Bağlantı istekleri ve sonuçları taşır ve bunlar küçüktür.
  • Emin değilseniz sorun. İş yükünü bize bildirin, platformun bir darboğaz olup olmadığını açıkça söyleyelim; dürüst olmak gerekirse, daha iyi bağlantıya sahip daha ucuz bir kart, daha kötü bağlantıya sahip daha pahalı bir karttan daha iyidir.

Bununla birlikte neler gelir?

Kartın kullanılabilirliğini sağlayan her şey ve satın almanız gereken hiçbir şey yok.

  • Root erişimi ve sürücü yığını sizin elinizde.

    Temiz bir işletim sistemi kuruyoruz ve anahtarları size teslim ediyoruz. Sürücü sürümünü, CUDA veya ROCm sürümünü ve çerçeve yapısını seçip sabitliyorsunuz; bu, bare metal kurulumunun amacı ve son teslim tarihinden bir hafta önce sizin altınızda yükseltme yapan yönetilen bir çalışma ortamının tam tersidir. Sürücüyü teslimden önce kurmamızı tercih ederseniz, siparişte belirtin, biz de kurarız.

  • Makinenin kendi konsolu, ayrı bir ağ üzerinde yer almaktadır.

    HPE iLO veya Dell iDRAC: klavye ve ekran konsolu, sanal ortam, güç kontrolü, donanım sağlığı ve donanım günlüğü. Ekranı veya ağı da beraberinde götüren bir grafik sürücüsü, destek talebi oluşturmaktan ziyade bir rahatsızlıktır, çünkü makinenin önyüklemesini yine de izleyebilirsiniz.

  • Her iki yönde de ölçüm yapılmayan bir liman.

    Herhangi bir faturada aşılmaması gereken bir transfer limiti veya çıkış satırı bulunmamaktadır. Veri kümeleri içeri, kontrol noktaları dışarı, render işlemleri dışarı, gerçek kullanıcılara sunulan bir model – bunların hepsi port ücreti karşılığında ve bir bayt fazlası olmadan aktarılır. Sınırsız bant genişliği , dahil edilen hızın bir üst basamağıdır ve bu, bir hiper ölçekli sağlayıcının faturasından en büyük farkı oluşturur.

  • İstediğiniz sıklıkta yeniden yükleyin.

    İşletim sistemi imajları tek tıklamayla indirilebilir, yeniden kurulum için bilet gerekmez ve ücret alınmaz; bu sayede kötü sonuçlanan bir sürücü denemesi size yirmi dakikaya mal olur. Ters DNS'i düzenleyebilirsiniz, IPv6 dahildir ve daha fazla IPv4, pazarlık konusu olmaktan ziyade katalogda yer alır.

  • İnsanlar, herhangi bir saatte

    Her plana dahil olan telefon, canlı sohbet ve destek biletleri ile arızalı bir parça, telefon veya sohbet yoluyla bildirildikten sonra dört saat içinde değiştirilir. Destek ekibi , yanıt sürelerini ve kredi planını yazılı olarak bildirir.

  • İçine koymak için beş oda

    New York, Miami, San Francisco, Amsterdam ve Bükreş — ve makinenin nerede bulunduğu, onu arayan kişiye olan gecikme sürenizi ve hangi veri koruma rejimine tabi olduğunu belirler. Veri merkezleri ise binaları tanımlar.

Ne kadar çabuk var olur?

Yarım saat ile üç hafta arasında değişir ve hangisi olacağı kartın nerede durduğuna bağlıdır.

Tek bir sayı değil, çünkü hiçbir zaman tek bir sayı olmadı. Makineye zaten takılmış, rafa yerleştirilmiş bir kart, bir teslimattır. Satın alınması gereken bir kart ise bir satın alma siparişidir. Ödeme yapmadan önce, yani sonrasında değil, hangisini istediğinizi size söylemek, bunun tek değerli versiyonudur.

  1. ~30 dakika

    Kart zaten raftaki bir makinede.

    Hiçbir şey takılmıyor ve hiçbir şey yerinden oynatılmıyor. Makine imajlanıyor ve teslim ediliyor. Instant Servers, şu anda orada bulunanların listesidir.

  2. 4–24 saat

    Elimizdeki bir kart takılıyor veya rafa yerleştirilmiş bir makine yeniden düzenleniyor.

    Bu sayfadaki her şey için olağan durum şöyledir: Parça kendi depomuzda bulunur; bir teknisyen onu takar, diziyi oluşturur ve işletim sistemini kurar. Rafta bulunan, benzer ancak tam olarak aynı olmayan bir makine (bellek eklenmiş, sürücü değiştirilmiş, dizi sizin tercihinize göre yeniden oluşturulmuş) aynı işi, makine raftan çıkarılmadan yerinde yapar.

  3. 5-10 iş günü

    Kartın satın alınması gerekiyor.

    Listede yer alan bazı ürünler stoklarımızda bulunmamaktadır. Sipariş verip üretiyoruz. Siparişe göre üretim sayfası, bu tür ürünlerin tüm özelliklerini içermektedir.

  4. 10-15 iş günü

    Bu kart nadirdir.

    Mevcut nesil hızlandırıcılar tahsisat esasına göre çalışır ve tarih bizim değil, dağıtımcınındır. Taahhütte bulunmadan önce uzun direğin adını vereceğiz, sonrasında değil. Donanım tek bir müşteri için satın alındığında, üç aylık peşinat talep ediyoruz çünkü hesap ikinci haftada kapanırsa makineyi yeniden kiralayamayız.

Her aşama, siparişin ödeme ve dolandırıcılık kontrolünden geçmesiyle başlar; bu aşama için kesin bir söz veremiyoruz: çoğu sipariş birkaç saat içinde tamamlanır, yeni bir hesaptan verilen ilk sipariş daha uzun sürebilir. Kart, PayPal, ACH ve banka havalesi kabul edilir, ayrıca kripto para birimi de kabul edilir; büyük siparişler için genellikle en hızlı tamamlanan yöntem kripto paradır .

Daha önce soruldu

Bu sayfa, on iki soruyu yanıtlamak için oluşturulmuştur.

Bu liste, insanların sohbet ve destek taleplerinde bize gerçekten sordukları sorulardan, yaklaşık olarak sorulma sırasına göre derlenmiştir. İlk soru bize sipariş kaybettirdiği için burada da ilk sırada yer almaktadır.

GPU, özel olarak mı kullanılıyor yoksa paylaşımlı mı?
Özel. Tek bir fiziksel makine, tek bir hesap ve kart doğrudan işletim sisteminize aktarılıyor. Sanallaştırma yazılımı yok, MIG bölümü yok, vGPU profili yok, zaman dilimleme zamanlayıcısı yok ve kart üzerinde başka kimsenin iş yükü yok. İlk öğleden sonra ölçtüğünüz şey, sakladığınız şeydir.
Bir makineye birden fazla kart takabilir miyim?
Evet, bu sizin işaretleyeceğiniz bir kutu değil, size fiyat teklifi olarak sunduğumuz bir yapılandırma. Uygun sayı, kasaya, kartın fiziksel genişliğine ve güç bütçesine bağlıdır, bu nedenle dürüst bir cevap için belirli karta ihtiyaç duyulur. Sorduğunuzda, yanıt kasayı, adedi ve teslim süresini belirtir. Birçok müşteri iki kart kullanıyor ve en yaygın neden hızdan ziyade bellektir - 48 GB'lık iki kart, 80 GB'lık bir kartın desteklemediği bir modeli destekler. Birden fazla kart veya makine , bu sorunun tamamı için geçerli olan sayfadır; ikinci kart ikinci bir makine haline geldiğinde neler değiştiği de dahil.
Hangi sürücü ve CUDA sürümünü edinmeliyim?
Hangisini kurarsanız kurun. Çıplak metalin amacı da budur: makine temiz bir işletim sistemi ve root ile gelir ve sürücüyü, CUDA veya ROCm sürümünü ve framework yapısını kodunuzun test edildiği sürüme sabitlersiniz; böylece arkanızda hiçbir şey güncellenmez. Sürücünün teslimattan önce kurulmasını tercih ederseniz, siparişte belirtin ve sürümü adlandırın. Belirli bir kart tarafından desteklenen belirli bir CUDA sürümüne ihtiyacınız varsa, ödeme yapmadan önce sorun, biz de tahmin etmek yerine kontrol edelim.
Ya istediğim kart bugün rafta yoksa?
Ardından takılır veya sipariş edilir ve ödeme yapmadan önce size hangisinin takılacağı söylenir. Stokta bulunan bir kart dört ila yirmi dört saat içinde teslim edilir. Satın almamız gereken bir kart beş ila on iş günü sürer ve tahsis edilen yeni nesil bir hızlandırıcı on ila on beş gün sürebilir. Bu sayfada bilerek stok sayısı gösterilmemektedir, çünkü kart gelip giden bir ürün değil, taktığımız bir parçadır — ancak bugün bir makine istiyorsanız, anlık sunucular şu anda gerçekten rafta bulunanların listesidir.
Kartı daha sonra ekleyebilir veya değiştirebilir miyim?
Evet, zaten sahip olduğunuz makinede — geçiş yok, yeniden kurulum yok, yeni adres yok. Planlı bir ziyaretle sunucuya kısa bir ara verilir ve makine çalışmazken aylık rakam iki kart arasındaki fark kadar değişir. Bellek, diskler ve port hızı da aynı şekilde yükseltilir.
Bir kart arızalandığında ne olur?
Cihazınız değiştirilir ve anlaşmada bunun için bir süre şartı getirilmiştir: Telefonla veya canlı sohbet yoluyla bildirdiğiniz andan itibaren dört saat. Bu sürenin ardından, talep üzerine değil, yayınlanmış bir programa göre hizmet bedeli iadesi alırsınız. Destek ekibi, programı ve telefon numarasını yazılı olarak elinde bulundurmaktadır.
Bant genişliği ücretli mi? Çıkış işlemlerinin maliyeti nedir?
Sattığımız her port hızında hiçbir şey ölçülmez ve çıkış maliyeti yoktur. Aşılması gereken bir transfer limiti veya faturada ek ücret kalemi bulunmamaktadır. GPU çalışmaları için bu genellikle başka bir yerdeki en büyük gizli maliyettir: bir veri setini içeri çeken ve kontrol noktalarını dışarı gönderen bir eğitim çalışması veya gerçek trafiğe yanıt veren bir çıkarım uç noktası, çok sayıda bayt taşır ve hiper ölçekli bir sunucuda gigabayt başına çıkış ücreti her biri için alınır. Ölçülmemiş bant genişliği, dahil edilen port hızının bir üst basamağıdır.
Bu, saatlik olarak ekran kartı kiralamaya kıyasla nasıl bir fark yaratıyor?
Hesaplamalar belirleyici oluyor. İş akışı düzensiz ve gerçekten duraksamalıysa (ayda birkaç yüz saat veya daha az), saatlik bir kart daha ucuzdur. Ayın yaklaşık üçte ikisinden sonra ise durum tamamen değişir ve bu, veri çıkışı, çalıştırmalar arasında kalıcı olması gereken depolama alanı ve işinizin kapasite için kuyrukta beklediği süre hesaba katılmadan önce geçerlidir. Burada aylık ifadesi ayrıca, aynı makine, aynı diskler ve aynı adresin gelecek ay da kullanılacağı anlamına gelir ki bu, bir şey üretime girdikten sonra insanların tahmin ettiğinden daha önemlidir.
Blockchain madenciliği yapabilir miyim veya blockchain ve merkeziyetsiz hesaplama düğümleri çalıştırabilir miyim?
Evet. İkisi de burada sıradan iş yükleridir ve her zaman da öyle olmuştur; bu sayfadaki kartların birçoğu da tam olarak bu amaçla satın alınmıştır. Madencilik sunucuları sayfası, özellikle madencilik durumu için tasarlanmıştır ve yalnızca bu durum için anlam ifade eden parçaları içerir.
Ödemeyi nasıl yapabilirim ve bir sözleşme var mı?
Kart, PayPal, ACH, banka havalesi veya kripto para birimi. Sözleşme yok: Varsayılan ve tek süre bir aydır, üç, altı ve on iki aylık döngülerde indirim uygulanır ve yenilemede fiyat artmaz. Kripto para ödemeleri kabul edilen kripto paraları kapsar; daha büyük bir ilk sipariş için banka havalesi veya stablecoin genellikle karttan daha hızlı onaylanır, bu da bir dolandırıcılık kontrolü nedeniyle üretim gecikmesi yaşanmadan önce bilinmesi gereken bir bilgidir.
İhtiyacım olan şey bu değilse para iadesi alabilir miyim?
İlk aktivasyondan sonraki üç takvim günü içinde, sorun giderme işlemleri tamamlandıktan sonra, iade politikası aynen bu şekildedir. Yukarıdaki boyutlandırma ve veri yolu nesli bölümlerinin var olma nedeni de tam olarak budur: İlk seferde doğru kartı satın almanız her ikimiz için de daha ucuzdur ve size iade etmek yerine daha küçük bir kart almanızı tercih ederiz.
En yeni karta sahip misiniz?
Bazen, ve bu yanlış bir soru. En yeni parça, tahsisat açısından kıt bir parçadır, tasarlandığı veri yolu neslini sunmayacak bir platformda bulunur ve fiyatı da her bir parçasına ihtiyacınız olduğunu varsayar. Buradaki GPU çalışmalarının çoğu, yeni bir model eğitmek değil, zaten uyumlu olan bir modele hizmet etmek, video kodlamak, kareleri işlemek veya masaüstü bilgisayarları çalıştırmaktır ve bunların hepsi için doğru kart genellikle iki nesil geridedir ve fiyatının dörtte biridir. Bize işi söyleyin. Cevap gerçekten en yeni parça ise bunu söyleyeceğiz ve ayrıca maliyetini ve ne zaman var olabileceğini de söyleyeceğiz.

Bundan sonra nereye gideceğiz?

Bu sayfanın iki yanındaki sayfalar.

Bu sayfanın tek bir sorusu var: Hangi kartlar uyumlu ve bunların maliyeti ne kadar? Bu soruya bitişik her şeyin kendi sayfası var ve bu sayfa, ziyaretçilerin bu sayfaya tıklama sırasına göre tüm sayfaları gösteriyor.

Hâlâ hangi kartı seçeceğinizden emin değil misiniz? , daha önce bu tür bir kart boyutlandırması yapmış biri size cevap verecektir; hatta aradığınızdan daha ucuz bir kart önerebilirler.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
56 add-in cards, in 3 classes: 14 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.