Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
Çıplak metal üzerinde grafik kartları · Primcast LLC · 2004'ten beri
GPU sunucusu satın almanın zorluğu çoğunlukla satın almak değildir. Hangi kartın yeterli olduğunu bilmektir — ve bu sektördeki her katalog, çalıştırmaya çalıştığınız işe göre değil, parçanın ne kadar etkileyici olduğuna göre düzenlenmiştir. Bu katalog ise tam tersi şekilde düzenlenmiştir. İşin ne olduğunu ve ne kadar kart belleği gerektirdiğini söyleyin; geriye kalan, komple fiyatlandırılmış cevaptır.
Makine başına tek kiracı. Kart, işletim sisteminize doğrudan aktarılır — dilimlenmez, zaman paylaşımlı değildir, sanallaştırılmaz.
Tezgah
Hiçbir şey rezerve edilmez, hesap oluşturulmaz ve her kartın yanındaki rakam, o kartın bulunduğu sunucunun tamamıdır — işlemci, bellek, yansıtılmış diskler, limitsiz port, tek adres — kartın tek başına fiyatı değildir. Kartın kendi payı altında yazılıdır, böylece paranın hangi yarısının neye gittiğini görebilirsiniz.
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP 170HX 64GB HBM2e8 GB HBM2e, 64 GB unlockedIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
Tahminler, ödemenin faturalandığı katalogdan alınır, teklif değildir. Bellek rakamının eksik olduğu yerlerde üretici tarafından yayınlanmış bir değer bulamadık, bu yüzden kart tahmin etmek yerine bunu söylüyor — ve bellek kontrolünü hareket ettirdiğiniz anda bu kartlar listeden düşer, çünkü sahip olmadığımız bir sayıya göre filtrelemek size uygun olabilecek parçaları sessizce gizler. Sorun, karttan okuyalım. Birkaç parça birden fazla kasaya birden fazla fiyattan uyar; buradaki rakam o karta sahip olmanın en ucuz yoludur ve yapılandırıcı gerisini gösterir.
O listenin arkasında ne var
Bu sayfa sunulduğunda sipariş kataloğundan sayılmıştır, elle yazılmamıştır. Yarın bir kart geri çekilirse bu şerit yarın daha kısa olur. Bu sabah rafta neyin durduğu farklı bir sorudur ve anında sunucular bunun cevaplandığı yerdir.
Herkesin sorduğu ilk soru
Sizin. Kartın tamamı, makinenin tamamı, üzerinde başka kimse yok.
Kart, tek bir hesaba kiralanan fiziksel bir sunucudaki PCIe yuvasında durur ve doğrudan işletim sisteminize teslim edilir: kendi sürücünüz, kendi CUDA veya ROCm'unuz, kendi süreçleriniz. Sizinle kart arasında hipervizör yok, MIG bölümü yok, sıranızın ne zaman geldiğine karar veren zaman dilimleme zamanlayıcısı yok ve toplu işi öğleden sonra dörtte çıkarım gecikmenizi oynatan ikinci bir kiracı yok.
Makinenin geri kalanı da aynı koşullarla sizindir — her çekirdek, tüm bellek, tüm diskler, root ve konsol, sanal ortam ve güç için sunucunun kendi HPE iLO veya Dell iDRAC'ı. Bir sürücü ağı çökertirse ekranı yine de görebilirsiniz.
Yukarıdaki rakamlar neden öyle görünüyor
Başka her yerde GPU bir kademedir: “bir H100 örneği” kiralarsınız ve çevresindeki işlemcinin, belleğin, disklerin ve ağın size ne kadara mal olacağına başkası karar vermiştir. Burada ikisi toplanan ayrı satırlardır — bu yüzden yukarıdaki listenin her iki ucundaki bir kart aynı kasaya girer ve kartlar arasındaki farkı ödersiniz, başka hiçbir şeyi değil. Makine yarısının üreticiye göre kendi sayfaları var: EPYC serisi için AMD dedicated sunucular — bu kartları kullanan seri — ve Xeon için Intel dedicated sunucular.
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
Yapılandırıcı disk başına fiyatı yuvarlar ve bu rakamlardan bir veya iki sent sapar. Daha uzun faturalandırma döngüleri ek indirim alır; fiyatlandırma her şeyi tek yerde toplar ve eski donanım, daha düşük fiyat bu listenin en altının neden var olduğunun gerekçesidir.
Pazar yerinden
Sahipler kendi GPU makinelerini pazar yerimize koyar ve aylık fiyatlandırır. Bir kartın listesini kardeş şirketimiz Server Room'in tuttuğu yerde, onu serverroom.net üzerinden kiralarsınız.
Ne kadar kart belleği
Saat hızları ve çekirdek sayıları bir modelin ne kadar hızlı çalışacağını belirler. Kart belleği ise hiç çalışıp çalışmayacağını belirler — ağırlıklar ya sığar ya sığmaz ve iki gigabayt eksik kalan bir kart daha yavaş değil, çökme demektir. Bu yüzden her şeyden önce netleştirilmesi gereken sayı budur ve neredeyse hiç kimsenin bir fiyatın yanına yazmadığı sayı da budur.
Hesap şudur: parametre sayısı çarpı parametre başına bayt. On altı bit ağırlıklar iki bayttır, sekiz bit bir bayttır, dört bit yarım bayttır. Dört bite nicemlemek, bir modeli tutamayan bir makineyi tutabilir hale getiren şeydir; kaliteden bir miktar ödün vererek.
Boşluk bırakın. Aşağıdaki rakamlar yalnızca ağırlıklardır, başka hiçbir şey değil. Çalışma zamanı, aktivasyonlar ve uzun bir bağlam için anahtar-değer önbelleği aynı bellekte yaşar ve önbellek konuşmadaki her token ile büyür. Ağırlıkları 38 GB olan bir model, 40 GB'lık bir kartta rahatça servis edilmez. Üzerine dörtte bir ila yarısı kadar daha bütçe ayırın ya da bize sorun, gerçekte çalıştırdığınız işe göre boyutlandıralım.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Kartın altında ne var
Her biri kataloğun farklı bir bölümünü alır ve karta işlemciye giden farklı bir bağlantı verir. Son sütun burada çünkü insanlara paraya mal oluyor ve kimse yazmıyor: bir müşteri bir nesil tüketici kartından diğerine üçüncü nesil bir veri yolunda geçti ve daha yavaş çalıştı; nedenini bizden önce kendisi buldu. O yüzden sayfada.
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Bir de masaüstü var: ofis sınıfı parçalar, içinde hazır bir NVIDIA kart, tek bir makine olarak tek bir aylık fiyata satılır. GPU'lu özel bir kutu için bize ödeyebileceğiniz en düşük tutardır; bu da onu CUDA öğrenmek, küçük bir model çalıştırmak, NVENC ile dönüştürme yapmak ya da uzak bir iş istasyonu tutmak için mantıklı bir yer yapar. Fiyat bir kasadan daha azını satın alır ve bunu şimdiden bilmenizi isteriz: RAID'siz tek disk, bant dışı konsol yok (yeniden kurulumlar ve güç döngüleri bizden geçer), tek güç kaynağı.
€89.00the whole machine, card included, per month
Intel Core i5-9500 @ 3.0GHz, 6 cores · 32 GB memory · NVMe-SSD 256 GB · 1 Gbps Unmetered · Bucharest
Daha yeni bir veri yolu için tasarlanmış bir kart, daha eskisinde kusursuz çalışır; yalnızca veriyi bağlantı üzerinden o kadar hızlı taşıyamaz. Bunun önemli olup olmadığı tamamen işe bağlıdır.
Yanında ne gelir
Temiz bir işletim sistemi kurar ve anahtarları size teslim ederiz. Sürücü sürümünü, CUDA veya ROCm sürümünü ve çerçeve derlemesini siz seçer ve sabitlersiniz — ki bu, bare metal'in amacıdır ve bir teslim tarihinden bir hafta önce altınızda güncellenen yönetilen bir çalışma zamanının tam tersidir. Teslimden önce sürücüyü bizim kurmamızı tercih ederseniz, siparişte belirtin, kurarız.
HPE iLO veya Dell iDRAC: klavye-ve-ekran konsolu, sanal ortam, güç kontrolü, donanım sağlığı ve donanım günlüğü. Ekranı ya da ağı da beraberinde götüren bir grafik sürücüsü, bir destek talebi değil bir rahatsızlıktır çünkü makinenin açılışını yine de izleyebilirsiniz.
Aşılacak bir transfer kotası yok ve hiçbir faturada çıkış satırı yok. Veri setleri içeri, kontrol noktaları dışarı, renderlar dışarı, gerçek kullanıcılara servis edilen bir model — hepsi portun fiyatına taşınır, bir bayt fazlasına değil. Limitsiz bant genişliği, dahil edilen hızın üzerindeki basamaktır ve bununla bir hiper ölçekleyiciden gelen fatura arasındaki en büyük tek fark budur.
İşletim sistemi görüntüleri tek tıkla, talep olmadan ve ücret olmadan yeniden kurulabilir; böylece kötü biten bir sürücü deneyi size yirmi dakikaya mal olur. Ters DNS sizin düzenlemenize açıktır, IPv6 dahildir ve daha fazla IPv4 bir pazarlık değil bir katalog satırıdır.
Telefon, canlı sohbet ve talepler her planda dahildir ve arızalı bir bileşen telefon ya da sohbetle bildirildikten sonra dört saat içinde değiştirilir. Destek sayfasında yanıt süreleri ve kredi takvimi yazılıdır.
New York, Miami, San Francisco, Amsterdam ve Bükreş — ve makinenin nerede durduğu, onu arayan kişiye gecikmenizi ve hangi veri koruma rejimine tabi olduğunu belirler. Veri merkezleri binaları anlatır.
Ne kadar sürede var olur
Tek bir sayı değil, çünkü hiçbir zaman tek bir sayı olmadı. Zaten rafa konmuş bir makineye takılmış bir kart bir teslimattır. Satın alınması gereken bir kart bir satın alma siparişidir. Hangisini istediğinizi — ödemeden önce, sonra değil — söylemek, bunun bir işe yarayan tek halidir.
Hiçbir şey takılmaz ve hiçbir şey taşınmaz. Makine görüntülenir ve teslim edilir. Anında sunucular, şu anda orada duranların listesidir.
Bu sayfadaki her şey için olağan durum. Parça kendi depomuzdadır; bir teknisyen takar, diziyi kurar ve işletim sistemini yükler. Raftaki yakın ama tam olmayan bir makine — bellek eklenmiş, bir sürücü değiştirilmiş, dizi sizin seçiminize göre yeniden kurulmuş — aynı iştir, makine raftan çıkmadan yerinde yapılır.
Listedeki bir şey taşıdığımız stok değildir. Sipariş eder, sonra kurarız. Siparişe göre üretim, bu türden bütün bir özellik listesi için olan sayfadır.
Güncel nesil hızlandırıcılar tahsisle çalışır ve tarih dağıtıcınınkidir, bizim değil. Uzun direği taahhüt etmeden önce söyleriz, sonra değil. Donanımın tek bir müşteri için satın alındığı durumlarda üç ay peşin isteriz çünkü hesap ikinci haftada kapanırsa yeniden kiraya veremeyeceğimiz bir makinedir.
Her basamak, sipariş ödeme ve dolandırıcılık incelemesinden geçtiğinde başlar; bu, üzerine söz vermeyeceğimiz tek adımdır: çoğu birkaç saat içinde temizlenir, yeni bir hesaptan gelen ilk sipariş daha uzun sürebilir. Kart, PayPal, ACH ve havale kabul edilir; kripto para da kabul edilir — ki büyük siparişlerde genellikle temizlenmesi en hızlı olanıdır.
Daha önce soruldu
İnsanların sohbette ve destek kayıtlarında bize gerçekten sorduklarından alınmıştır; yaklaşık olarak sorulma sırasına göre dizilmiştir. İlki bize sipariş kaybettirdi, bu yüzden burada da ilk sırada.
Sonraki adım
Bu sayfa tek bir soruya sahiptir: hangi kartları taktığımız ve maliyetleri. Bu soruya bitişik her şeyin kendi sayfası vardır ve bu, bu sayfayı ziyaret edenlerin gerçekten tıkladığı sırayla hepsidir.
Hâlâ hangi kartın doğru olduğundan emin değil misiniz? ; daha önce bunlardan birini boyutlandırmış biri yanıtlar — yanıt, geldiğiniz karttan daha ucuz bir kart olduğunda bile.
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.