Çok kartlı ve çok düğümlü · Primcast LLC · 2004'ten beri

Daha geniş gitmek, daha büyük gitmekle aynı iş değildir.

Bir makinede tek kart, çözülmüş bir sorudur ve GPU sayfasında kart kart fiyatlandırılır. Bu sayfa, onun bittiği yerde başlar: aynı kasada ikinci bir kart ya da ilkinin yanında ikinci bir makine. Aynı karar gibi görünürler ama birbirlerinin zıttıdırlar — burada bir karta en çok hat veren platform, en düşük ağ tavanına sahiptir ve en az odada bulunur. Kimse kendi kataloğu hakkında bunu yayınlamaz. Aşağıdaki ilk tablo budur.

Platformları karşılaştırın İki makineyi birleştiren şey

Her makine tek kiracılıdır, her kart kendi işletim sisteminize doğrudan geçirilir ve burada hiçbir şey düğümleriniz arasında bir bayt saymaz.

Kayıt

  • 4Platforms that take a card
  • 100 GbpsFastest port on any of them
  • 2Sockets in one machine, at most
  • 1 TBMemory in one machine, at most
  • 2Rooms holding every platform

Bu sayfa sunulduğunda sipariş kataloğundan okunur, elle yazılmaz. Bu sabah rafta neyin durduğu farklı bir sorudur ve anında sunucular bunun yanıtlandığı yerdir.

GPU'larınızı pasif aylık gelire dönüştürün

Boşta duran sunucu veya masaüstü GPU kurulumlarınız mı var? Bugün Primcast pazar yerinde listeleyin ve üretim düzeyinde hesaplama gücüne ihtiyaç duyan yapay zeka ekiplerinden, geliştiricilerden ve kuruluşlardan düzenli aylık kira kazanın.

Pazar Yerine Git

İki farklı soru

Aslında hangisini soruyorsunuz?

İnsanlar buraya “daha fazlasına ihtiyacım var” kararını vermiş olarak gelirler, ama neyin daha fazlası olduğuna karar vermeden. İki yanıtın maliyeti farklıdır, teslim şekli farklıdır ve farklı şeylerle sınırlıdır; bu yüzden bir satır daha okumadan önce açık olmakta fayda var.

Bir makinede daha fazla kart

Aynı kasada ikinci bir kart

Kart belleğiniz ya da verimliliğiniz yetersiz ve makinenin geri kalan her şeyi iyi durumda. Bu, ödeme sayfasında işaretlediğiniz bir kutu değil, teklif verdiğimiz bir yapıdır; çünkü kaç kartın sığacağı, belirli kartın fiziksel genişliğine ve belirli kasanın güç bütçesine bağlıdır — katalogda olmayan ve tahmin etmeyeceğimiz iki olgu.

Bunu belirleyen: platform değil, kart. Parçayı adıyla sorun, yanıt kasayı, sayıyı ve teslim süresini söylesin.

İnsanların bekleyip alamadığı şey: iki kart, daha büyük tek kart değildir. Bellekleri yalnızca çalıştırdığınız şey bir modeli ikisine birden bölebiliyorsa toplanır — her ciddi çalışma zamanının desteklediği ve aralarındaki trafiğe bir miktar verim kaybettiren tensör veya boru hattı paralelliği. Zaten çok sayıda bağımsız iş olan işler için iki kart, makinenin iki katıdır ve hiçbir şeyin değişmesi gerekmez.

Yanında daha fazla makine

İlkinin yanında ikinci bir makine

Karttan değil, makineden tükendiniz: soketlerden, bellekten, bir sonraki işi koyacak yerden. Aşağıdaki platformların en iyisinde bu tavan 2 sockets and 1 TB kadardır ve bunların ikisinden birini aştığınızda yanıt daha büyük bir sunucu değil, başka bir sunucudur.

Bunu belirleyen: oda ve bağlantı noktası. Birbiriyle konuşması gereken iki makine aynı binada olmak zorundadır ve onları birleştiren şey her birindeki bağlantı noktasıdır — makine başına satın alınır, yani dört düğümün altındaki doku dört bağlantı noktasıdır.

İnsanların bekleyip alamadığı şey: burada küme ürünü yoktur ve asgari düğüm sayısı yoktur. Her makine kendi başına sipariş edilir, faturalanır, yükseltilir ve değiştirilir; bu yüzden bu sayfada hiçbir şey küme fiyatı vermez — bir küme n faturadır.

Takas

Bunlardan birinde en iyi olan platform, diğerinde en kötüdür.

Kart taktığımız her platform, tek bir makine yerine bir kümeyi belirleyen eksenlerde. Ortadaki iki sütunu birlikte okuyun; bu sayfanın tüm argümanı onlardadır: zıt yönlerde hareket ederler. Veri yolu nesli, GPU sayfasının yayınladığı aynı rakamdır, aynı tablodan; böylece iki sayfa bir bağlantı hakkında çelişemez.

Read from the order catalogue when this page was served. The two middle columns are the trade.
PlatformLanes to the cardNetwork ceilingSocketsMemory ceilingRooms
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps included2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps included21 TB2

O tabloyu okumak

  • Karta giden hatlar, verinin işlemci ile hızlandırıcı arasında ne kadar hızlı geçtiğini belirler. Yığınları akıtan bir eğitim döngüsü için, her karede sahne verisi besleyen bir render için ve kart belleğinden taşan her şey için sürekli önemlidir. Bir model yerleşik hale gelip orada kaldığında neredeyse tamamen önemini yitirir.
  • Ağ tavanı, bir makinenin bir sonrakine ne kadar hızlı konuşabileceğini belirler. Kendi işini yapan tek bir sunucu için önemsizdir ve birkaçına bölünmüş bir iş için tüm sorudur.
  • Odalar, seçeneğin ihtiyacınız olan yerde mevcut olup olmadığını belirler ve insanların en son okuyup ilk okuması gereken sütundur — aşağıya bakın.
  • Yani: tek bir makineye sığan ve veri yolunu zorlayan bir iş, en geniş hatları ister ve bağlantı noktasını umursamaz. Birkaç makineye yayılmış bir iş, bağlantı noktasını ister ve daha eski bir veri yoluyla yaşayabilir. İkisini birden istemek, kataloğumuzun tutmadığı tek kombinasyondur ve bunu ödedikten sonra değil, burada söylemeyi tercih ederiz.

Bunlardan herhangi birine hangi kart girer ve her biri ayda ne ekler, GPU özel sunucuları sayfasındadır — taktığımız her kart, rakamının ait olduğu tam makineye göre fiyatlandırılır. Bu sayfa bilinçli olarak hiçbir kartı fiyatlandırmaz: o parayı tek bir sayfa sahiplenir.

Onları birleştiren şey

Ara bağlantı makine başına satın alınır ve insanların yanlış yaptığı aritmetik budur.

Bir bağlantı noktası, tek bir sunucunun özelliğidir. Belirli bir hızda dört makine, o hızın dört katıdır, her ay ve rahat bir küme bütçesini rahatsız bir bütçeye çeviren kalem budur. Aşağıda, çarpma işlemi zaten yapılmış merdiven var; çünkü birden fazla makine hakkında bir sayfa, bunu size bırakıyorsa işini yapmıyor demektir.

Per month, on top of the machine. The port is bought per node, so the right-hand columns are what the same speed costs across a cluster.
PortOne machineTwoFourOffered on
1 Gbpsincludedincludedincludedevery platform
2 Gbps$189$378$756every platform
3 Gbps$299$598$1,196every platform
5 Gbps$459$918$1,836every platform
10 Gbps$529$1,058$2,116every platform
20 Gbps$1,629$3,258$6,516every platform
40 Gbps$2,799$5,598$11,1962 of 4
100 Gbps$3,999$7,998$15,9961 of 4

Bir basamak seçmeden önce fark edilmeye değer iki şey

  • Merdiven doğrusal değildir, bu yüzden daha geniş bir küme daha hızlı olandan daha ucuz olabilir. Basamakları hiçbir şeyle değil, birbirleriyle karşılaştırın: o tablodaki birkaç noktada, bir basamak aşağıdaki iki makine, bir basamak yukarıdaki tek makineden daha ucuza gelir ve size iki makine verir. Bunun iyi bir takas olup olmadığı tamamen işinizin bölünüp bölünmediğine bağlıdır.
  • Merdivenin tepesi her platformda yoktur. Sağdaki sütun, her hıza kaç tanesinin ulaştığını söyler ve en hızlı basamaklar, karta daha eski bir veri yolu veren bir platforma daralır. Bu, yukarıdaki tabloyla aynı takastır, diğer yönden gelir.

Açıkça söylersek, sahip olmadıklarımız

Kataloğumuzda makineler arasında bir Ethernet bağlantı noktasının ötesinde hiçbir şey yoktur. Listelenmiş InfiniBand dokusu yoktur ve listelenmiş karttan karta köprü yoktur; bu sayfa, etrafından dolaşarak birini ima etmeyecektir. Bir yapı bunlardan birine ihtiyaç duyuyorsa, siparişten sonra değil önce sorun: yanıt bir tekliftir ve yanıt hayır olabilir. Bu, evet olabileceği izlenimini bırakan bir sayfadan size daha değerlidir.

Yukarıdaki her hız, her iki yönde de ölçümsüzdür; hiçbir faturada aktarım kotası ve çıkış kalemi yoktur — yani düğümlerinizin birbirine gönderdiği şey her hacimde ücretsizdir; bu, genellikle başka yerlerde ölçülen kısımdır. Ölçümsüz bant genişliği, tek başına ele alınan bir bağlantı noktasının sayfasıdır, tek bir makinede.

Var olabileceği yer

Tek bir makine için önce platformu seçersiniz. Birkaçı için önce odayı seçin.

Birbiriyle konuşması gereken makineler aynı binaya aittir ve odalarımızın hepsi aynı platformları barındırmaz. Önce platformu seçin; ihtiyacınız olan odanın onu taşımadığını görebilirsiniz. Bu, diğer her şeyle aynı katalogdan türetilir; böylece yeni bir şehre gelen bir hat burada kendiliğinden görünür.

  • New York, US4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest, EU4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami, US3 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco, US2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam, EU2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Binanın gerçekte nerede olduğu, neye bağlı olduğu ve içinde başka kimlerin olduğu — veri merkezleri beşini de anlatır. İki şehrimiz arasındaki gecikme, pazarlama rakamı değil gerçek bir sayıdır ve destek, haritadan tahmin etmeniz yerine istek üzerine çiftiniz için ölçer.

Nasıl teklif edilir ve ne kadar sürede var olur

Çok düğümlü iş, ödenmeden önce tarihlendirilir, sonra değil.

Bu tür bir yapı, birkaç makine ve çoğu zaman rafta olmayan birkaç parçadır; bu yüzden yayınlanacak dürüst şey bir teslimat vaadi değil, tarihin indiği merdivendir — siparişe göre üretim ve GPU sayfasının kullandığı merdivenin aynısı, aynı sözlerle.

  1. ~30 dakika

    Makineler oldukları gibi rafta

    Hiçbir şey takılmaz ve hiçbir şey taşınmaz. Anında sunucular, şu anda orada duranların listesidir ve sıradan düğümlerden oluşan bir küme için önce okumaya değer.

  2. 4–24 saat

    Parçalar elimizde olanlar

    Sıradan durum. Teknisyenler kartları takar, dizileri kurar ve işletim sistemlerini yükler — makine başına, paralel olarak, birbiri ardına değil.

  3. 5–10 iş günü

    Parçaların satın alınması gerekir

    Spesifikasyondaki bir şey, taşıdığımız stok değildir. Sipariş ederiz, sonra kurarız. Çok kartlı bir kasa için en yaygın basamak budur; çünkü uzun direk genellikle kart değil, kasadır.

  4. 10–15 iş günü

    Bir parça kıt

    Mevcut nesil hızlandırıcılar tahsisle çalışır ve tarih dağıtıcınındır, bizim değil. Taahhüt etmeden önce uzun direği söyleriz, sonra değil. Donanımın tek bir müşteri için satın alındığı durumlarda üç ay peşin isteriz; çünkü hesap ikinci haftada kapanırsa yeniden kiraya veremeyeceğimiz bir makinedir.

Her basamak, sipariş ödeme ve dolandırıcılık incelemesinden geçtiğinde başlar; bu, üzerine söz koymayacağımız tek adımdır — çoğu birkaç saat içinde geçer ve yeni bir hesaptan gelen büyük bir ilk sipariş daha uzun sürebilir. Bu boyutta bir yapı için havale veya sabit coin genellikle karttan daha hızlı geçer; bunu bilmek, dolandırıcılık kontrolü bir raf ziyaretini geciktirmeden önce değerlidir.

Çok düğümlü veya çok kartlı bir yapıyı anlatmak, bir formdan çok bir cümlede daha hızlıdır. — düğüm sayısı, işin bölünüp bölünmediği ve neyle konuşması gerektiği — ve bunlardan birini daha önce teklif etmiş biri yanıtlar; yanıtın tek bir makinenin iş göreceği olduğu durumlar dahil.

For the record

Everything on this page, as figures.

Read from the order catalogue when this page was served. Card prices are deliberately not among them — GPU dedicated servers holds every one, against the exact machine each figure belongs to.

Cards in one machine
More than one is a build we quote rather than a checkout option. How many fit depends on the physical width of the card and on the power budget, so the honest answer needs the specific card. Ask, and the reply names the chassis, the count and the lead time.
Machines in one cluster
No limit we impose. Each is a whole physical server rented on its own terms, and they are ordered, billed and replaced independently — there is no cluster product and no minimum node count.
Platforms that take a card
4, and they are not interchangeable. The one with the widest bus to the card (AMD EPYC, PCIe 4.0, 128 lanes per socket) has the lowest network ceiling (20 Gbps) and is in 2 of our 5 rooms. The one that reaches 100 Gbps (Intel Xeon Silver / Gold) gives a card an older bus.
What joins two machines
The port on each of them. Speeds run from the included 1 Gbps on every one of them up to 100 Gbps, priced per machine and per month, so a cluster pays for the speed once per node. There is no NVLink fabric and no InfiniBand here; anything beyond an Ethernet port between two of our machines is quoted rather than listed.
Ceilings in one machine before a second one is needed
2 sockets and 1 TB of memory on the best of these platforms. Past either, the answer is another machine.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest. Machines that talk to each other should be in one of them together, and New York and Bucharest hold every platform on this page.
Bandwidth
Unmetered, both directions, at every speed on the ladder. No transfer allowance, no egress line on any invoice — which is what makes moving a dataset between nodes free rather than metered.
Tenancy
One tenant per physical machine, on every node. Cards are passed through to your own operating system: no hypervisor, no MIG partition, no vGPU profile, no time-slicing.
How soon
The same ladder as any build here: about four to twenty-four hours when the parts are ones we hold, five to ten working days when they have to be bought in, and ten to fifteen when a part is scarce. A multi-node build is quoted with its long pole named before you commit.
Term
One month, no contract, on each machine separately. Three, six and twelve-month cycles take up to 15% off. Where hardware is bought in for one customer we ask for three months up front.
What this page does not price
Cards. Every graphics card we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, priced against the exact machine each figure belongs to.