Dedicated Instant Custom GPU Unmetered Domains Pricing Data Centers Migrate
Configure server

Çoklu kart ve çoklu düğüm · Primcast LLC · 2004'ten beri

Daha geniş bir alana yayılmak , daha büyük bir alana yayılmakla aynı şey değildir.

Tek bir makinede tek bir kart konusu kesinleşmiş bir durum ve GPU sayfasında kart başına fiyatlandırılıyor. Bu durum, bunun bittiği yerden başlıyor: aynı kasada ikinci bir kart veya ilk makinenin yanında ikinci bir makine. Bunlar aynı karar gibi görünse de aslında zıtlar; burada bir karta en fazla şerit sağlayan platform, en düşük ağ tavanına sahip ve en az odayı kaplıyor. Hiç kimse kendi kataloğu hakkında bunu yayınlamıyor. Bu, aşağıdaki ilk tabloda yer alıyor.

Platformları karşılaştırın İki makineyi birbirine bağlayan nedir?

Her makine bir kiracıdır, her kart kendi işletim sisteminize aktarılır ve burada düğümleriniz arasında hiçbir bayt sayılmaz.

Kayıt defteri

  • 4Platforms that take a card
  • 100 GbpsFastest port on any of them
  • 2Sockets in one machine, at most
  • 1 TBMemory in one machine, at most
  • 2Rooms holding every platform

Bu sayfa sunulduğunda sipariş kataloğundan okundu, elle yazılmadı. Bu sabah rafta ne olduğu farklı bir soru ve anlık sunucular bu sorunun cevabını veriyor.

İki farklı soru

Aslında hangisini soruyorsunuz?

İnsanlar buraya "Daha fazlasına ihtiyacım var" diyerek geliyorlar, ancak neyin daha fazlasına ihtiyaç duyduklarına karar vermemişler. İki cevabın maliyeti farklı, sunulma şekli farklı ve sınırlamaları da farklı; bu nedenle başka bir satır okumadan önce bunu açıkça belirtmekte fayda var.

Tek bir makinede daha fazla kart

Aynı kasada ikinci bir kart

Kart belleğiniz veya veri aktarım hızınız yetersiz, ancak makinenin diğer her şeyi sorunsuz çalışıyor. Bu, siparişinizi verirken işaretleyeceğiniz bir kutu değil, size özel bir yapılandırma teklifi sunuyoruz; çünkü kaç kartın sığacağı, belirli kartın fiziksel genişliğine ve belirli kasanın güç bütçesine bağlıdır; bu iki faktör katalogda yer almaz ve biz de tahmin yürütmeyiz.

Belirleyen şey: platform değil, kart. Parçanın adını belirtin, cevapta şasi, adet ve teslim süresi belirtilecektir.

İnsanların beklediği ama elde edemediği şey şu: iki kart, tek bir büyük kart anlamına gelmiyor. Bellekleri ancak çalıştırdığınız şey bir modeli her iki karta da bölebiliyorsa (tensor veya pipeline paralelliği gibi, her ciddi çalışma ortamının desteklediği ve aralarındaki trafiğe bağlı olarak bir miktar verim kaybına yol açan) artar. Zaten birçok bağımsız işten oluşan bir çalışma için, iki kart basitçe makinenin iki katı anlamına gelir ve hiçbir şeyin değişmesi gerekmez.

Yanında daha fazla makine

Birinci makinenin yanında ikinci bir makine.

Sorun, karttan ziyade makinenin kapasitesinin yetersiz kalması: soketlerin, belleğin ve bir sonraki işi koyacak yerin yetersiz kalması. Aşağıdaki platformların en iyilerinde bu sınır 2 sockets and 1 TB ve bu ikisinden sonra çözüm, daha büyük bir sunucu yerine başka bir sunucudur.

Bunu belirleyen şey: oda ve bağlantı noktası. Birbirleriyle iletişim kurması gereken iki makinenin aynı binada olması gerekir ve onları birleştiren şey, her birinde bulunan bağlantı noktasıdır - makine başına satın alınır, bu nedenle dört düğümün altındaki bağlantı noktası dört bağlantı noktasıdır.

İnsanların beklediği ama alamadığı şey şu: Burada küme ürünü yok ve minimum düğüm sayısı şartı da bulunmuyor. Her makine kendi başına sipariş ediliyor, faturalandırılıyor, yükseltiliyor ve değiştiriliyor; bu yüzden bu sayfada küme fiyatı belirtilmiyor - bir küme, birden fazla faturadan oluşuyor.

Ticaret

Bu özelliklerden birinde en iyi olan platform, diğerinde en kötüdür.

Her platforma, tek bir makine yerine bir küme oluşturan eksenler üzerinde bir kart takıyoruz. Ortadaki iki sütunu birlikte okuyun ve bu sayfanın tüm argümanı onlarda gizlidir: zıt yönlerde hareket ederler. Veri yolu üretimi, GPU sayfasının yayınladığı aynı rakamdır, aynı tablodan alınmıştır, bu nedenle iki sayfa bir bağlantı konusunda anlaşmazlığa düşemez.

Read from the order catalogue when this page was served. The two middle columns are the trade.
PlatformLanes to the cardNetwork ceilingSocketsMemory ceilingRooms
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps included2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps included21 TB2

O tabloyu okumak

  • Kart üzerindeki şeritler, işlemci ve hızlandırıcı arasında verinin ne kadar hızlı aktarılacağını belirler. Bu, toplu veri akışı sağlayan bir eğitim döngüsü, her karede sahne verisi besleyen bir render işlemi ve kart belleğinden taşan her şey için sürekli olarak önemlidir. Bir model karta yerleşip orada kalmaya başladığında ise önemi neredeyse tamamen ortadan kalkar.
  • Ağ tavanı, bir makinenin bir sonrakine ne kadar hızlı iletişim kurabileceğini belirler. Kendi işini yapan tek bir sunucu için önemsizdir, ancak işin birkaç sunucuya bölünmesi durumunda asıl önemli olan budur.
  • "Oda" bölümü, ihtiyacınız olan yerde seçeneğin mevcut olup olmadığını belirler ve insanların en son okuduğu, ancak ilk okuması gereken sütundur — aşağıya bakın.
  • Yani: tek bir makineye sığan ve otobüsü ezen bir iş, en geniş şeritleri ister ve limanı umursamaz. Birkaç makineye yayılan bir iş ise limanı ister ve eski bir otobüsle idare edebilir. İkisini birden istemek, kataloğumuzda bulunmayan tek kombinasyondur ve bunu ödeme yaptıktan sonra değil, burada söylemeyi tercih ediyoruz.

Bu sayfadaki ekran kartlarından hangisinin takılacağı ve her birinin aylık maliyetinin ne olacağı, GPU'ya özel sunucular için geçerlidir; taktığımız her kartın fiyatı, ait olduğu makinenin tam fiyatına göre belirlenmiştir. Bu sayfada hiçbir kartın fiyatı belirtilmemiştir, çünkü bu paranın tamamı sayfaya aittir.

Onları birleştiren nedir?

Ara bağlantı kablosu makine başına satın alınıyor ve insanların yanlış yaptığı hesaplama da bu.

Bir port, bir sunucunun özelliğidir. Belirli bir hızda çalışan dört makine, her ay o hızın dört katı anlamına gelir ve bu da rahat bir küme bütçesini rahatsız edici bir bütçeye dönüştüren kalemdir. Aşağıda, çarpma işleminin zaten yapıldığı bir şema bulunmaktadır, çünkü birden fazla makineyle ilgili bir sayfada bunu kendinizin yapması gerektiği fikri geçerli değildir.

Per month, on top of the machine. The port is bought per node, so the right-hand columns are what the same speed costs across a cluster.
PortOne machineTwoFourOffered on
1 Gbpsincludedincludedincludedevery platform
2 Gbps$189$378$756every platform
3 Gbps$299$598$1,196every platform
5 Gbps$459$918$1,836every platform
10 Gbps$529$1,058$2,116every platform
20 Gbps$1,629$3,258$6,516every platform
40 Gbps$2,799$5,598$11,1962 of 4
100 Gbps$3,999$7,998$15,9961 of 4

Basamağı seçmeden önce dikkat etmeniz gereken iki şey.

  • Merdiven doğrusal değildir, bu nedenle daha geniş bir küme daha hızlı bir kümeden daha ucuz olabilir. Basamakları hiçbir şeye karşı değil, birbirleriyle karşılaştırın: bu tablonun birkaç noktasında, bir basamak aşağıda iki makine, bir basamak yukarıda bir makineden daha az maliyetlidir ve size iki makine kazandırır. Bunun iyi bir takas olup olmadığı tamamen işinizin bölünüp bölünmemesine bağlıdır.
  • Merdivenin en üst basamağı her platformda bulunmuyor. Sağdaki sütun, bunlardan kaçının her hıza ulaştığını gösteriyor ve en hızlı basamaklar, kart sahibine daha eski bir otobüs veren bir platforma doğru daralıyor. Bu, yukarıdaki tabloda gösterilenle aynı ticaret, diğer yönden geliyor.

Sahip olmadığımız şeyleri açıkça söyleyelim.

Kataloğumuzda makineler arasında Ethernet portundan başka bir şey bulunmamaktadır. Listede InfiniBand altyapısı veya karttan karta köprü bulunmamaktadır ve bu sayfa da bunu ima ederek bir şey sunmayacaktır. Eğer bir yapılandırmanın bunlardan birine ihtiyacı varsa, sipariş vermeden önce sorun, sonrasında değil: cevap bir fiyat teklifidir ve cevap hayır olabilir. Bu, size evet olabileceği izlenimini veren bir sayfadan daha değerlidir.

Yukarıdaki tüm hızlar her iki yönde de sınırsızdır, herhangi bir faturada aktarım kotası veya çıkış hattı bulunmaz; bu nedenle düğümlerinizin birbirine gönderdiği veriler, herhangi bir hacimde ücretsizdir; bu da genellikle başka yerlerde ölçülen kısımdır. Sınırsız bant genişliği, tek başına, tek bir makinede ele alınan bir port için geçerli olan sayfadır.

Var olabileceği yer

Tek bir makine için önce platformu seçersiniz. Birden fazla makine için ise önce odayı seçersiniz.

Birbirleriyle iletişim kurması gereken makineler aynı binada bulunur ve odalarımızın hepsinde aynı platformlar bulunmaz. Önce platformu seçin ve ihtiyacınız olan odanın o platformu taşımadığını görebilirsiniz. Bu, diğer her şeyle aynı katalogdan türetilmiştir, bu nedenle yeni bir şehre gelen bir hat burada tek başına görünür.

  • New York, US4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest, EU4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami, US3 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco, US2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam, EU2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Binanın gerçekte nerede olduğu, neye bağlı olduğu ve içinde başka kimlerin bulunduğu - veri merkezleri tüm bu beş özelliği tanımlar. Şehirlerimizden ikisi arasındaki gecikme süresi, pazarlama amaçlı bir rakamdan ziyade gerçek bir sayıdır ve destek ekibi, isteğiniz üzerine haritadan tahmin etmenizi istemek yerine, sizin için bu süreyi ölçecektir.

Nasıl alıntılandığı ve ne kadar sürede var olduğu

Çoklu düğüm çalışmaları, ödemesi yapıldıktan sonra değil, önce tarihlendirilir.

Bu tür bir sistem, genellikle stokta bulunmayan birkaç makine ve parçadan oluşur; bu nedenle dürüst olmak gerekirse, bir teslimat sözü vermek değil, siparişe göre üretilen sistemin ve GPU sayfasının kullanım tarihini aynı kelimelerle belirtmek gerekir.

  1. ~30 dakika

    Makineler zaten oldukları gibi raflara yerleştirilmiş durumda.

    Hiçbir şey yerleştirilmiyor ve hiçbir şey taşınmıyor. Anlık sunucular , şu anda orada bulunanların listesidir ve sıradan düğümlerden oluşan bir küme için öncelikle bunu okumakta fayda var.

  2. 4–24 saat

    Parçalar elimizde olanlardır.

    Olağan durum. Teknisyenler kartları takar, dizileri oluşturur ve işletim sistemlerini kurar; bunları makine başına, paralel olarak, birbiri ardına değil.

  3. 5-10 iş günü

    Parçaların satın alınması gerekiyor.

    Teknik özelliklerde belirtilen bazı ürünler stoklarımızda bulunmuyor. Sipariş verip üretiyoruz. Bu, çoklu kart kasaları için en yaygın yöntemdir, çünkü genellikle karttan ziyade kasa daha uzun bir gövdeye sahiptir.

  4. 10-15 iş günü

    Parça kıtlığı yaşanıyor.

    Mevcut nesil hızlandırıcılar tahsisat esasına göre çalışır ve tarih bizim değil, dağıtımcınındır. Taahhütte bulunmadan önce uzun direğin adını belirliyoruz, sonrasında değil. Donanım tek bir müşteri için satın alındığında, üç aylık peşinat talep ediyoruz çünkü hesap ikinci haftada kapanırsa makineyi yeniden kiralayamayız.

Her aşama, siparişin ödeme ve dolandırıcılık kontrolünden geçmesiyle başlar; bu, garanti veremeyeceğimiz tek adımdır — çoğu işlem birkaç saat içinde tamamlanır ve yeni bir hesaptan gelen büyük bir ilk sipariş daha uzun sürebilir. Bu büyüklükteki bir sipariş için, havale veya stablecoin genellikle karttan daha hızlı tamamlanır; bu da dolandırıcılık kontrolü nedeniyle siparişin gecikmesinden önce bilinmesi gereken bir bilgidir.

Çok düğümlü veya çok kartlı bir derlemeyi bir cümleyle açıklamak, bir formdan daha hızlıdır. ; daha önce bunlardan birini açıklamış biri size cevap verecektir, hatta tek bir makinenin yeterli olacağı cevabı bile.

Bundan sonra nereye gideceğiz?

Bu sayfanın iki yanındaki sayfalar.

Bu sayfanın tek bir sorusu var: birden fazla kart ve birden fazla makine nasıl görünür? Yan yana olan her şeyin kendi sayfası var ve bu da onların hepsini içeriyor.

For the record

Everything on this page, as figures.

Read from the order catalogue when this page was served. Card prices are deliberately not among them — GPU dedicated servers holds every one, against the exact machine each figure belongs to.

Cards in one machine
More than one is a build we quote rather than a checkout option. How many fit depends on the physical width of the card and on the power budget, so the honest answer needs the specific card. Ask, and the reply names the chassis, the count and the lead time.
Machines in one cluster
No limit we impose. Each is a whole physical server rented on its own terms, and they are ordered, billed and replaced independently — there is no cluster product and no minimum node count.
Platforms that take a card
4, and they are not interchangeable. The one with the widest bus to the card (AMD EPYC, PCIe 4.0, 128 lanes per socket) has the lowest network ceiling (20 Gbps) and is in 2 of our 5 rooms. The one that reaches 100 Gbps (Intel Xeon Silver / Gold) gives a card an older bus.
What joins two machines
The port on each of them. Speeds run from the included 1 Gbps on every one of them up to 100 Gbps, priced per machine and per month, so a cluster pays for the speed once per node. There is no NVLink fabric and no InfiniBand here; anything beyond an Ethernet port between two of our machines is quoted rather than listed.
Ceilings in one machine before a second one is needed
2 sockets and 1 TB of memory on the best of these platforms. Past either, the answer is another machine.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest. Machines that talk to each other should be in one of them together, and New York and Bucharest hold every platform on this page.
Bandwidth
Unmetered, both directions, at every speed on the ladder. No transfer allowance, no egress line on any invoice — which is what makes moving a dataset between nodes free rather than metered.
Tenancy
One tenant per physical machine, on every node. Cards are passed through to your own operating system: no hypervisor, no MIG partition, no vGPU profile, no time-slicing.
How soon
The same ladder as any build here: about four to twenty-four hours when the parts are ones we hold, five to ten working days when they have to be bought in, and ten to fifteen when a part is scarce. A multi-node build is quoted with its long pole named before you commit.
Term
One month, no contract, on each machine separately. Three, six and twelve-month cycles take up to 15% off. Where hardware is bought in for one customer we ask for three months up front.
What this page does not price
Cards. Every graphics card we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, priced against the exact machine each figure belongs to.