Multi-card și multi-nod · Primcast LLC · din 2004

A merge mai lat nu este aceeași tranzacție cu a merge mai lat.

O placă video într-o singură mașină este o întrebare clară, iar prețul este afișat placă cu placă pe pagina GPU. Aceasta începe de unde se termină: o a doua placă video în aceeași carcasă sau o a doua mașină lângă prima. Sună ca aceeași decizie și sunt opuse - platforma de aici care oferă unei plăci cele mai multe benzi de rețea are cel mai mic plafon de rețea și se află în cele mai puține camere. Nimeni nu publică asta despre propriul catalog. Este primul tabel de mai jos.

Comparați platformele Ce unește două mașini

Fiecare mașină este un singur chiriaș, fiecare card este transmis către propriul sistem de operare și nimic de aici nu contează un octet între nodurile tale.

Registrul

  • 4Platforms that take a card
  • 100 GbpsFastest port on any of them
  • 2Sockets in one machine, at most
  • 1 TBMemory in one machine, at most
  • 2Rooms holding every platform

Citește din catalogul de comenzi când a fost servită această pagină, nu tastat. Ce stă pe un raft în această dimineață este o altă întrebare, iar serverele instant sunt locul unde se găsește răspunsul.

Două întrebări diferite

Pe care îl întrebi de fapt?

Oamenii ajung aici hotărâți „Am nevoie de mai mult” fără a fi decis mai mult din ce anume. Cele două răspunsuri costă diferit, sunt oferite diferit și sunt limitate de lucruri diferite, așa că merită să fii explicit înainte de a citi un alt rând.

Mai multe carduri într-un singur aparat

O a doua placă în aceeași carcasă

Nu ai suficientă memorie pe card sau nu ai suficientă capacitate de procesare, iar restul sistemului este în regulă. Aceasta este o versiune pe care o cităm mai degrabă decât o căsuță pe care o bifezi la finalizarea comenzii, deoarece numărul de plăci compatibile depinde de lățimea fizică a plăcii respective și de bugetul de energie al carcasei respective - două aspecte care nu sunt într-un catalog și pe care nu le vom ghici.

Ce decide: placa, nu platforma. Întreabă folosind piesa respectivă, iar răspunsul menționează șasiul, numărul de comenzi și timpul de livrare.

Ceea ce oamenii așteaptă și nu obțin: două plăci nu sunt o singură placă mai mare. Memoria lor se adună doar dacă ceea ce rulezi poate împărți un model în ambele - paralelism tensorial sau de conductă, pe care orice runtime serios îl suportă și care te costă o anumită rată de transfer a traficului dintre ele. Pentru o muncă care constă deja în mai multe joburi independente, două plăci sunt pur și simplu de două ori mai mare decât mașina și nimic nu trebuie să se schimbe.

Mai multe mașini lângă el

O a doua mașină lângă prima

Ai rămas fără calculator, nu fără placă: fără socketuri, fără memorie, fără loc unde să pui următoarea sarcină. Pe cea mai bună platformă de mai jos, acel plafon este 2 sockets and 1 TB , iar dincolo de oricare dintre acestea, răspunsul este un alt server, nu unul mai mare.

Ceea ce decide: camera și portul. Două mașini care trebuie să comunice între ele trebuie să fie în aceeași clădire, iar ceea ce le unește este portul de pe fiecare dintre ele - cumpărat per mașină, deci structura de sub patru noduri este formată din patru porturi.

Ceea ce oamenii așteaptă și nu primesc: nu există un produs de cluster aici și nici un număr minim de noduri. Fiecare mașină este comandată, facturată, actualizată și înlocuită independent, motiv pentru care nimic de pe această pagină nu menționează un preț pentru cluster - un cluster este format din n facturi.

Comerțul

Platforma care este cea mai bună la una dintre acestea este cea mai slabă la cealaltă.

Fiecarei platforme îi potrivim o placă, pe axele care decid un cluster, nu o singură mașină. Citiți cele două coloane din mijloc împreună și întregul argument al acestei pagini se află în ele: se mișcă în direcții opuse. Generarea magistralei este aceeași figură pe care o publică pagina GPU, din același tabel, deci cele două pagini nu pot fi în dezacord cu privire la o legătură.

Read from the order catalogue when this page was served. The two middle columns are the trade.
PlatformLanes to the cardNetwork ceilingSocketsMemory ceilingRooms
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps included2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps included21 TB2

Citind acel tabel

  • Benzile către placă decid cât de repede trec datele între procesor și accelerator. Contează continuu pentru o buclă de antrenament care transmite în flux loturi, pentru o randare care alimentează date de scenă la fiecare cadru și pentru orice iese din memoria cardului. Nu mai contează aproape deloc odată ce un model este rezident și rămâne acolo.
  • Plafonul rețelei decide cât de repede poate comunica o mașină cu următoarea. Este irelevant pentru un singur server care își face propria treabă și este întreaga problemă pentru o sarcină împărțită pe mai multe.
  • Camere decide dacă opțiunea este disponibilă acolo unde aveți nevoie de ea și este coloana pe care oamenii o citesc ultima și ar trebui să o citească prima — vezi mai jos.
  • Deci: o lucrare care se potrivește într-o singură mașină și lovește autobuzul are nevoie de cele mai largi benzi și nu-i pasă de port. O lucrare distribuită pe mai multe mașini are nevoie de port și poate funcționa cu un autobuz mai vechi. A dori ambele deodată este singura combinație pe care catalogul nostru nu o oferă și am prefera să spunem asta aici decât după ce ați plătit.

Ce placă se potrivește în oricare dintre acestea și cât adaugă fiecare pe lună sunt servere dedicate GPU — fiecare placă pe care o instalăm, evaluată în funcție de mașina exactă căreia îi aparține cifra. Această pagină nu prețuiește nicio placă, în mod deliberat: o singură pagină deține acei bani.

Ce îi unește

Interconectarea se cumpără per mașină, iar aceasta este aritmetica pe care oamenii o greșesc.

Un port este o proprietate a unui server. Patru mașini la o anumită viteză reprezintă acea viteză de patru ori, în fiecare lună, și este elementul care transformă un buget confortabil al clusterului într-unul inconfortabil. Mai jos este scara cu multiplicarea deja făcută, deoarece o pagină despre mai multe mașini care te lasă să o faci singur nu își face treaba.

Per month, on top of the machine. The port is bought per node, so the right-hand columns are what the same speed costs across a cluster.
PortOne machineTwoFourOffered on
1 Gbpsincludedincludedincludedevery platform
2 Gbps$189$378$756every platform
3 Gbps$299$598$1,196every platform
5 Gbps$459$918$1,836every platform
10 Gbps$529$1,058$2,116every platform
20 Gbps$1,629$3,258$6,516every platform
40 Gbps$2,799$5,598$11,1962 of 4
100 Gbps$3,999$7,998$15,9961 of 4

Două lucruri de remarcat înainte de a alege o treaptă

  • Scara nu este liniară, așa că un grup mai larg poate fi mai ieftin decât unul mai rapid. Comparați treptele una cu cealaltă, mai degrabă decât cu nimic: în mai multe puncte ale tabelului, două mașini cu o treaptă mai jos costă mai puțin decât o mașină cu o treaptă mai sus și vă oferă două mașini. Dacă este un schimb bun depinde în întregime de dacă munca voastră se împarte sau nu.
  • Partea de sus a scării nu se află pe fiecare peron. Coloana din dreapta arată câți dintre ei ating fiecare viteză, iar cele mai rapide trepte se îngustează către un peron care oferă unei cărți un autobuz mai vechi. Aceasta este aceeași tranzacție ca în tabelul de mai sus, venind din direcția opusă.

Ceea ce nu avem, spus clar

În catalogul nostru nu există nimic în afară de un port Ethernet între mașini. Nu există listate componente InfiniBand și nicio punte card-to-card, iar această pagină nu va sugera una prin ocolirea lor. Dacă o versiune necesită oricare dintre acestea, întrebați înainte de a comanda, nu după: răspunsul este o ofertă de preț, iar răspunsul poate fi nu. Aceasta valorează mai mult pentru dvs. decât o pagină care lasă impresia că ar putea fi da.

Fiecare viteză de mai sus este necontorizată în ambele direcții, fără alocație de transfer și fără linie de ieșire pe nicio factură — așadar, ceea ce nodurile își trimit reciproc este gratuit la orice volum, aceasta fiind partea care este de obicei contorizată în altă parte. Lățimea de bandă necontorizată este pagina pentru un port considerat independent, pe o singură mașină.

Unde poate exista

Pentru o mașină, alegeți mai întâi platforma. Pentru mai multe, alegeți mai întâi camera.

Mașinile care trebuie să comunice între ele aparțin aceleiași clădiri, iar camerele noastre nu au toate aceleași peroane. Alegeți mai întâi peronul și puteți constata că în camera în care aveți nevoie de el nu îl are. Acesta este derivat din același catalog ca orice altceva, așa că o linie care sosește într-un oraș nou apare aici de la sine.

  • New York, US4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest, EU4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami, US3 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco, US2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam, EU2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Unde se află clădirea de fapt, la ce este conectată și cine mai locuiește în ea — centrele de date descriu toate cele cinci. Latența dintre două dintre orașele noastre este un număr real, nu unul de marketing, iar asistența o va măsura pentru perechea dvs. la cerere, în loc să vă ceară să ghiciți pe o hartă.

Cum este citat și cât de curând va exista

Lucrările cu mai multe noduri sunt depășite înainte de a fi plătite, nu după.

O versiune de acest tip este formată din mai multe mașini și adesea mai multe componente care nu sunt pe raft, așa că lucrul sincer de publicat nu este o promisiune de livrare, ci scara de la care se deduce data - aceeași versiune comandată și pagina GPU utilizată, în aceiași cuvinte.

  1. ~30 de minute

    Mașinile sunt deja montate pe rafturi, așa cum sunt

    Nimic nu este montat și nimic nu este mutat. Serverele instantanee sunt lista cu ceea ce există acum, iar pentru un cluster de noduri obișnuite merită citită mai întâi.

  2. 4–24 de ore

    Piesele sunt cele pe care le deținem

    Cazul obișnuit. Tehnicienii montează plăcile, construiesc matricele și instalează sistemele de operare — pe fiecare mașină, în paralel, nu unul după altul.

  3. 5–10 zile lucrătoare

    Piesele trebuie cumpărate

    Ceva din specificații nu este în stocul nostru. Îl comandăm, apoi îl construim. Aceasta este cea mai comună treaptă pentru un șasiu cu mai multe plăci video, deoarece șasiul este de obicei polul lung, mai degrabă decât placa video.

  4. 10–15 zile lucrătoare

    O parte este rară

    Acceleratoarele din generația actuală funcționează pe bază de alocare, iar data este a distribuitorului, nu a noastră. Denumim polul lung înainte de angajamentul dumneavoastră, nu ulterior. În cazul în care hardware-ul este achiziționat pentru un client, solicităm trei luni în avans, deoarece este o mașină pe care nu o putem reînchiria dacă contul se închide în a doua săptămână.

Fiecare etapă începe atunci când comanda trece prin procesarea plății și verificarea fraudei, acesta fiind singurul pas pe care nu îl vom promite - majoritatea sunt procesate în câteva ore, iar o primă comandă mare dintr-un cont nou poate dura mai mult. Pentru o configurație de această dimensiune, un transfer bancar sau o stablecoin se procesează de obicei mai repede decât un card, lucru care merită știut înainte ca o verificare a fraudei să întârzie o vizită la rack.

Descrierea unei construcții cu mai multe noduri sau mai multe carduri este mai rapidă într-o propoziție decât într-un formular. - numărul de noduri, dacă munca se împarte și cu ce trebuie să comunice - și cineva care a citat una dintre acestea înainte va răspunde, inclusiv atunci când răspunsul este că o singură mașină ar fi suficientă.

For the record

Everything on this page, as figures.

Read from the order catalogue when this page was served. Card prices are deliberately not among them — GPU dedicated servers holds every one, against the exact machine each figure belongs to.

Cards in one machine
More than one is a build we quote rather than a checkout option. How many fit depends on the physical width of the card and on the power budget, so the honest answer needs the specific card. Ask, and the reply names the chassis, the count and the lead time.
Machines in one cluster
No limit we impose. Each is a whole physical server rented on its own terms, and they are ordered, billed and replaced independently — there is no cluster product and no minimum node count.
Platforms that take a card
4, and they are not interchangeable. The one with the widest bus to the card (AMD EPYC, PCIe 4.0, 128 lanes per socket) has the lowest network ceiling (20 Gbps) and is in 2 of our 5 rooms. The one that reaches 100 Gbps (Intel Xeon Silver / Gold) gives a card an older bus.
What joins two machines
The port on each of them. Speeds run from the included 1 Gbps on every one of them up to 100 Gbps, priced per machine and per month, so a cluster pays for the speed once per node. There is no NVLink fabric and no InfiniBand here; anything beyond an Ethernet port between two of our machines is quoted rather than listed.
Ceilings in one machine before a second one is needed
2 sockets and 1 TB of memory on the best of these platforms. Past either, the answer is another machine.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest. Machines that talk to each other should be in one of them together, and New York and Bucharest hold every platform on this page.
Bandwidth
Unmetered, both directions, at every speed on the ladder. No transfer allowance, no egress line on any invoice — which is what makes moving a dataset between nodes free rather than metered.
Tenancy
One tenant per physical machine, on every node. Cards are passed through to your own operating system: no hypervisor, no MIG partition, no vGPU profile, no time-slicing.
How soon
The same ladder as any build here: about four to twenty-four hours when the parts are ones we hold, five to ten working days when they have to be bought in, and ten to fifteen when a part is scarce. A multi-node build is quoted with its long pole named before you commit.
Term
One month, no contract, on each machine separately. Three, six and twelve-month cycles take up to 15% off. Where hardware is bought in for one customer we ask for three months up front.
What this page does not price
Cards. Every graphics card we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, priced against the exact machine each figure belongs to.