Πολλαπλών καρτών και πολλαπλών κόμβων · Primcast LLC · από το 2004

Το να επεκτείνεις την αγορά δεν είναι το ίδιο με το να επεκτείνεις την αγορά.

Μία κάρτα σε ένα μηχάνημα είναι ένα ερώτημα που έχει λυθεί και κοστολογείται κάρτα προς κάρτα στη σελίδα GPU. Αυτό ξεκινάει από εκεί που τελειώνει: μια δεύτερη κάρτα στο ίδιο πλαίσιο ή ένα δεύτερο μηχάνημα δίπλα στο πρώτο. Ακούγονται σαν η ίδια απόφαση και είναι αντίθετες — η πλατφόρμα εδώ που δίνει σε μια κάρτα τις περισσότερες λωρίδες έχει το χαμηλότερο όριο δικτύου και βρίσκεται στα λιγότερα δωμάτια. Κανείς δεν δημοσιεύει κάτι τέτοιο για τον δικό του κατάλογο. Είναι ο πρώτος πίνακας παρακάτω.

Συγκρίνετε τις πλατφόρμες Τι ενώνει δύο μηχανές

Κάθε μηχάνημα είναι ένας ένοικος, κάθε κάρτα περνάει στο δικό σας λειτουργικό σύστημα και τίποτα εδώ δεν μετράει ούτε ένα byte μεταξύ των κόμβων σας.

Το μητρώο

  • 4Platforms that take a card
  • 100 GbpsFastest port on any of them
  • 2Sockets in one machine, at most
  • 1 TBMemory in one machine, at most
  • 2Rooms holding every platform

Διαβάστε από τον κατάλογο παραγγελιών όταν σερβιρίστηκε αυτή η σελίδα, όχι πληκτρολογήθηκε. Το τι υπάρχει σε ένα ράφι σήμερα το πρωί είναι ένα διαφορετικό ερώτημα, και η απάντηση δίνεται στους άμεσους σερβιτόρους .

Δύο διαφορετικές ερωτήσεις

Ποιον από τους δύο ρωτάς τελικά;

Οι άνθρωποι φτάνουν εδώ έχοντας αποφασίσει «Χρειάζομαι περισσότερα» χωρίς να έχουν ήδη αποφασίσει περισσότερα από το τι. Οι δύο απαντήσεις κοστίζουν διαφορετικά, παρέχονται διαφορετικά και περιορίζονται από διαφορετικά πράγματα, επομένως αξίζει να είστε σαφείς πριν διαβάσετε άλλη μια γραμμή.

Περισσότερες κάρτες σε ένα μηχάνημα

Μια δεύτερη κάρτα στο ίδιο πλαίσιο

Έχετε έλλειψη μνήμης κάρτας ή έλλειψη απόδοσης, και όλα τα υπόλοιπα σχετικά με το μηχάνημα είναι μια χαρά. Αυτή είναι μια έκδοση που εμείς αναφέρουμε και όχι ένα κουτάκι που τσεκάρετε στο ταμείο, επειδή το πόσες κάρτες χωράνε εξαρτάται από το φυσικό πλάτος της συγκεκριμένης κάρτας και από τον προϋπολογισμό ισχύος του συγκεκριμένου πλαισίου — δύο στοιχεία που δεν υπάρχουν σε κατάλογο και για τα οποία δεν θα κάνουμε εικασίες.

Τι το αποφασίζει: η κάρτα, όχι η πλατφόρμα. Ρωτήστε με το εξάρτημα που κατονομάζεται και η απάντηση αναφέρει το πλαίσιο, τον αριθμό και τον χρόνο παράδοσης.

Αυτό που οι άνθρωποι περιμένουν και δεν καταλαβαίνουν: δύο κάρτες δεν είναι μία μεγαλύτερη κάρτα. Η μνήμη τους αθροίζεται μόνο αν αυτό που εκτελείτε μπορεί να διαιρέσει ένα μοντέλο και στα δύο — παραλληλισμός τενσορ ή αγωγού, τον οποίο υποστηρίζει κάθε σοβαρός χρόνος εκτέλεσης και ο οποίος σας κοστίζει κάποια απόδοση στην κίνηση μεταξύ τους. Για εργασία που είναι ήδη πολλές ανεξάρτητες εργασίες, δύο κάρτες είναι απλώς διπλάσιες από το μηχάνημα και τίποτα δεν χρειάζεται να αλλάξει.

Περισσότερες μηχανές δίπλα του

Ένα δεύτερο μηχάνημα δίπλα στο πρώτο

Σου έχει τελειώσει το μηχάνημα αντί για την κάρτα: δεν έχεις πλέον υποδοχές, δεν έχεις πλέον μνήμη, δεν έχεις πλέον κάπου να κάνεις την επόμενη δουλειά. Στις καλύτερες από τις παρακάτω πλατφόρμες, αυτό το όριο είναι 2 sockets and 1 TB , και πέρα ​​από οποιαδήποτε από αυτές η απάντηση είναι ένας άλλος διακομιστής αντί για έναν μεγαλύτερο.

Αυτό που το καθορίζει: το δωμάτιο και η θύρα. Δύο μηχανήματα που πρέπει να επικοινωνούν μεταξύ τους πρέπει να βρίσκονται στο ίδιο κτίριο και αυτό που τα ενώνει είναι η θύρα σε κάθε ένα από αυτά — αγοράζεται ανά μηχάνημα, επομένως το fabric κάτω από τέσσερις κόμβους είναι τέσσερις θύρες.

Αυτό που περιμένουν οι άνθρωποι και δεν λαμβάνουν: δεν υπάρχει προϊόν συμπλέγματος εδώ και δεν υπάρχει ελάχιστος αριθμός κόμβων. Κάθε μηχάνημα παραγγέλνεται, χρεώνεται, αναβαθμίζεται και αντικαθίσταται μόνο του, γι' αυτό και τίποτα σε αυτήν τη σελίδα δεν αναφέρει τιμή συμπλέγματος — ένα σύμπλεγμα είναι n τιμολόγια.

Το εμπόριο

Η πλατφόρμα που είναι καλύτερη σε ένα από αυτά είναι χειρότερη στο άλλο.

Σε κάθε πλατφόρμα προσαρμόζουμε μια κάρτα, στους άξονες που καθορίζουν ένα σύμπλεγμα και όχι ένα μόνο μηχάνημα. Διαβάστε τις δύο μεσαίες στήλες μαζί και ολόκληρο το επιχείρημα αυτής της σελίδας βρίσκεται σε αυτές: κινούνται σε αντίθετες κατευθύνσεις. Η δημιουργία διαύλου είναι το ίδιο σχήμα που δημοσιεύει η σελίδα GPU, από τον ίδιο πίνακα, επομένως οι δύο σελίδες δεν μπορούν να διαφωνήσουν σχετικά με έναν σύνδεσμο.

Read from the order catalogue when this page was served. The two middle columns are the trade.
PlatformLanes to the cardNetwork ceilingSocketsMemory ceilingRooms
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps included2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps included21 TB2

Διαβάζοντας αυτόν τον πίνακα

  • Οι λωρίδες στην κάρτα καθορίζουν την ταχύτητα με την οποία τα δεδομένα διασχίζουν τον επεξεργαστή και τον επιταχυντή. Έχει συνεχή σημασία για έναν βρόχο εκπαίδευσης που ρέει παρτίδες, για μια απόδοση που τροφοδοτεί δεδομένα σκηνής σε κάθε καρέ και για οτιδήποτε διαχέεται από τη μνήμη της κάρτας. Σταματά να έχει σχεδόν ολοκληρωτική σημασία μόλις ένα μοντέλο εγκατασταθεί και παραμείνει εκεί.
  • Το όριο δικτύου καθορίζει πόσο γρήγορα μπορεί να επικοινωνήσει ένα μηχάνημα με το επόμενο. Δεν έχει σημασία αν ένας μόνο διακομιστής κάνει τη δική του δουλειά και είναι το μόνο ζήτημα για μια εργασία που κατανέμεται σε πολλά.
  • Το Rooms αποφασίζει εάν η επιλογή είναι διαθέσιμη όπου τη χρειάζεστε καθόλου και είναι η στήλη που διαβάζουν οι χρήστες τελευταία και που πρέπει να διαβάσουν πρώτη — δείτε παρακάτω.
  • Λοιπόν: μια εργασία που χωράει μέσα σε ένα μηχάνημα και χτυπάει το λεωφορείο θέλει τις πιο φαρδιές λωρίδες και δεν την νοιάζει το λιμάνι. Μια εργασία που εκτείνεται σε πολλά μηχανήματα θέλει το λιμάνι και μπορεί να λειτουργήσει με ένα παλαιότερο λεωφορείο. Το να θέλεις και τα δύο ταυτόχρονα είναι ο μόνος συνδυασμός που δεν υπάρχει στον κατάλογό μας, και θα προτιμούσαμε να το πούμε εδώ παρά αφού πληρώσετε.

Η κάρτα που ταιριάζει σε οποιαδήποτε από αυτές, και τι προσθέτει η καθεμία ανά μήνα, είναι οι αποκλειστικοί διακομιστές GPU — κάθε κάρτα που τοποθετούμε, κοστολογείται με βάση το ακριβές μηχάνημα στο οποίο ανήκει ο αριθμός της. Αυτή η σελίδα δεν κοστολογεί καμία κάρτα, σκόπιμα: μία σελίδα κατέχει αυτά τα χρήματα.

Τι τους ενώνει

Η διασύνδεση αγοράζεται ανά μηχάνημα, και αυτή είναι η αριθμητική που κάνουν λάθος οι άνθρωποι.

Μια θύρα είναι ιδιότητα ενός διακομιστή. Τέσσερα μηχανήματα σε μια δεδομένη ταχύτητα είναι αυτή η ταχύτητα τέσσερις φορές, κάθε μήνα, και είναι το στοιχείο γραμμής που μετατρέπει έναν άνετο προϋπολογισμό συμπλέγματος σε έναν άβολο. Παρακάτω είναι η κλίμακα με τον πολλαπλασιασμό που έχει ήδη γίνει, επειδή μια σελίδα για περισσότερα από ένα μηχανήματα που σας αφήνει να το κάνετε μόνοι σας δεν κάνει τη δουλειά της.

Per month, on top of the machine. The port is bought per node, so the right-hand columns are what the same speed costs across a cluster.
PortOne machineTwoFourOffered on
1 Gbpsincludedincludedincludedevery platform
2 Gbps$189$378$756every platform
3 Gbps$299$598$1,196every platform
5 Gbps$459$918$1,836every platform
10 Gbps$529$1,058$2,116every platform
20 Gbps$1,629$3,258$6,516every platform
40 Gbps$2,799$5,598$11,1962 of 4
100 Gbps$3,999$7,998$15,9961 of 4

Δύο πράγματα που αξίζει να προσέξετε πριν επιλέξετε ένα σκαλί

  • Η σκάλα δεν είναι γραμμική, επομένως μια ευρύτερη συστάδα μπορεί να είναι φθηνότερη από μια ταχύτερη. Συγκρίνετε τα σκαλοπάτια μεταξύ τους αντί για το τίποτα: σε πολλά σημεία σε αυτό το τραπέζι, δύο μηχανές κατά ένα σκαλί χαμηλότερα κοστίζουν λιγότερο από μία μηχανή κατά ένα σκαλί υψηλότερα και σας δίνουν δύο μηχανές. Το αν αυτή είναι μια καλή ανταλλαγή εξαρτάται αποκλειστικά από το αν η εργασία σας χωρίζεται.
  • Η κορυφή της σκάλας δεν βρίσκεται σε κάθε πλατφόρμα. Η δεξιά στήλη αναφέρει πόσα από αυτά φτάνουν σε κάθε ταχύτητα, και τα ταχύτερα σκαλοπάτια στενεύουν σε μια πλατφόρμα που δίνει σε μια κάρτα ένα παλαιότερο λεωφορείο. Αυτή είναι η ίδια συναλλαγή με τον παραπάνω πίνακα, που φτάνει από την άλλη κατεύθυνση.

Αυτό που δεν έχουμε, το είπαμε ξεκάθαρα

Στον κατάλογό μας δεν υπάρχει τίποτα πέρα ​​από μια θύρα Ethernet μεταξύ μηχανημάτων. Δεν υπάρχει καμία αναφορά σε fabric InfiniBand ούτε σε γέφυρα κάρτας-προς-κάρτα, και αυτή η σελίδα δεν πρόκειται να υπονοήσει κάτι τέτοιο γράφοντας παραπέρα. Εάν μια έκδοση χρειάζεται κάτι από αυτά, ρωτήστε πριν παραγγείλετε και όχι μετά: η απάντηση είναι μια προσφορά, και η απάντηση μπορεί να είναι όχι. Αυτό αξίζει περισσότερο για εσάς από μια σελίδα που αφήνει την εντύπωση ότι μπορεί να είναι ναι.

Κάθε παραπάνω ταχύτητα είναι απεριόριστη και προς τις δύο κατευθύνσεις, χωρίς επιτρεπόμενη μεταφορά και χωρίς γραμμή εξόδου σε κανένα τιμολόγιο — επομένως, αυτό που στέλνουν οι κόμβοι σας μεταξύ τους είναι δωρεάν σε οποιονδήποτε όγκο, το οποίο είναι το μέρος που συνήθως μετριέται αλλού. Το απεριόριστο εύρος ζώνης είναι η σελίδα για μια θύρα που θεωρείται ξεχωριστή, σε ένα μηχάνημα.

Πού μπορεί να υπάρχει

Για ένα μηχάνημα επιλέγετε πρώτα την πλατφόρμα. Για πολλά, επιλέγετε πρώτα το δωμάτιο.

Οι μηχανές που πρέπει να επικοινωνούν μεταξύ τους ανήκουν στο ίδιο κτίριο, και τα δωμάτιά μας δεν έχουν όλα τις ίδιες πλατφόρμες. Διάλεξε πρώτα την πλατφόρμα και μπορεί να διαπιστώσεις ότι το δωμάτιο στο οποίο τη χρειάζεσαι δεν τη διαθέτει. Αυτό προέρχεται από τον ίδιο κατάλογο με όλα τα άλλα, επομένως μια γραμμή που φτάνει σε μια νέα πόλη εμφανίζεται εδώ μόνη της.

  • New York, US4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest, EU4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami, US3 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco, US2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam, EU2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Πού βρίσκεται στην πραγματικότητα το κτίριο, με τι συνδέεται και ποιος άλλος βρίσκεται σε αυτό — τα κέντρα δεδομένων περιγράφουν και τα πέντε. Η καθυστέρηση μεταξύ δύο πόλεών μας είναι ένας πραγματικός αριθμός και όχι ένας αριθμός μάρκετινγκ, και η υποστήριξη θα τη μετρήσει για το ζεύγος σας κατόπιν αιτήματος αντί να σας ζητήσει να μαντέψετε από έναν χάρτη.

Πώς αναφέρεται και πόσο σύντομα υπάρχει

Η εργασία πολλαπλών κόμβων χρονολογείται πριν από την πληρωμή της, όχι μετά.

Μια τέτοια κατασκευή αποτελείται από πολλά μηχανήματα και συχνά από πολλά εξαρτήματα που δεν βρίσκονται σε κάποιο ράφι, επομένως το πιο έντιμο πράγμα που πρέπει να δημοσιευτεί δεν είναι η υπόσχεση παράδοσης, αλλά η σκάλα με την ημερομηνία — η ίδια κατασκευή κατόπιν παραγγελίας και η χρήση της σελίδας GPU, με τα ίδια λόγια.

  1. ~30 λεπτά

    Τα μηχανήματα είναι ήδη σταθμευμένα όπως είναι

    Τίποτα δεν έχει τοποθετηθεί και τίποτα δεν έχει μετακινηθεί. Οι άμεσοι διακομιστές είναι η λίστα με ό,τι υπάρχει αυτή τη στιγμή και για ένα σύμπλεγμα συνηθισμένων κόμβων αξίζει να διαβαστεί πρώτα.

  2. 4–24 ώρες

    Τα μέρη είναι αυτά που κρατάμε εμείς

    Η συνηθισμένη περίπτωση. Οι τεχνικοί τοποθετούν τις κάρτες, κατασκευάζουν τους πίνακες και εγκαθιστούν τα λειτουργικά συστήματα — ανά μηχάνημα, παράλληλα, όχι το ένα μετά το άλλο.

  3. 5–10 εργάσιμες ημέρες

    Τα ανταλλακτικά πρέπει να αγοραστούν εντός

    Κάτι στις προδιαγραφές δεν είναι εργοστασιακό και δεν το έχουμε. Το παραγγέλνουμε και μετά το κατασκευάζουμε. Αυτή είναι η πιο συνηθισμένη επιλογή για ένα σασί πολλαπλών καρτών, επειδή το σασί είναι συνήθως ο μακρύς πόλος και όχι η κάρτα.

  4. 10–15 εργάσιμες ημέρες

    Ένα μέρος είναι σπάνιο

    Οι επιταχυντές τρέχουσας γενιάς λειτουργούν με βάση την κατανομή και η ημερομηνία είναι του διανομέα, όχι δική μας. Ονομάζουμε τον μεγάλο πόλο πριν από τη δέσμευση και όχι μετά. Όταν αγοράζεται υλικό για έναν πελάτη, ζητάμε τρεις μήνες εκ των προτέρων, επειδή είναι ένα μηχάνημα που δεν μπορούμε να εκμισθώσουμε ξανά εάν ο λογαριασμός κλείσει τη δεύτερη εβδομάδα.

Κάθε βήμα ξεκινά όταν η παραγγελία ολοκληρωθεί με την πληρωμή και τον έλεγχο απάτης, το οποίο είναι το μόνο βήμα στο οποίο δεν θα δώσουμε καμία υπόσχεση — οι περισσότερες εκκαθαρίζονται μέσα σε μερικές ώρες, και μια μεγάλη πρώτη παραγγελία από έναν νέο λογαριασμό μπορεί να διαρκέσει περισσότερο. Για μια κατασκευή αυτού του μεγέθους, ένα τραπεζικό έμβασμα ή ένα stablecoin συνήθως εκκαθαρίζεται πιο γρήγορα από μια κάρτα, κάτι που αξίζει να γνωρίζετε πριν ένας έλεγχος απάτης καθυστερήσει μια επίσκεψη στο rack.

Η περιγραφή μιας κατασκευής πολλαπλών κόμβων ή πολλαπλών καρτών είναι πιο γρήγορη σε μια πρόταση παρά σε μια φόρμα. — ο αριθμός των κόμβων, αν η εργασία χωρίζεται και με τι πρέπει να επικοινωνήσει — και κάποιος που έχει αναφέρει ένα από αυτά στο παρελθόν θα απαντήσει, συμπεριλαμβανομένης της απάντησης ότι ένα μηχάνημα θα έκανε.

Πού να πάτε στη συνέχεια

Οι σελίδες εκατέρωθεν αυτού.

Αυτή η σελίδα έχει ένα ερώτημα: πώς μοιάζουν περισσότερες από μία κάρτες και περισσότερα από ένα μηχανήματα. Κάθε τι δίπλα έχει τη δική του σελίδα, και αυτή είναι όλες.

For the record

Everything on this page, as figures.

Read from the order catalogue when this page was served. Card prices are deliberately not among them — GPU dedicated servers holds every one, against the exact machine each figure belongs to.

Cards in one machine
More than one is a build we quote rather than a checkout option. How many fit depends on the physical width of the card and on the power budget, so the honest answer needs the specific card. Ask, and the reply names the chassis, the count and the lead time.
Machines in one cluster
No limit we impose. Each is a whole physical server rented on its own terms, and they are ordered, billed and replaced independently — there is no cluster product and no minimum node count.
Platforms that take a card
4, and they are not interchangeable. The one with the widest bus to the card (AMD EPYC, PCIe 4.0, 128 lanes per socket) has the lowest network ceiling (20 Gbps) and is in 2 of our 5 rooms. The one that reaches 100 Gbps (Intel Xeon Silver / Gold) gives a card an older bus.
What joins two machines
The port on each of them. Speeds run from the included 1 Gbps on every one of them up to 100 Gbps, priced per machine and per month, so a cluster pays for the speed once per node. There is no NVLink fabric and no InfiniBand here; anything beyond an Ethernet port between two of our machines is quoted rather than listed.
Ceilings in one machine before a second one is needed
2 sockets and 1 TB of memory on the best of these platforms. Past either, the answer is another machine.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest. Machines that talk to each other should be in one of them together, and New York and Bucharest hold every platform on this page.
Bandwidth
Unmetered, both directions, at every speed on the ladder. No transfer allowance, no egress line on any invoice — which is what makes moving a dataset between nodes free rather than metered.
Tenancy
One tenant per physical machine, on every node. Cards are passed through to your own operating system: no hypervisor, no MIG partition, no vGPU profile, no time-slicing.
How soon
The same ladder as any build here: about four to twenty-four hours when the parts are ones we hold, five to ten working days when they have to be bought in, and ten to fifteen when a part is scarce. A multi-node build is quoted with its long pole named before you commit.
Term
One month, no contract, on each machine separately. Three, six and twelve-month cycles take up to 15% off. Where hardware is bought in for one customer we ask for three months up front.
What this page does not price
Cards. Every graphics card we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, priced against the exact machine each figure belongs to.