Αποκλειστικοί διακομιστές AI · εκπαίδευση, εξυπηρέτηση, απόδοση

Φιλοξενία αποκλειστικών διακομιστών AI από μία GPU έως ένα πλήρες cluster

Ένας αποκλειστικός διακομιστής AI είναι ένα ολόκληρο φυσικό μηχάνημα με τις GPU του να περνούν απευθείας στο δικό σας λειτουργικό σύστημα, ώστε το μοντέλο που εκπαιδεύετε ή εξυπηρετείτε να μη μοιράζεται το υλικό με κανέναν. Όταν ένα μηχάνημα δεν αρκεί, μπορείτε να προσθέσετε GPU σε αυτό ή να τοποθετήσετε περισσότερα μηχανήματα δίπλα του. Αυτή η σελίδα δείχνει πόσο κοστίζει κάθε διαδρομή, πόσο γρήγορα μπορούν να επικοινωνούν τα μηχανήματα μεταξύ τους και ποια από τις πόλεις μας 5 φιλοξενεί ποια πλατφόρμα.

Μηνιαία χρέωση, χωρίς συμβόλαιο. Η θύρα κάθε μηχανήματος είναι αποκλειστικά δική σας στον μεταγωγέα και τίποτα δεν μετρά ό,τι περνά από αυτήν.

cluster.primcastΤέσσερις κόμβοι, μία πόλη
Πλατφόρμες GPU4
Ταχύτερη θύρα100 Gbps
Μνήμη ανά μηχάνημα1 TB
Έκπτωση μακροχρόνιας δέσμευσης15%
Συγκρίνετε τις πλατφόρμες

01Τι περιλαμβάνει κάθε μηχάνημα

Τι λαμβάνετε με έναν αποκλειστικό διακομιστή AI εδώ

Τα ίδια τέσσερα πράγματα σε κάθε κόμβο, από ένα μηχάνημα για μια εργασία fine-tuning έως πολλά για μια εκπαίδευση.

Η πλήρης GPU, όχι ένα τμήμα της

Κάθε GPU περνά απευθείας στο λειτουργικό σας σύστημα. Χωρίς hypervisor, χωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU και χωρίς χρονομερισμό, ώστε οι οδηγοί και τα frameworks σας να βλέπουν το υλικό όπως είναι.

Μια θύρα που είναι δική σας

Η θύρα δικτύου δεν είναι κοινόχρηστη στον μεταγωγέα πρόσβασης και τίποτα δεν τη μετρά, προς οποιαδήποτε κατεύθυνση. Η αντιγραφή ενός συνόλου δεδομένων ή ενός checkpoint μεταξύ των κόμβων σας δεν προσθέτει τίποτα στον λογαριασμό.

Μήνα με τον μήνα

Κάθε μηχάνημα λειτουργεί με δικό του μηνιαίο κύκλο χωρίς συμβόλαιο. Η πληρωμή για τρεις, έξι ή δώδεκα μήνες μειώνει την τιμή έως 15%.

Απαντήσεις σε δευτερόλεπτα

Η συνομιλία AI μας απαντά σε δευτερόλεπτα και μπορεί να δει τον λογαριασμό σας και τους διακομιστές σας ενώ σας βοηθά. Ζητήστε έναν άνθρωπο όποτε θέλετε.

02Κλιμάκωση πέρα από μία GPU

Περισσότερες GPU σε έναν διακομιστή ή περισσότεροι διακομιστές;

Ακούγονται σαν την ίδια απόφαση, αλλά κοστίζουν διαφορετικά, φτάνουν σε διαφορετικές ημερομηνίες και εξαντλούνται για διαφορετικούς λόγους. Υπολογίστε ποια χρειάζεστε πριν συγκρίνετε οτιδήποτε άλλο.

AΜεγαλώστε το μηχάνημα

Προσθέστε GPU στον διακομιστή που έχετε

Επιλέξτε αυτό όταν σας λείπει μνήμη GPU ή ταχύτητα GPU και το υπόλοιπο μηχάνημα είναι εντάξει. Πολλές GPU σε ένα πλαίσιο είναι μια σύνθεση που κοστολογούμε αντί για ένα κουτί που τσεκάρετε στο ταμείο: πόσες χωρούν εξαρτάται από το πόσο φαρδιά είναι η GPU που επιλέγετε και πόση ισχύ μπορεί να της δώσει το πλαίσιο.

Τι το καθορίζει
Η GPU που επιλέγετε. Ονομάστε τη στη συνομιλία και η απάντηση ονομάζει το πλαίσιο, πόσες χωρούν και την ημερομηνία.
Αξίζει να γνωρίζετε
Δύο GPU δεν είναι μία μεγαλύτερη GPU. Η μνήμη τους αθροίζεται μόνο όταν το λογισμικό σας χωρίζει το μοντέλο και στις δύο (παραλληλισμός tensor ή pipeline, που υποστηρίζουν τα κοινά εργαλεία εκπαίδευσης και εξυπηρέτησης), και κάποια ταχύτητα χάνεται στην κίνηση μεταξύ τους. Αν η εργασία σας είναι πολλές ξεχωριστές εργασίες, δύο GPU απλώς ολοκληρώνουν διπλάσιες.

BΜεγαλώστε το cluster

Προσθέστε μηχανήματα δίπλα στο πρώτο

Επιλέξτε αυτό όταν το ίδιο το μηχάνημα είναι γεμάτο: από επεξεργαστές, από μνήμη ή από χώρο για την επόμενη εργασία. Η μεγαλύτερη πλατφόρμα εδώ σταματά στους 2 υποδοχείς επεξεργαστών και στα 1 TB μνήμης, και πέρα από αυτό η απάντηση είναι ένας άλλος διακομιστής.

Τι το καθορίζει
Η πόλη και η θύρα. Μηχανήματα που συνεργάζονται ανήκουν στο ίδιο κτίριο και η σύνδεση μεταξύ τους είναι η θύρα δικτύου σε καθένα, που πληρώνεται ανά μηχάνημα.
Αξίζει να γνωρίζετε
Δεν υπάρχει προϊόν cluster ούτε ελάχιστος αριθμός κόμβων. Κάθε διακομιστής παραγγέλλεται, χρεώνεται, αναβαθμίζεται και αντικαθίσταται μόνος του, ώστε να μπορείτε να ξεκινήσετε με δύο και να προσθέσετε έναν τρίτο τον επόμενο μήνα.

03Οι πλατφόρμες

Επιλέξτε τον διακομιστή μηχανικής μάθησης με βάση το τι σας περιορίζει

Κάθε πλατφόρμα στην οποία τοποθετούμε μια GPU, συγκρινόμενη ως προς ό,τι έχει σημασία όταν ξεπερνάτε το ένα μηχάνημα. Διαβάστε τις δύο μεσαίες στήλες μαζί: η πλατφόρμα με το ευρύτερο μονοπάτι προς την GPU έχει την πιο αργή κορυφαία θύρα και η ταχύτερη θύρα βρίσκεται σε παλαιότερο δίαυλο.

Από τον κατάλογο παραγγελιών που χρεώνει το ταμείο μας, διαβάστηκε όταν φορτώθηκε αυτή η σελίδα.
ΠλατφόρμαΛωρίδες προς την GPUΚορυφαία θύραΥποδοχείςΜνήμη, έωςΠόλεις
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps incl.21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps incl.21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps incl.2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps incl.21 TB2
  • Λωρίδες προς την GPUΠόσο γρήγορα κινούνται τα δεδομένα μεταξύ του επεξεργαστή και της GPU. Έχει σημασία όταν μεταδίδετε παρτίδες εκπαίδευσης ή μια απόδοση τροφοδοτεί δεδομένα σκηνής σε κάθε καρέ, και σχεδόν καθόλου όταν ένα μοντέλο έχει φορτωθεί και παραμένει στη μνήμη της GPU.
  • Κορυφαία θύραΠόσο γρήγορα μιλά ένα μηχάνημα με το επόμενο. Ένας μεμονωμένος διακομιστής που κάνει τη δική του εργασία δεν το αντιλαμβάνεται ποτέ. Για μια εργασία χωρισμένη σε πολλά μηχανήματα, είναι το παν.
  • ΈτσιΜια εργασία που χωρά σε ένα μηχάνημα και βασίζεται στον δίαυλο θέλει τις ευρύτερες λωρίδες. Μια εργασία κατανεμημένη σε πολλά μηχανήματα θέλει τη θύρα και μπορεί να ζήσει με παλαιότερο δίαυλο. Και τα δύο μαζί είναι ο μόνος συνδυασμός που δεν έχουμε, και πρέπει να το ακούσετε πριν πληρώσετε.

Ποια GPU μπαίνει σε καθεμία από αυτές και τι προσθέτει ανά μήνα, βρίσκεται στους αποκλειστικούς διακομιστές GPU, με κάθε τιμή να εμφανίζεται δίπλα στο μηχάνημα στο οποίο ανήκει. Αυτή η σελίδα δεν κοστολογεί καμία GPU, ώστε ένα ποσό να μην εμφανίζεται ποτέ δίπλα σε λάθος διακομιστή.

04Ο σύνδεσμος μεταξύ των μηχανημάτων

Ένα GPU cluster πολλαπλών κόμβων πληρώνει τη θύρα σε κάθε κόμβο

Ο σύνδεσμος δικτύου αποτελεί μέρος κάθε διακομιστή, οπότε τέσσερα μηχανήματα στα 10 Gbps σημαίνουν τέσσερις θύρες 10 Gbps κάθε μήνα. Αυτή η γραμμή είναι που εκπλήσσει όσους έχουν κοστολογήσει μόνο έναν μεμονωμένο διακομιστή, γι' αυτό ο παρακάτω πίνακας κάνει τον πολλαπλασιασμό για εσάς.

Ανά μήνα, επιπλέον κάθε μηχανήματος. Δολάρια σε Νέα Υόρκη, Μαϊάμι και Σαν Φρανσίσκο· το ίδιο ποσό χρεώνεται σε ευρώ σε Άμστερνταμ και Βουκουρέστι. Η τελευταία στήλη δείχνει πόσες πλατφόρμες GPU προσφέρουν αυτή την ταχύτητα.
ΘύραΈνας διακομιστήςΔύοΤέσσεριςΠλατφόρμες
1 Gbpsincl.incl.incl.4 / 4
2 Gbps$189$378$7564 / 4
3 Gbps$299$598$1,1964 / 4
5 Gbps$459$918$1,8364 / 4
10 Gbps$529$1,058$2,1164 / 4
20 Gbps$1,629$3,258$6,5164 / 4
40 Gbps$2,799$5,598$11,1962 / 4
100 Gbps$3,999$7,998$15,9961 / 4

Ένα ευρύτερο cluster μπορεί να κοστίσει λιγότερο από ένα ταχύτερο. Σε σημεία αυτού του πίνακα, δύο μηχανήματα ένα σκαλοπάτι χαμηλότερα κοστίζουν λιγότερο από ένα μηχάνημα ένα σκαλοπάτι ψηλότερα, και καταλήγετε με έναν επιπλέον διακομιστή. Αυτό αποδίδει μόνο αν η εργασία σας μοιράζεται μεταξύ μηχανημάτων.

Τι δεν πουλάμε μεταξύ μηχανημάτων. Ο κατάλογός μας αναφέρει θύρες Ethernet και τίποτε άλλο: κανένα ύφασμα InfiniBand και καμία γέφυρα NVLink. Αν η κατασκευή σας χρειάζεται κάποιο από τα δύο, ρωτήστε πριν παραγγείλετε. Η απάντηση είναι μια προσφορά, και μπορεί να είναι όχι. Η μικρότερη διάταξη πολλαπλών κόμβων που νοικιάζουμε είναι το NVIDIA DGX Spark, όπου έως τέσσερις μονάδες συνδέονται μεταξύ τους μέσω ConnectX-7.

Η θύρα σε ένα μεμονωμένο μηχάνημα, από μόνη της, καλύπτεται στο απεριόριστο εύρος ζώνης.

05Πού μπορεί να ζει

Για ένα GPU cluster, επιλέξτε πρώτα την πόλη

Μηχανήματα που συνεργάζονται ανήκουν σε ένα κτίριο, και τα κέντρα δεδομένων μας δεν φιλοξενούν όλα τις ίδιες πλατφόρμες. Επιλέξτε πρώτα την πλατφόρμα και μπορεί να διαπιστώσετε ότι η πόλη που χρειάζεστε δεν τη διαθέτει. New York and Bucharest φιλοξενούν κάθε μία.

  • New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Κάθε κτίριο και με τι συνδέεται περιγράφεται στα κέντρα δεδομένων. Αν η διάταξή σας πρέπει να εκτείνεται σε δύο πόλεις, ζητήστε από την υποστήριξη να μετρήσει την καθυστέρηση μεταξύ τους πριν παραγγείλετε.

06Χρόνοι παράδοσης

Πόσο σύντομα λειτουργούν οι διακομιστές AI σας

Μια κατασκευή σαν αυτή είναι συχνά πολλά μηχανήματα και εξαρτήματα που δεν βρίσκονται σε ράφι, οπότε λαμβάνετε μια ημερομηνία πριν πληρώσετε, διαβασμένη από τα ίδια βήματα όπως οι προσαρμοσμένες κατασκευές διακομιστών μας.

  1. ~30 λεπτά

    Ήδη τοποθετημένο σε rack ως έχει

    Τίποτα δεν τοποθετείται ή μετακινείται. Οι Άμεσοι διακομιστές αναφέρουν τα μηχανήματα έτοιμα για χρήση, αξίζει μια ματιά πρώτα αν οι κόμβοι σας είναι συνηθισμένοι.

  2. 4–24 ώρες

    Εξαρτήματα που διαθέτουμε

    Η συνηθισμένη περίπτωση. Οι τεχνικοί τοποθετούν τις GPU, χτίζουν τους δίσκους και εγκαθιστούν το λειτουργικό σύστημα σε κάθε μηχάνημα, παράλληλα αντί το ένα μετά το άλλο.

  3. 5–10 εργάσιμες ημέρες

    Εξαρτήματα που αγοράζουμε

    Κάτι στην προδιαγραφή δεν είναι εξάρτημα που κρατάμε σε απόθεμα, οπότε το παραγγέλνουμε και μετά χτίζουμε. Με πολλές GPU σε ένα μηχάνημα, το πλαίσιο είναι συνήθως αυτό που παίρνει τον περισσότερο χρόνο.

  4. 10–15 εργάσιμες ημέρες

    Ένα σπάνιο εξάρτημα

    Οι επιταχυντές τρέχουσας γενιάς αποστέλλονται με κατανομή, και η ημερομηνία είναι του διανομέα. Όπου αγοράζουμε υλικό για έναν πελάτη, ζητάμε τρεις μήνες προκαταβολικά.

Κάθε βήμα ξεκινά μόλις η παραγγελία περάσει από πληρωμή και έλεγχο απάτης. Οι περισσότερες περνούν μέσα σε λίγες ώρες· μια μεγάλη πρώτη παραγγελία από νέο λογαριασμό μπορεί να πάρει περισσότερο, και μια πληρωμή με έμβασμα ή stablecoin συχνά περνά γρηγορότερα από μια πληρωμή με κάρτα.

Έχετε έναν διακομιστή GPU που μένει αδρανής;

Καταχωρίστε τον στην αγορά Primcast και νοικιάστε τον σε ομάδες AI ανά μήνα, σε τιμή που επιλέγετε.

Μετάβαση στην αγορά

07Ερωτήσεις

Ερωτήσεις για αποκλειστικούς διακομιστές AI

01Τι είναι ένας αποκλειστικός διακομιστής AI;

Είναι ένας φυσικός διακομιστής που νοικιάζεται αποκλειστικά σε εσάς και είναι εξοπλισμένος με μία ή περισσότερες GPU για εκπαίδευση, βελτιστοποίηση ή εξυπηρέτηση μοντέλων. Εδώ οι GPU περνούν απευθείας στο δικό σας λειτουργικό σύστημα, χωρίς hypervisor και χωρίς κανέναν άλλο στο μηχάνημα, και πληρώνετε μηνιαία χωρίς συμβόλαιο.

02Μπορώ να νοικιάσω έναν bare metal διακομιστή GPU για βαθιά μάθηση;

Ναι. Κάθε διακομιστής GPU που νοικιάζουμε είναι bare metal: έχετε root σε ολόκληρο το μηχάνημα και εγκαθιστάτε τον οδηγό, την έκδοση CUDA και το framework που περιμένει ο κώδικάς σας. Οι GPU και οι μηνιαίες τιμές τους βρίσκονται στους αποκλειστικούς διακομιστές GPU, καθεμία δίπλα στο μηχάνημα στο οποίο ταιριάζει.

03Μπορεί ένας διακομιστής να χωρέσει περισσότερες από μία GPU;

Ναι, ως προσφορά κατά παραγγελία και όχι ως επιλογή στο καλάθι. Το πόσες χωράνε εξαρτάται από το πλάτος της GPU και την ισχύ που μπορεί να δώσει το chassis, οπότε πείτε μας ποια GPU θέλετε στο chat και η απάντηση θα αναφέρει το chassis, τον αριθμό και την ημερομηνία.

04Πώς φτιάχνω ένα cluster GPU μαζί σας;

Παραγγείλτε τα μηχανήματα στην ίδια πόλη, σε μια πλατφόρμα που φτάνει την ταχύτητα θύρας που χρειάζεστε, και επιλέξτε αυτή την ταχύτητα σε καθένα. Παραμένουν ξεχωριστοί διακομιστές με ξεχωριστά τιμολόγια, ώστε να μπορείτε να ξεκινήσετε με δύο και να προσθέσετε περισσότερους αργότερα. Πείτε μας πρώτα τον αριθμό κόμβων και την εργασία και θα ελέγξουμε την πόλη και την πλατφόρμα πριν πληρώσετε.

05Προσφέρετε InfiniBand ή NVLink μεταξύ διακομιστών;

Όχι ως καταχωρισμένη επιλογή. Τα μηχανήματα συνδέονται μέσω θυρών Ethernet έως 100 Gbps. Αν η κατασκευή σας χρειάζεται InfiniBand ή γέφυρα NVLink, ρωτήστε πριν την παραγγελία: θα ήταν προσφορά και η απάντηση μπορεί να είναι όχι.

06Είναι ένας αποκλειστικός διακομιστής καλύτερος από τις cloud GPU για μηχανική μάθηση;

Εξαρτάται από το πόσο σταθερά τον χρησιμοποιείτε. Ένας αποκλειστικός διακομιστής AI κοστίζει το ίδιο κάθε μήνα είτε λειτουργεί στο φουλ είτε μένει αδρανής, οπότε ταιριάζει σε μακρές εκπαιδεύσεις και μοντέλα που εξυπηρετούνται όλο το εικοσιτετράωρο. Η κίνηση δεν μετριέται εδώ, οπότε η μεταφορά συνόλων δεδομένων μεταξύ κόμβων ή η αποστολή αποτελεσμάτων σε χρήστες δεν προσθέτει τίποτα. Για μια εργασία που τρέχει λίγες ώρες τον μήνα, η ενοικίαση ανά ώρα μπορεί να κοστίσει λιγότερο.

07Τι είναι ένας διακομιστής HPC και τους νοικιάζετε;

HPC σημαίνει υπολογιστική υψηλών επιδόσεων: προσομοιώσεις, rendering, επιστημονικός κώδικας και εκπαίδευση μοντέλων κατανεμημένα σε πολλούς επεξεργαστές ή GPU. Νοικιάζουμε τα εξαρτήματα, δηλαδή μηχανήματα με έως 2 υποδοχές και 1 TB μνήμης, GPU μέσα τους και θύρες μεταξύ τους. Στήνετε τον χρονοπρογραμματιστή μόνοι σας, Slurm ή Kubernetes ή ό,τι χρησιμοποιεί ήδη η ομάδα σας.

08Πόσο κοστίζει ένας αποκλειστικός διακομιστής AI;

Το μηχάνημα και η GPU του τιμολογούνται μαζί στους αποκλειστικούς διακομιστές GPU. Μια θύρα ταχύτερη από την περιλαμβανόμενη είναι ο πίνακας σε αυτή τη σελίδα, ανά μηχάνημα και ανά μήνα. Η πληρωμή για τρεις, έξι ή δώδεκα μήνες αφαιρεί έως 15%, και μια προσαρμοσμένη κατασκευή έχει εφάπαξ τέλος εγκατάστασης που ο διαμορφωτής εμφανίζει πριν πληρώσετε.

09Πόσο χρόνο χρειάζεται για να το αποκτήσετε;

Περίπου τέσσερις έως είκοσι τέσσερις ώρες όταν έχουμε τα εξαρτήματα, πέντε έως δέκα εργάσιμες ημέρες όταν πρέπει να αγοραστούν και δέκα έως δεκαπέντε εργάσιμες ημέρες για ένα σπάνιο εξάρτημα. Ένα μηχάνημα που είναι ήδη τοποθετημένο όπως το θέλετε μπορεί να λειτουργήσει σε περίπου 30 λεπτά.

10Νοικιάζετε διακομιστές CMP 170HX για AI;

Ναι. Έχουν τη δική τους σελίδα, διακομιστές CMP 170HX, με τις κατασκευές και τις μηνιαίες τιμές τους.

11Πού βρίσκονται οι διακομιστές GPU σας;

Στη Νέα Υόρκη, το Μαϊάμι, το Σαν Φρανσίσκο, το Άμστερνταμ και το Βουκουρέστι. Δεν βρίσκεται κάθε πλατφόρμα σε κάθε πόλη· New York and Bucharest τις έχουν όλες, γεγονός που τις καθιστά τα ευκολότερα μέρη για να αναπτύξετε ένα cluster.

12Τι βοήθεια έχω αν κάτι χαλάσει;

Το AI chat μας απαντά σε δευτερόλεπτα και μπορεί να ελέγξει τον λογαριασμό και τους διακομιστές σας ενώ βοηθά, και ένα άτομο αναλαμβάνει όποτε το ζητήσετε. Οι χρόνοι απόκρισης και η αντικατάσταση υλικού βρίσκονται στην υποστήριξη.

Σχεδιάστε το μαζί μας

Πείτε μας τι πρέπει να κάνει το μοντέλο σας

Ο αριθμός κόμβων, αν η εργασία διαχωρίζεται και με τι πρέπει να επικοινωνεί. Το AI chat μας απαντά σε δευτερόλεπτα, ένα άτομο συμμετέχει όταν το ζητήσετε, και αν ένα μηχάνημα αρκεί για τη δουλειά, θα το πούμε.

Δείτε τις τιμές GPU