Η πλήρης GPU, όχι ένα τμήμα της
Κάθε GPU περνά απευθείας στο λειτουργικό σας σύστημα. Χωρίς hypervisor, χωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU και χωρίς χρονομερισμό, ώστε οι οδηγοί και τα frameworks σας να βλέπουν το υλικό όπως είναι.
Αποκλειστικοί διακομιστές AI · εκπαίδευση, εξυπηρέτηση, απόδοση
Ένας αποκλειστικός διακομιστής AI είναι ένα ολόκληρο φυσικό μηχάνημα με τις GPU του να περνούν απευθείας στο δικό σας λειτουργικό σύστημα, ώστε το μοντέλο που εκπαιδεύετε ή εξυπηρετείτε να μη μοιράζεται το υλικό με κανέναν. Όταν ένα μηχάνημα δεν αρκεί, μπορείτε να προσθέσετε GPU σε αυτό ή να τοποθετήσετε περισσότερα μηχανήματα δίπλα του. Αυτή η σελίδα δείχνει πόσο κοστίζει κάθε διαδρομή, πόσο γρήγορα μπορούν να επικοινωνούν τα μηχανήματα μεταξύ τους και ποια από τις πόλεις μας 5 φιλοξενεί ποια πλατφόρμα.
Μηνιαία χρέωση, χωρίς συμβόλαιο. Η θύρα κάθε μηχανήματος είναι αποκλειστικά δική σας στον μεταγωγέα και τίποτα δεν μετρά ό,τι περνά από αυτήν.
01Τι περιλαμβάνει κάθε μηχάνημα
Τα ίδια τέσσερα πράγματα σε κάθε κόμβο, από ένα μηχάνημα για μια εργασία fine-tuning έως πολλά για μια εκπαίδευση.
Κάθε GPU περνά απευθείας στο λειτουργικό σας σύστημα. Χωρίς hypervisor, χωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU και χωρίς χρονομερισμό, ώστε οι οδηγοί και τα frameworks σας να βλέπουν το υλικό όπως είναι.
Η θύρα δικτύου δεν είναι κοινόχρηστη στον μεταγωγέα πρόσβασης και τίποτα δεν τη μετρά, προς οποιαδήποτε κατεύθυνση. Η αντιγραφή ενός συνόλου δεδομένων ή ενός checkpoint μεταξύ των κόμβων σας δεν προσθέτει τίποτα στον λογαριασμό.
Κάθε μηχάνημα λειτουργεί με δικό του μηνιαίο κύκλο χωρίς συμβόλαιο. Η πληρωμή για τρεις, έξι ή δώδεκα μήνες μειώνει την τιμή έως 15%.
Η συνομιλία AI μας απαντά σε δευτερόλεπτα και μπορεί να δει τον λογαριασμό σας και τους διακομιστές σας ενώ σας βοηθά. Ζητήστε έναν άνθρωπο όποτε θέλετε.
02Κλιμάκωση πέρα από μία GPU
Ακούγονται σαν την ίδια απόφαση, αλλά κοστίζουν διαφορετικά, φτάνουν σε διαφορετικές ημερομηνίες και εξαντλούνται για διαφορετικούς λόγους. Υπολογίστε ποια χρειάζεστε πριν συγκρίνετε οτιδήποτε άλλο.
AΜεγαλώστε το μηχάνημα
Επιλέξτε αυτό όταν σας λείπει μνήμη GPU ή ταχύτητα GPU και το υπόλοιπο μηχάνημα είναι εντάξει. Πολλές GPU σε ένα πλαίσιο είναι μια σύνθεση που κοστολογούμε αντί για ένα κουτί που τσεκάρετε στο ταμείο: πόσες χωρούν εξαρτάται από το πόσο φαρδιά είναι η GPU που επιλέγετε και πόση ισχύ μπορεί να της δώσει το πλαίσιο.
BΜεγαλώστε το cluster
Επιλέξτε αυτό όταν το ίδιο το μηχάνημα είναι γεμάτο: από επεξεργαστές, από μνήμη ή από χώρο για την επόμενη εργασία. Η μεγαλύτερη πλατφόρμα εδώ σταματά στους 2 υποδοχείς επεξεργαστών και στα 1 TB μνήμης, και πέρα από αυτό η απάντηση είναι ένας άλλος διακομιστής.
03Οι πλατφόρμες
Κάθε πλατφόρμα στην οποία τοποθετούμε μια GPU, συγκρινόμενη ως προς ό,τι έχει σημασία όταν ξεπερνάτε το ένα μηχάνημα. Διαβάστε τις δύο μεσαίες στήλες μαζί: η πλατφόρμα με το ευρύτερο μονοπάτι προς την GPU έχει την πιο αργή κορυφαία θύρα και η ταχύτερη θύρα βρίσκεται σε παλαιότερο δίαυλο.
| Πλατφόρμα | Λωρίδες προς την GPU | Κορυφαία θύρα | Υποδοχείς | Μνήμη, έως | Πόλεις |
|---|---|---|---|---|---|
| Intel Xeon Silver / Gold | 48 lanes per socketPCIe 3.0 | 100 Gbps1 Gbps incl. | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v3/v4 | 40 lanes per socketPCIe 3.0 | 40 Gbps1 Gbps incl. | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v1/v2 | 40 lanes per socketPCIe 3.0 | 20 Gbps1 Gbps incl. | 2 | 256 GB | 3 |
| AMD EPYC | 128 lanes per socketPCIe 4.0 | 20 Gbps1 Gbps incl. | 2 | 1 TB | 2 |
Ποια GPU μπαίνει σε καθεμία από αυτές και τι προσθέτει ανά μήνα, βρίσκεται στους αποκλειστικούς διακομιστές GPU, με κάθε τιμή να εμφανίζεται δίπλα στο μηχάνημα στο οποίο ανήκει. Αυτή η σελίδα δεν κοστολογεί καμία GPU, ώστε ένα ποσό να μην εμφανίζεται ποτέ δίπλα σε λάθος διακομιστή.
04Ο σύνδεσμος μεταξύ των μηχανημάτων
Ο σύνδεσμος δικτύου αποτελεί μέρος κάθε διακομιστή, οπότε τέσσερα μηχανήματα στα 10 Gbps σημαίνουν τέσσερις θύρες 10 Gbps κάθε μήνα. Αυτή η γραμμή είναι που εκπλήσσει όσους έχουν κοστολογήσει μόνο έναν μεμονωμένο διακομιστή, γι' αυτό ο παρακάτω πίνακας κάνει τον πολλαπλασιασμό για εσάς.
| Θύρα | Ένας διακομιστής | Δύο | Τέσσερις | Πλατφόρμες |
|---|---|---|---|---|
| 1 Gbps | incl. | incl. | incl. | 4 / 4 |
| 2 Gbps | $189 | $378 | $756 | 4 / 4 |
| 3 Gbps | $299 | $598 | $1,196 | 4 / 4 |
| 5 Gbps | $459 | $918 | $1,836 | 4 / 4 |
| 10 Gbps | $529 | $1,058 | $2,116 | 4 / 4 |
| 20 Gbps | $1,629 | $3,258 | $6,516 | 4 / 4 |
| 40 Gbps | $2,799 | $5,598 | $11,196 | 2 / 4 |
| 100 Gbps | $3,999 | $7,998 | $15,996 | 1 / 4 |
Ένα ευρύτερο cluster μπορεί να κοστίσει λιγότερο από ένα ταχύτερο. Σε σημεία αυτού του πίνακα, δύο μηχανήματα ένα σκαλοπάτι χαμηλότερα κοστίζουν λιγότερο από ένα μηχάνημα ένα σκαλοπάτι ψηλότερα, και καταλήγετε με έναν επιπλέον διακομιστή. Αυτό αποδίδει μόνο αν η εργασία σας μοιράζεται μεταξύ μηχανημάτων.
Τι δεν πουλάμε μεταξύ μηχανημάτων. Ο κατάλογός μας αναφέρει θύρες Ethernet και τίποτε άλλο: κανένα ύφασμα InfiniBand και καμία γέφυρα NVLink. Αν η κατασκευή σας χρειάζεται κάποιο από τα δύο, ρωτήστε πριν παραγγείλετε. Η απάντηση είναι μια προσφορά, και μπορεί να είναι όχι. Η μικρότερη διάταξη πολλαπλών κόμβων που νοικιάζουμε είναι το NVIDIA DGX Spark, όπου έως τέσσερις μονάδες συνδέονται μεταξύ τους μέσω ConnectX-7.
Η θύρα σε ένα μεμονωμένο μηχάνημα, από μόνη της, καλύπτεται στο απεριόριστο εύρος ζώνης.
05Πού μπορεί να ζει
Μηχανήματα που συνεργάζονται ανήκουν σε ένα κτίριο, και τα κέντρα δεδομένων μας δεν φιλοξενούν όλα τις ίδιες πλατφόρμες. Επιλέξτε πρώτα την πλατφόρμα και μπορεί να διαπιστώσετε ότι η πόλη που χρειάζεστε δεν τη διαθέτει. New York and Bucharest φιλοξενούν κάθε μία.
Κάθε κτίριο και με τι συνδέεται περιγράφεται στα κέντρα δεδομένων. Αν η διάταξή σας πρέπει να εκτείνεται σε δύο πόλεις, ζητήστε από την υποστήριξη να μετρήσει την καθυστέρηση μεταξύ τους πριν παραγγείλετε.
06Χρόνοι παράδοσης
Μια κατασκευή σαν αυτή είναι συχνά πολλά μηχανήματα και εξαρτήματα που δεν βρίσκονται σε ράφι, οπότε λαμβάνετε μια ημερομηνία πριν πληρώσετε, διαβασμένη από τα ίδια βήματα όπως οι προσαρμοσμένες κατασκευές διακομιστών μας.
Τίποτα δεν τοποθετείται ή μετακινείται. Οι Άμεσοι διακομιστές αναφέρουν τα μηχανήματα έτοιμα για χρήση, αξίζει μια ματιά πρώτα αν οι κόμβοι σας είναι συνηθισμένοι.
Η συνηθισμένη περίπτωση. Οι τεχνικοί τοποθετούν τις GPU, χτίζουν τους δίσκους και εγκαθιστούν το λειτουργικό σύστημα σε κάθε μηχάνημα, παράλληλα αντί το ένα μετά το άλλο.
Κάτι στην προδιαγραφή δεν είναι εξάρτημα που κρατάμε σε απόθεμα, οπότε το παραγγέλνουμε και μετά χτίζουμε. Με πολλές GPU σε ένα μηχάνημα, το πλαίσιο είναι συνήθως αυτό που παίρνει τον περισσότερο χρόνο.
Οι επιταχυντές τρέχουσας γενιάς αποστέλλονται με κατανομή, και η ημερομηνία είναι του διανομέα. Όπου αγοράζουμε υλικό για έναν πελάτη, ζητάμε τρεις μήνες προκαταβολικά.
Κάθε βήμα ξεκινά μόλις η παραγγελία περάσει από πληρωμή και έλεγχο απάτης. Οι περισσότερες περνούν μέσα σε λίγες ώρες· μια μεγάλη πρώτη παραγγελία από νέο λογαριασμό μπορεί να πάρει περισσότερο, και μια πληρωμή με έμβασμα ή stablecoin συχνά περνά γρηγορότερα από μια πληρωμή με κάρτα.
Αγορά
Οι ιδιοκτήτες καταχωρίζουν μηχανήματα με πολλές GPU, και συνδεδεμένα ζεύγη, στην αγορά μας σε μηνιαία τιμή που ορίζουν. Οι καταχωρίσεις που κατέχει η αδελφή μας εταιρεία, Server Room, νοικιάζονται στο serverroom.net.
Καταχωρίστε τον στην αγορά Primcast και νοικιάστε τον σε ομάδες AI ανά μήνα, σε τιμή που επιλέγετε.
07Ερωτήσεις
Είναι ένας φυσικός διακομιστής που νοικιάζεται αποκλειστικά σε εσάς και είναι εξοπλισμένος με μία ή περισσότερες GPU για εκπαίδευση, βελτιστοποίηση ή εξυπηρέτηση μοντέλων. Εδώ οι GPU περνούν απευθείας στο δικό σας λειτουργικό σύστημα, χωρίς hypervisor και χωρίς κανέναν άλλο στο μηχάνημα, και πληρώνετε μηνιαία χωρίς συμβόλαιο.
Ναι. Κάθε διακομιστής GPU που νοικιάζουμε είναι bare metal: έχετε root σε ολόκληρο το μηχάνημα και εγκαθιστάτε τον οδηγό, την έκδοση CUDA και το framework που περιμένει ο κώδικάς σας. Οι GPU και οι μηνιαίες τιμές τους βρίσκονται στους αποκλειστικούς διακομιστές GPU, καθεμία δίπλα στο μηχάνημα στο οποίο ταιριάζει.
Ναι, ως προσφορά κατά παραγγελία και όχι ως επιλογή στο καλάθι. Το πόσες χωράνε εξαρτάται από το πλάτος της GPU και την ισχύ που μπορεί να δώσει το chassis, οπότε πείτε μας ποια GPU θέλετε στο chat και η απάντηση θα αναφέρει το chassis, τον αριθμό και την ημερομηνία.
Παραγγείλτε τα μηχανήματα στην ίδια πόλη, σε μια πλατφόρμα που φτάνει την ταχύτητα θύρας που χρειάζεστε, και επιλέξτε αυτή την ταχύτητα σε καθένα. Παραμένουν ξεχωριστοί διακομιστές με ξεχωριστά τιμολόγια, ώστε να μπορείτε να ξεκινήσετε με δύο και να προσθέσετε περισσότερους αργότερα. Πείτε μας πρώτα τον αριθμό κόμβων και την εργασία και θα ελέγξουμε την πόλη και την πλατφόρμα πριν πληρώσετε.
Όχι ως καταχωρισμένη επιλογή. Τα μηχανήματα συνδέονται μέσω θυρών Ethernet έως 100 Gbps. Αν η κατασκευή σας χρειάζεται InfiniBand ή γέφυρα NVLink, ρωτήστε πριν την παραγγελία: θα ήταν προσφορά και η απάντηση μπορεί να είναι όχι.
Εξαρτάται από το πόσο σταθερά τον χρησιμοποιείτε. Ένας αποκλειστικός διακομιστής AI κοστίζει το ίδιο κάθε μήνα είτε λειτουργεί στο φουλ είτε μένει αδρανής, οπότε ταιριάζει σε μακρές εκπαιδεύσεις και μοντέλα που εξυπηρετούνται όλο το εικοσιτετράωρο. Η κίνηση δεν μετριέται εδώ, οπότε η μεταφορά συνόλων δεδομένων μεταξύ κόμβων ή η αποστολή αποτελεσμάτων σε χρήστες δεν προσθέτει τίποτα. Για μια εργασία που τρέχει λίγες ώρες τον μήνα, η ενοικίαση ανά ώρα μπορεί να κοστίσει λιγότερο.
HPC σημαίνει υπολογιστική υψηλών επιδόσεων: προσομοιώσεις, rendering, επιστημονικός κώδικας και εκπαίδευση μοντέλων κατανεμημένα σε πολλούς επεξεργαστές ή GPU. Νοικιάζουμε τα εξαρτήματα, δηλαδή μηχανήματα με έως 2 υποδοχές και 1 TB μνήμης, GPU μέσα τους και θύρες μεταξύ τους. Στήνετε τον χρονοπρογραμματιστή μόνοι σας, Slurm ή Kubernetes ή ό,τι χρησιμοποιεί ήδη η ομάδα σας.
Το μηχάνημα και η GPU του τιμολογούνται μαζί στους αποκλειστικούς διακομιστές GPU. Μια θύρα ταχύτερη από την περιλαμβανόμενη είναι ο πίνακας σε αυτή τη σελίδα, ανά μηχάνημα και ανά μήνα. Η πληρωμή για τρεις, έξι ή δώδεκα μήνες αφαιρεί έως 15%, και μια προσαρμοσμένη κατασκευή έχει εφάπαξ τέλος εγκατάστασης που ο διαμορφωτής εμφανίζει πριν πληρώσετε.
Περίπου τέσσερις έως είκοσι τέσσερις ώρες όταν έχουμε τα εξαρτήματα, πέντε έως δέκα εργάσιμες ημέρες όταν πρέπει να αγοραστούν και δέκα έως δεκαπέντε εργάσιμες ημέρες για ένα σπάνιο εξάρτημα. Ένα μηχάνημα που είναι ήδη τοποθετημένο όπως το θέλετε μπορεί να λειτουργήσει σε περίπου 30 λεπτά.
Ναι. Έχουν τη δική τους σελίδα, διακομιστές CMP 170HX, με τις κατασκευές και τις μηνιαίες τιμές τους.
Στη Νέα Υόρκη, το Μαϊάμι, το Σαν Φρανσίσκο, το Άμστερνταμ και το Βουκουρέστι. Δεν βρίσκεται κάθε πλατφόρμα σε κάθε πόλη· New York and Bucharest τις έχουν όλες, γεγονός που τις καθιστά τα ευκολότερα μέρη για να αναπτύξετε ένα cluster.
Το AI chat μας απαντά σε δευτερόλεπτα και μπορεί να ελέγξει τον λογαριασμό και τους διακομιστές σας ενώ βοηθά, και ένα άτομο αναλαμβάνει όποτε το ζητήσετε. Οι χρόνοι απόκρισης και η αντικατάσταση υλικού βρίσκονται στην υποστήριξη.
08Σχετικές σελίδες
Σχεδιάστε το μαζί μας
Ο αριθμός κόμβων, αν η εργασία διαχωρίζεται και με τι πρέπει να επικοινωνεί. Το AI chat μας απαντά σε δευτερόλεπτα, ένα άτομο συμμετέχει όταν το ζητήσετε, και αν ένα μηχάνημα αρκεί για τη δουλειά, θα το πούμε.