Is the GPU dedicated, or is it shared?

Dedicated. One physical machine, one account, and the card passed straight through to your operating system. No hypervisor, no MIG partition, no vGPU profile, no time-slicing scheduler, and nobody else's workload on the card. What you measure on the first afternoon is what you keep.

Can I have more than one card in one machine?

Yes, and it is a build we quote rather than a box you tick. The number that fits depends on the chassis, the physical width of the card and the power budget, so the honest answer needs the specific card. Ask, and the reply names the chassis, the count and the lead time. Several customers run two, and the commonest reason is memory rather than speed: two cards of 48 GB hold a model that one of 80 GB does not.

Which driver and CUDA version do I get on a Primcast GPU server?

Whichever you install. The machine arrives with a clean operating system and root, and you pin the driver, the CUDA or ROCm release and the framework build to whatever your code was tested against; nothing upgrades underneath you. If you would rather the driver were installed before handover, say so on the order and name the version.

What if the card I want is not in stock?

It is fitted or ordered, and you are told which before you pay. A card we hold goes in within four to twenty-four hours. A card we have to buy is five to ten working days, and a current-generation accelerator on allocation can be ten to fifteen. Machines already racked and ready today are listed at https://primcast.com/instant.

Can I add or change the card later?

Yes, on the machine you already have: no migration, no reinstall, no new address. It is a scheduled visit to the rack and a short outage while the machine is down, and the monthly figure changes by the difference between the two cards. Memory, disks and port speed upgrade the same way.

What happens when a graphics card fails?

It is replaced, and the agreement puts a time on it: four hours from the moment it is reported by telephone or live chat. Past that the customer is owed service credit on a published schedule rather than on request.

Is bandwidth metered? What does egress cost on a GPU server?

Nothing is metered and egress costs nothing, at every port speed. There is no transfer allowance to exceed and no overage line on any invoice. For GPU work this is usually the largest hidden cost elsewhere: a training run pulling a dataset in and pushing checkpoints out, or an inference endpoint answering real traffic, moves a great many bytes, and per-gigabyte egress is charged on every one of them.

How does a monthly GPU server compare to renting a GPU by the hour?

Arithmetic decides it. An hourly card is cheaper if the work is bursty and genuinely stops, up to a few hundred hours a month. Past roughly two thirds of the month it is not close, and that is before egress, before storage that has to persist between runs, and before time spent queued for capacity. Monthly here also means the same machine, the same disks and the same address next month.

Can I mine, or run blockchain and decentralized-compute nodes?

Yes. Both are ordinary workloads here and always have been, and several of the cards in the catalog were bought for exactly that. https://primcast.com/mining is the page for the mining case specifically.

How do I pay for a GPU server, and is there a contract?

Card, PayPal, ACH, bank wire, or cryptocurrency. There is no contract: one month is the default and only term, three, six and twelve-month cycles take a discount, and the price does not step up at renewal. For a larger first order a wire or a stablecoin usually clears faster than a card.

Can I get a refund if the card is not what I needed?

Within three calendar days of first activation, once troubleshooting has been exhausted. The exact wording is at https://primcast.com/refund-policy-us. The sizing and bus-generation sections of the page exist to make that unnecessary: it is cheaper for both sides if the right card is bought the first time.

Do you have the newest graphics card?

Sometimes, and it is usually the wrong question. The newest part is a scarce part on allocation, on a platform that will not give it the bus generation it was designed for, at a price that assumes every bit of it is needed. Most GPU work is not training a frontier model: it is serving one that already fits, encoding video, rendering frames or driving desktops, and for all of those the right card is often two generations back and a quarter of the money.

Κάρτες γραφικών σε γυμνό μέταλλο · Primcast LLC · από το 2004

Πες του ποια είναι η δουλειά. Σου λέει την κάρτα.

Η μεγαλύτερη δυσκολία στην αγορά ενός διακομιστή GPU δεν είναι η αγορά. Είναι να ξέρεις ποια κάρτα είναι αρκετή — και κάθε κατάλογος σε αυτόν τον κλάδο είναι ταξινομημένος με βάση το πόσο εντυπωσιακό είναι το εξάρτημα και όχι με βάση αυτό που προσπαθείτε να εκτελέσετε. Αυτός ο κατάλογος είναι ταξινομημένος αντίστροφα. Πες ποια είναι η εργασία και πόση μνήμη κάρτας χρειάζεται, και αυτό που μένει είναι η απάντηση, με πλήρη τιμή.

Βρείτε την κάρτα Είναι δική μου η κάρτα;

Ένας ενοικιαστής ανά μηχάνημα. Η κάρτα διαβιβάζεται στο λειτουργικό σας σύστημα — όχι σε sliced μορφή, όχι σε time-shared μορφή, όχι σε virtualized μορφή.

Ο πάγκος

Δύο ερωτήσεις.

Δεν γίνεται κράτηση, δεν δημιουργείται λογαριασμός και ο αριθμός δίπλα σε κάθε κάρτα είναι ολόκληρος ο διακομιστής με αυτήν την κάρτα — επεξεργαστής, μνήμη, κατοπτρισμένοι δίσκοι, θύρα χωρίς περιορισμούς, μία διεύθυνση — όχι η κάρτα από μόνη της. Το μερίδιο της κάρτας είναι τυπωμένο από κάτω, ώστε να μπορείτε να δείτε ποιο μισό των χρημάτων είναι ποιο.

What is it for?

How much card memory?

anygigabytes or more

5 GB7-8 billion parameters, 4-bit
8 GB13-14 billion parameters, 4-bit
19 GB30-34 billion parameters, 4-bit
38 GB70 billion parameters, 4-bit

Τρία ράφια, και ο κατάλογος τα κρατάει ο ίδιος αντί να τα επινοεί αυτή η σελίδα. Διάλεξε ένα και λέει σε τι χρησιμεύει αυτό το ράφι. Επιταχυντές που έχουν κατασκευαστεί για μία μόνο εργασία: τη διατήρηση ενός μοντέλου και την εκτέλεση αριθμητικών πράξεων σε αυτό. Μεγάλη μνήμη, ECC σε όλο το μοντέλο και στα νεότερα μέρη οι μονάδες τανυστήρα που αναζητούν τα πλαίσια. Αυτό είναι το ράφι για βελτιστοποίηση, για την παρουσίαση ενός μοντέλου σε πραγματικούς χρήστες και για οτιδήποτε όπου μια εκτέλεση πρέπει να ολοκληρωθεί αντί απλώς να ξεκινήσει. Επαγγελματικές κάρτες με πιστοποιημένα προγράμματα οδήγησης, ECC στο μεγαλύτερο μέρος της σειράς και μηχανές βίντεο υλικού. Αποδίδουν, κωδικοποιούν και αρκετές από αυτές υπάρχουν για να χωριστούν σε εικονικές επιφάνειες εργασίας. Το μισό αυτού του ραφιού είναι από παλαιότερο πυρίτιο που εξακολουθεί να κάνει τέλεια τη δουλειά του και που κανείς άλλος δεν νοικιάζει πια. GeForce πυριτίου σε rack. Χωρίς ECC και χωρίς πιστοποιημένο πρόγραμμα οδήγησης, αλλά με την υψηλότερη αριθμητική τιμή ανά λίβρα στον κατάλογο και τα μέρη στα οποία γράφεται το μεγαλύτερο μέρος του καταναλωτικού λογισμικού. Διακομιστές παιχνιδιών, μαζική απόδοση, εκπαίδευση χόμπι, οτιδήποτε όπου ένα λάθος κομμάτι είναι μια επανάληψη και όχι μια καταστροφή.

Εκτιμήσεις από τον ίδιο κατάλογο από τον οποίο τιμολογείται το ταμείο, όχι προσφορές. Όπου λείπει μια τιμή μνήμης, δεν μπορέσαμε να βρούμε κάποια που να έχει δημοσιευτεί από τον κατασκευαστή, επομένως η κάρτα το αναφέρει αντί να μαντεύει — και αυτές οι κάρτες αποσύρονται μόλις μετακινήσετε τον έλεγχο μνήμης, επειδή το φιλτράρισμα σε έναν αριθμό που δεν έχουμε θα έκρυβε αθόρυβα εξαρτήματα που μπορεί να σας ταιριάζουν. Ρωτήστε και θα το διαβάσουμε από την κάρτα. Αρκετά εξαρτήματα ταιριάζουν σε περισσότερα από ένα πλαίσια σε περισσότερες από μία τιμές. Η τιμή εδώ είναι ο φθηνότερος τρόπος για να έχετε αυτήν την κάρτα και ο διαμορφωτής δείχνει τα υπόλοιπα.

Τι κρύβεται πίσω από αυτή τη λίστα

56Cards we fit
$20.79Cheapest card, per month
$91.72Cheapest whole machine with one in it
5Cities
0Bytes counted

Μετρήθηκε από τον κατάλογο παραγγελιών όταν επιδόθηκε αυτή η σελίδα, όχι πληκτρολογήθηκε. Εάν μια κάρτα αφαιρεθεί αύριο, αυτή η λωρίδα θα είναι μικρότερη αύριο. Το τι βρίσκεται σε ένα ράφι σήμερα το πρωί είναι ένα διαφορετικό ερώτημα και η απάντηση δίνεται στους άμεσους σερβιτόρους .

Η πρώτη ερώτηση που κάνουν όλοι

Είναι δική μου η κάρτα ή τη μοιράζομαι;

Δικό σου. Όλη η κάρτα, όλο το μηχάνημα, κανείς άλλος πάνω σε αυτό.

Η κάρτα βρίσκεται σε μια υποδοχή PCIe σε έναν φυσικό διακομιστή που ενοικιάζεται σε έναν λογαριασμό και παραδίδεται απευθείας στο λειτουργικό σας σύστημα: τον δικό σας οδηγό, το δικό σας CUDA ή ROCm, τις δικές σας διεργασίες. Δεν υπάρχει hypervisor μεταξύ εσάς και αυτής, ούτε partition MIG, ούτε time-slicing scheduler που να αποφασίζει πότε είναι η σειρά σας, ούτε δεύτερος ενοικιαστής του οποίου η μαζική εργασία κάνει την καθυστέρηση συμπερασμάτων σας να μετακινείται στις τέσσερις το απόγευμα.

Το υπόλοιπο μηχάνημα είναι δικό σας με τους ίδιους όρους — κάθε πυρήνας, όλη η μνήμη, όλοι οι δίσκοι, ο root και το HPE iLO ή το Dell iDRAC του διακομιστή για κονσόλα, εικονικά μέσα και τροφοδοσία. Ακόμα και αν ένα πρόγραμμα οδήγησης διακόψει τη λειτουργία του δικτύου, μπορείτε να δείτε την οθόνη.

Ούτε ένα κομμάτι. Χωρίς MIG, χωρίς vGPU, χωρίς κλασματική κατανομή. Μία κάρτα, ένας ένοικος.
Δεν υπάρχει ουρά. Τίποτα δεν προκαταλαμβάνει τη διεργασία σας. Η κάρτα είναι αδρανής όταν εσείς είστε αδρανείς.
Δεν είναι ένα κοντέινερ . Απολύτως απαραίτητο. Φορτώστε τις δικές σας μονάδες πυρήνα, καρφιτσώστε τη δική σας έκδοση προγράμματος οδήγησης.
Δεν μετριέται. Εισάγονται βάρη, εξάγονται σημεία ελέγχου, αποδίδονται. Τίποτα δεν μετρά τα byte.

Γιατί τα παραπάνω σχήματα φαίνονται έτσι

Η κάρτα είναι μια γραμμή στο τιμολόγιο, όχι ένα επίπεδο προϊόντος.

Οπουδήποτε αλλού, μια GPU είναι ένα επίπεδο: νοικιάζετε «μια παρουσία H100» και κάποιος άλλος έχει ήδη αποφασίσει πόσο θα πρέπει να σας κοστίσει ο επεξεργαστής, η μνήμη, οι δίσκοι και το δίκτυο γύρω από αυτόν. Εδώ οι δύο είναι ξεχωριστές γραμμές που προστίθενται — γι' αυτό και μια κάρτα σε κάθε άκρο της παραπάνω λίστας μπαίνει στο ίδιο πλαίσιο και πληρώνετε τη διαφορά μεταξύ των καρτών και τίποτα άλλο.

The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
SetupNothingNo contract; one month is the default term—

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Ο διαμορφωτής στρογγυλοποιεί μια τιμή ανά δίσκο και κερδίζει ένα ή δύο σεντς έκπτωση από αυτά τα ποσά. Οι μεγαλύτεροι κύκλοι χρέωσης έχουν περαιτέρω έκπτωση. Η τιμολόγηση έχει τα πάντα σε ένα μέρος, και για παλαιότερο υλικό, η χαμηλότερη τιμή είναι το επιχείρημα για το γιατί υπάρχει το κάτω μέρος αυτής της λίστας.

Πόση μνήμη κάρτας

Η μόνη προδιαγραφή που αποφασίζει αν λειτουργεί.

Οι ταχύτητες ρολογιού και ο αριθμός των πυρήνων καθορίζουν πόσο γρήγορα λειτουργεί ένα μοντέλο. Η μνήμη της κάρτας αποφασίζει αν θα λειτουργήσει καθόλου — τα βάρη είτε ταιριάζουν είτε όχι, και μια κάρτα με δύο gigabyte λιγότερο δεν είναι πιο αργή, είναι μια κατάρρευση. Επομένως, αυτός είναι ο αριθμός που πρέπει να διευθετηθεί πριν από οποιονδήποτε άλλο, και είναι αυτός που σχεδόν κανείς δεν δημοσιεύει δίπλα σε μια τιμή.

Η αριθμητική είναι οι παράμετροι πολλαπλασιασμένες με bytes ανά παράμετρο. Τα βάρη των δεκαέξι bit είναι δύο bytes το καθένα, τα οκτώ bit είναι ένα, τα τέσσερα bit είναι μισό. Η κβαντοποίηση σε τέσσερα bit είναι αυτό που μετατρέπει μια μηχανή που δεν μπορεί να κρατήσει ένα μοντέλο σε μια που μπορεί, με κάποιο κόστος στην ποιότητα.

Αφήστε ελεύθερο χώρο. Τα παρακάτω στοιχεία είναι τα βάρη και τίποτα άλλο. Ο χρόνος εκτέλεσης, οι ενεργοποιήσεις και η προσωρινή μνήμη κλειδιού-τιμής για ένα μεγάλο πλαίσιο βρίσκονται όλα στην ίδια μνήμη και η προσωρινή μνήμη μεγαλώνει με κάθε διακριτικό στη συζήτηση. Ένα μοντέλο με βάρη 38 GB δεν εξυπηρετεί άνετα σε μια κάρτα 40 GB. Υπολογίστε ξανά ένα τέταρτο έως μισό επιπλέον ή ρωτήστε μας και θα το συγκρίνουμε με αυτό που πραγματικά χρησιμοποιείτε.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB	8 GB	5 GB
13-14 billion parameters	28 GB	14 GB	8 GB
30-34 billion parameters	68 GB	34 GB	19 GB
70 billion parameters	140 GB	70 GB	38 GB

Τι υπάρχει κάτω από την κάρτα

Τέσσερα σασί χρειάζονται ένα και δεν είναι εναλλάξιμα.

Κάθε μία παίρνει ένα διαφορετικό μέρος του καταλόγου και δίνει σε μια κάρτα μια διαφορετική σύνδεση με τον επεξεργαστή. Αυτή η τελευταία στήλη είναι εδώ επειδή κοστίζει χρήματα στους ανθρώπους και κανείς δεν την εκτυπώνει: ένας πελάτης μετακινήθηκε από τη μία γενιά κάρτας καταναλωτή στην επόμενη σε ένα δίαυλο τρίτης γενιάς και αποδόθηκε πιο αργά , και κατάλαβε γιατί πριν το κάνουμε εμείς. Έτσι είναι στη σελίδα.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes: 28
Link to the card: PCIe 3.0
Lanes: 40 lanes per socket
Sockets: 2
Memory ceiling: 256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes: 43
Link to the card: PCIe 3.0
Lanes: 40 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes: 47
Link to the card: PCIe 3.0
Lanes: 48 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes: 10
Link to the card: PCIe 4.0
Lanes: 128 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Configure this machine →

Τι αλλάζει στην πραγματικότητα η γενιά των λεωφορείων

Μια κάρτα που έχει σχεδιαστεί για έναν νεότερο δίαυλο λειτουργεί άψογα σε έναν παλαιότερο. Απλώς δεν μπορεί να μεταφέρει δεδομένα μέσω της σύνδεσης τόσο γρήγορα. Το αν αυτό έχει σημασία εξαρτάται αποκλειστικά από την εργασία.

Έχει σημασία πότε τα δεδομένα διασχίζουν συνεχώς τον δίαυλο — ένας βρόχος εκπαίδευσης που μεταδίδει παρτίδες από τη μνήμη του δίσκου ή του συστήματος, μια απεικόνιση που τροφοδοτεί δεδομένα σκηνής από την πλευρά της κάρτας σε κάθε καρέ, οτιδήποτε διαφεύγει από τη μνήμη της κάρτας.
Δεν έχει σημασία από τη στιγμή που τα βάρη είναι μόνιμα και παραμένουν εκεί — εξαγωγή συμπερασμάτων σε ένα μοντέλο που ταιριάζει, μετατροπή βίντεο, οι περισσότερες προσομοιώσεις. Ο σύνδεσμος μεταφέρει αιτήματα και αποτελέσματα, και αυτά είναι μικρά.
Ρωτήστε αν δεν είστε σίγουροι. Πείτε μας τον φόρτο εργασίας και θα σας πούμε ξεκάθαρα αν η πλατφόρμα αποτελεί εμπόδιο για αυτήν, ακόμη και όταν η ειλικρινής απάντηση είναι ότι μια φθηνότερη κάρτα σε μια καλύτερη σύνδεση είναι καλύτερη από μια ακριβότερη κάρτα σε μια χειρότερη.

Τι συνοδεύει

Όλα όσα κάνουν την κάρτα εύχρηστη και τίποτα που χρειάζεται να αγοράσετε.

Root, και η στοίβα προγραμμάτων οδήγησης είναι δική σας
Εγκαθιστούμε ένα καθαρό λειτουργικό σύστημα και σας παραδίδουμε τα κλειδιά. Εσείς επιλέγετε την έκδοση του προγράμματος οδήγησης, την έκδοση CUDA ή ROCm και την έκδοση του framework και τα καρφιτσώνετε — που είναι το νόημα της ανακαίνισης και το αντίθετο ενός διαχειριζόμενου χρόνου εκτέλεσης που αναβαθμίζεται κάτω από εσάς την εβδομάδα πριν από την προθεσμία. Αν προτιμάτε να εγκαταστήσουμε το πρόγραμμα οδήγησης πριν από την παράδοση, πείτε το στην παραγγελία και θα το κάνουμε.
Η κονσόλα του μηχανήματος, σε ξεχωριστό δίκτυο
HPE iLO ή Dell iDRAC: κονσόλα πληκτρολογίου και οθόνης, εικονικά μέσα, έλεγχος ισχύος, εύρυθμη λειτουργία υλικού και αρχείο καταγραφής υλικού. Ένα πρόγραμμα οδήγησης γραφικών που μεταφέρει την οθόνη ή το δίκτυο αποτελεί μάλλον πρόβλημα παρά αίτημα υποστήριξης, επειδή εξακολουθείτε να μπορείτε να παρακολουθείτε την εκκίνηση του μηχανήματος.
Ένα λιμάνι χωρίς μετρητές, και στις δύο κατευθύνσεις
Δεν υπάρχει υπέρβαση του ορίου μεταφοράς και καμία γραμμή εξόδου σε κανένα τιμολόγιο. Σύνολα δεδομένων εισόδου, σημεία ελέγχου εξόδου, εμφανίσεις, ένα μοντέλο που παρέχεται σε πραγματικούς χρήστες — όλα μετακινούνται για την τιμή της μεταφοράς και ούτε ένα byte περισσότερο. Το απεριόριστο εύρος ζώνης είναι η σκάλα πάνω από την συμπεριλαμβανόμενη ταχύτητα και είναι η μεγαλύτερη διαφορά μεταξύ αυτού και ενός λογαριασμού από έναν υπερ-διαβαθμιστή.
Επανεγκαταστήστε το όσο συχνά θέλετε
Εικόνες λειτουργικού συστήματος με ένα κλικ, επανεγκαταστάσιμες χωρίς αίτημα και χωρίς χρέωση, επομένως ένα πείραμα προγράμματος οδήγησης που έχει άσχημα αποτελέσματα σας κοστίζει είκοσι λεπτά. Το αντίστροφο DNS είναι δικό σας για επεξεργασία, περιλαμβάνεται IPv6 και πολλά άλλα. Το IPv4 είναι μια γραμμή καταλόγου και όχι μια διαπραγμάτευση.
Άνθρωποι, οποιαδήποτε ώρα
Τηλέφωνο, ζωντανή συνομιλία και αιτήματα, που περιλαμβάνονται σε κάθε πρόγραμμα, και αντικατάσταση ελαττωματικού εξαρτήματος εντός τεσσάρων ωρών από την αναφορά του μέσω τηλεφώνου ή συνομιλίας. Η υποστήριξη έχει γραπτώς τους χρόνους απόκρισης και το πρόγραμμα πίστωσης.
Πέντε δωμάτια για να το βάλω
Νέα Υόρκη, Μαϊάμι, Σαν Φρανσίσκο, Άμστερνταμ και Βουκουρέστι — και το πού βρίσκεται το μηχάνημα καθορίζει την καθυστέρηση σε όποιον το καλεί και σε ποιο καθεστώς προστασίας δεδομένων εμπίπτει. Τα κέντρα δεδομένων περιγράφουν τα κτίρια.

Πόσο σύντομα θα υπάρχει

Μεταξύ μισής ώρας και τριών εβδομάδων, και το ποια εξαρτάται από το πού βρίσκεται η κάρτα.

Όχι ένας αριθμός, επειδή δεν υπήρξε ποτέ ένας αριθμός. Μια κάρτα που έχει ήδη τοποθετηθεί σε ένα μηχάνημα που έχει ήδη τοποθετηθεί στο ράφι είναι μια παράδοση. Μια κάρτα που πρέπει να αγοραστεί είναι μια εντολή αγοράς. Το να σας πω ποια από αυτά ζητάτε — πριν πληρώσετε και όχι μετά — είναι η μόνη εκδοχή αυτού που αξίζει οτιδήποτε.

~30 λεπτά
Η κάρτα βρίσκεται ήδη σε ένα μηχάνημα στο ράφι
Τίποτα δεν έχει τοποθετηθεί και τίποτα δεν έχει μετακινηθεί. Το μηχάνημα απεικονίζεται και παραδίδεται. Οι άμεσοι διακομιστές είναι η λίστα με ό,τι υπάρχει εκεί αυτή τη στιγμή.
4–24 ώρες
Μια κάρτα που κρατάμε τοποθετείται ή ένα μηχάνημα που έχει τοποθετηθεί σε rack αναδιατάσσεται
Η συνηθισμένη περίπτωση για όλα όσα αναφέρονται σε αυτήν τη σελίδα. Το εξάρτημα βρίσκεται στην αποθήκη μας. Ένας τεχνικός το τοποθετεί, κατασκευάζει τη συστοιχία και εγκαθιστά το λειτουργικό σύστημα. Ένα μηχάνημα στο ράφι που είναι κοντά αλλά όχι ακριβώς — προστέθηκε μνήμη, αντικαταστάθηκε μονάδα δίσκου, η συστοιχία ξαναχτίστηκε γύρω από την επιλογή σας — είναι η ίδια δουλειά, που γίνεται στη θέση της χωρίς το μηχάνημα να φύγει από το rack.
5–10 εργάσιμες ημέρες
Η κάρτα πρέπει να αγοραστεί
Κάτι στη λίστα δεν είναι απόθεμα που έχουμε. Το παραγγέλνουμε και μετά το κατασκευάζουμε. Η σελίδα "Κατασκευή κατόπιν παραγγελίας" περιλαμβάνει μια ολόκληρη προδιαγραφή αυτού του είδους.
10–15 εργάσιμες ημέρες
Η κάρτα είναι σπάνια
Οι επιταχυντές τρέχουσας γενιάς λειτουργούν με βάση την κατανομή και η ημερομηνία είναι του διανομέα, όχι δική μας. Θα ονομάσουμε τον long pole πριν από τη δέσμευσή σας και όχι μετά. Όταν αγοράζεται υλικό για έναν πελάτη, ζητάμε τρεις μήνες εκ των προτέρων, επειδή είναι ένα μηχάνημα που δεν μπορούμε να εκμισθώσουμε ξανά εάν ο λογαριασμός κλείσει τη δεύτερη εβδομάδα.

Κάθε βήμα ξεκινά όταν η παραγγελία ολοκληρωθεί με την ολοκλήρωση της πληρωμής και τον έλεγχο απάτης, το οποίο είναι το μόνο βήμα για το οποίο δεν θα δώσουμε καμία υπόσχεση: οι περισσότερες παραγγελίες εκκαθαρίζονται μέσα σε λίγες ώρες, ενώ μια πρώτη παραγγελία από νέο λογαριασμό μπορεί να διαρκέσει περισσότερο. Γίνονται δεκτές κάρτες, PayPal, ACH και τραπεζικές συναλλαγές, όπως και τα κρυπτονομίσματα — τα οποία για μεγαλύτερες παραγγελίες είναι συνήθως τα πιο γρήγορα στην εκκαθάριση.

Ερωτήθηκε πριν

Οι δώδεκα ερωτήσεις στις οποίες υπάρχει αυτή η σελίδα για να απαντήσει.

Από αυτά που μας ρωτούν οι άνθρωποι στην συνομιλία και στα εισιτήρια, περίπου με τη σειρά που το ρωτούν. Το πρώτο μας κόστισε παραγγελίες, άρα είναι πρώτο και εδώ.

Είναι η GPU αποκλειστική ή κοινόχρηστη;: Αφιερωμένο. Ένα φυσικό μηχάνημα, ένας λογαριασμός και η κάρτα περνάει απευθείας στο λειτουργικό σας σύστημα. Χωρίς hypervisor, χωρίς partition MIG, χωρίς προφίλ vGPU, χωρίς time-slicing scheduler και κανένας άλλος δεν θα έχει φόρτο εργασίας στην κάρτα. Αυτό που μετράτε το πρώτο απόγευμα είναι αυτό που κρατάτε.
Μπορώ να έχω περισσότερες από μία κάρτες σε ένα μηχάνημα;: Ναι, και είναι μια έκδοση που αναφέρουμε και όχι ένα κουτάκι που τσεκάρετε εσείς. Ο αριθμός που ταιριάζει εξαρτάται από το πλαίσιο, το φυσικό πλάτος της κάρτας και τον προϋπολογισμό ισχύος, επομένως η ειλικρινής απάντηση χρειάζεται τη συγκεκριμένη κάρτα. Ρωτήστε και η απάντηση αναφέρει το πλαίσιο, τον αριθμό και τον χρόνο παράδοσης. Αρκετοί πελάτες χρησιμοποιούν δύο, και ο συνηθέστερος λόγος είναι η μνήμη και όχι η ταχύτητα - δύο κάρτες των 48 GB χωράνε ένα μοντέλο που μία των 80 GB δεν χωράει. Περισσότερες από μία κάρτες ή μηχανήματα είναι η σελίδα για ολόκληρη αυτήν την ερώτηση, συμπεριλαμβανομένου του τι αλλάζει όταν η δεύτερη κάρτα γίνεται δεύτερη μηχανή.
Ποιον οδηγό και ποια έκδοση CUDA πρέπει να πάρω;: Όποιο κι αν εγκαταστήσετε. Αυτό είναι το νόημα της βασικής διαδικασίας: το μηχάνημα έρχεται με ένα καθαρό λειτουργικό σύστημα και root, και εσείς καρφιτσώνετε τον οδηγό, την έκδοση CUDA ή ROCm και την έκδοση framework σε ό,τι δοκιμάστηκε ο κώδικά σας — και τίποτα δεν αναβαθμίζεται κάτω από εσάς. Αν προτιμάτε να εγκατασταθεί ο οδηγός πριν από την παράδοση, αναφέρετέ το στην παραγγελία και ονομάστε την έκδοση. Αν χρειάζεστε μια συγκεκριμένη έκδοση CUDA που υποστηρίζεται από μια συγκεκριμένη κάρτα, ρωτήστε πριν πληρώσετε και θα την ελέγξουμε αντί να μαντέψουμε.
Τι γίνεται αν η κάρτα που θέλω δεν βρίσκεται σε κάποιο ράφι σήμερα;: Στη συνέχεια, τοποθετείται ή παραγγέλνεται και σας ενημερώνουν για το ποιο πριν πληρώσετε. Μια κάρτα που έχουμε στην κατοχή μας αποστέλλεται εντός τεσσάρων έως εικοσιτεσσάρων ωρών. Μια κάρτα που πρέπει να αγοράσουμε έχει διάρκεια πέντε έως δέκα εργάσιμες ημέρες και ένας επιταχυντής τρέχουσας γενιάς σε κατανομή μπορεί να είναι δέκα έως δεκαπέντε. Αυτή η σελίδα σκόπιμα δεν δείχνει κανέναν αριθμό αποθεμάτων, επειδή μια κάρτα είναι ένα εξάρτημα που τοποθετούμε και όχι ένα προϊόν που έρχεται και παρέρχεται — αλλά αν θέλετε ένα μηχάνημα σήμερα , οι άμεσοι διακομιστές είναι η λίστα με αυτά που πραγματικά υπάρχουν σε ένα rack αυτή τη στιγμή.
Μπορώ να προσθέσω ή να αλλάξω την κάρτα αργότερα;: Ναι, στο μηχάνημα που ήδη έχετε — χωρίς μετεγκατάσταση, χωρίς επανεγκατάσταση, χωρίς νέα διεύθυνση. Πρόκειται για μια προγραμματισμένη επίσκεψη στο rack και μια σύντομη διακοπή λειτουργίας όσο το μηχάνημα δεν λειτουργεί, και το μηνιαίο ποσό αλλάζει με τη διαφορά μεταξύ των δύο καρτών. Η μνήμη, οι δίσκοι και η ταχύτητα θύρας αναβαθμίζονται με τον ίδιο τρόπο.
Τι συμβαίνει όταν μια κάρτα αποτύχει;: Αντικαθίσταται και η συμφωνία ορίζει μια χρονική περίοδο: τέσσερις ώρες από τη στιγμή που το αναφέρετε τηλεφωνικά ή μέσω ζωντανής συνομιλίας. Μετά από αυτό, σας οφείλεται πίστωση εξυπηρέτησης βάσει δημοσιευμένου χρονοδιαγράμματος και όχι κατόπιν αιτήματος. Η υποστήριξη έχει το χρονοδιάγραμμα και τον αριθμό τηλεφώνου γραπτώς.
Υπάρχει μετρημένο εύρος ζώνης; Πόσο κοστίζει η έξοδος;: Τίποτα δεν μετριέται και η έξοδος δεν κοστίζει τίποτα, σε κάθε ταχύτητα θύρας που πουλάμε. Δεν υπάρχει υπέρβαση του επιτρεπόμενου ορίου μεταφοράς και καμία γραμμή υπερφόρτωσης σε κανένα τιμολόγιο. Για εργασίες GPU, αυτό είναι συνήθως το μεγαλύτερο κρυφό κόστος κάπου αλλού: μια εκτέλεση εκπαίδευσης που εισάγει ένα σύνολο δεδομένων και ωθεί σημεία ελέγχου έξω, ή ένα τελικό σημείο συμπερασμού που απαντά σε πραγματική κίνηση, μετακινεί πολλά byte, και η έξοδος ανά gigabyte σε ένα hyperscaler χρεώνεται σε κάθε ένα από αυτά. Το μη μετρημένο εύρος ζώνης είναι η σκάλα πάνω από την συμπεριλαμβανόμενη ταχύτητα θύρας.
Πώς συγκρίνεται αυτό με την ενοικίαση μιας GPU με την ώρα;: Η αριθμητική το αποφασίζει. Μια ωριαία κάρτα είναι φθηνότερη αν η εργασία είναι εκρηκτική και πραγματικά σταματά — μερικές εκατοντάδες ώρες το μήνα ή λιγότερο. Μετά τα δύο τρίτα περίπου του μήνα, δεν είναι κοντά, και αυτό συμβαίνει πριν από την έξοδο, πριν από την αποθήκευση που πρέπει να παραμείνει μεταξύ των εκτελέσεων και πριν από τον χρόνο που η εργασία σας παραμένει στην ουρά για χωρητικότητα. Μηνιαία εδώ σημαίνει επίσης το ίδιο μηχάνημα, τους ίδιους δίσκους και την ίδια διεύθυνση τον επόμενο μήνα, κάτι που έχει μεγαλύτερη σημασία από ό,τι περιμένουν οι άνθρωποι όταν κάτι βρίσκεται σε παραγωγή.
Μπορώ να κάνω εξόρυξη ή να εκτελέσω κόμβους blockchain και αποκεντρωμένης υπολογιστικής;: Ναι. Και τα δύο είναι συνηθισμένα φόρτα εργασίας εδώ και πάντα ήταν, και αρκετές από τις κάρτες σε αυτήν τη σελίδα αγοράστηκαν ακριβώς για αυτό. Οι διακομιστές εξόρυξης είναι η σελίδα για την περίπτωση εξόρυξης συγκεκριμένα, συμπεριλαμβανομένων των τμημάτων που έχουν νόημα μόνο για αυτήν.
Πώς πληρώνω και υπάρχει συμβόλαιο;: Κάρτα, PayPal, ACH, τραπεζικό έμβασμα ή κρυπτονόμισμα. Χωρίς συμβόλαιο: ένας μήνας είναι η προεπιλεγμένη και μοναδική διάρκεια, οι κύκλοι τριών, έξι και δώδεκα μηνών έχουν έκπτωση και η τιμή δεν αυξάνεται κατά την ανανέωση. Οι πληρωμές με κρυπτονομίσματα καλύπτουν τα κρυπτονομίσματα που γίνονται δεκτά. Για μια μεγαλύτερη πρώτη παραγγελία, ένα έμβασμα ή ένα σταθερό κρυπτονόμισμα συνήθως εκκαθαρίζεται πιο γρήγορα από μια κάρτα, κάτι που αξίζει να γνωρίζετε πριν ένας έλεγχος απάτης καθυστερήσει μια δημιουργία.
Μπορώ να λάβω επιστροφή χρημάτων αν δεν είναι αυτό που χρειαζόμουν;: Εντός τριών ημερολογιακών ημερών από την πρώτη ενεργοποίηση, μόλις εξαντληθεί η διαδικασία αντιμετώπισης προβλημάτων — η πολιτική επιστροφής χρημάτων είναι η ακριβής διατύπωση. Αυτός ακριβώς είναι ο λόγος για τον οποίο υπάρχουν οι παραπάνω ενότητες που αφορούν το μέγεθος και τη δημιουργία διαύλου: είναι φθηνότερο και για τους δύο μας αν αγοράσετε τη σωστή κάρτα την πρώτη φορά και θα προτιμούσαμε να σας πείσουμε να αγοράσετε μια μικρότερη κάρτα παρά να σας πουλήσουμε επιστροφή χρημάτων.
Έχεις την πιο πρόσφατη κάρτα;: Μερικές φορές, και είναι λάθος ερώτηση. Το νεότερο εξάρτημα είναι ένα σπάνιο εξάρτημα που έχει εκχωρηθεί, σε μια πλατφόρμα που δεν θα του δώσει την γενιά διαύλου για την οποία σχεδιάστηκε, σε μια τιμή που υποθέτει ότι χρειάζεστε κάθε κομμάτι του. Οι περισσότερες εργασίες GPU εδώ δεν αφορούν την εκπαίδευση ενός πρωτοποριακού μοντέλου - είναι η εξυπηρέτηση ενός που ήδη ταιριάζει, η κωδικοποίηση βίντεο, η απόδοση καρέ ή η λειτουργία επιτραπέζιων υπολογιστών, και για όλα αυτά η σωστή κάρτα είναι συνήθως δύο γενιές πίσω και το ένα τέταρτο των χρημάτων. Πείτε μας τη δουλειά. Αν η απάντηση είναι όντως το νεότερο εξάρτημα, θα το πούμε, και θα πούμε επίσης πόσο θα κοστίσει και πότε μπορεί να υπάρξει.

Πού να πάτε στη συνέχεια

Οι σελίδες εκατέρωθεν αυτού.

Αυτή η σελίδα έχει μία ερώτηση: ποιες κάρτες ταιριάζουμε και πόσο κοστίζουν. Όλα όσα βρίσκονται δίπλα σε αυτήν την ερώτηση έχουν τη δική τους σελίδα και αυτές είναι όλες, με τη σειρά που κάνουν κλικ οι επισκέπτες αυτής της σελίδας.

Ακόμα δεν είστε σίγουροι για ποια κάρτα; και κάποιος που έχει ήδη κάνει μια τέτοια επιλογή θα απαντήσει — ακόμη και όταν η απάντηση είναι μια φθηνότερη κάρτα από αυτήν για την οποία ήρθατε.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit: 56 add-in cards, in 3 classes: 14 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs: From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs: From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own: $70.93 to $217.59 a month before any card.
Cheapest machine that can train something: Instinct MI50 16GB at $169.93 a month, complete.
Dearest: H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy: One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth: Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where: 5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term: One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards: Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment: Card, PayPal, ACH, wire and cryptocurrency.

Δύο ερωτήσεις.

Είναι δική μου η κάρτα ή τη μοιράζομαι;

Η κάρτα είναι μια γραμμή στο τιμολόγιο, όχι ένα επίπεδο προϊόντος.

Η μόνη προδιαγραφή που αποφασίζει αν λειτουργεί.

Τέσσερα σασί χρειάζονται ένα και δεν είναι εναλλάξιμα.

Intel Xeon E5-2600 v1/v2

Intel Xeon E5-2600 v3/v4

Intel Xeon Silver / Gold

AMD EPYC

Τι αλλάζει στην πραγματικότητα η γενιά των λεωφορείων

Όλα όσα κάνουν την κάρτα εύχρηστη και τίποτα που χρειάζεται να αγοράσετε.

Root, και η στοίβα προγραμμάτων οδήγησης είναι δική σας

Η κονσόλα του μηχανήματος, σε ξεχωριστό δίκτυο

Ένα λιμάνι χωρίς μετρητές, και στις δύο κατευθύνσεις

Επανεγκαταστήστε το όσο συχνά θέλετε

Άνθρωποι, οποιαδήποτε ώρα

Πέντε δωμάτια για να το βάλω

Μεταξύ μισής ώρας και τριών εβδομάδων, και το ποια εξαρτάται από το πού βρίσκεται η κάρτα.

Η κάρτα βρίσκεται ήδη σε ένα μηχάνημα στο ράφι

Μια κάρτα που κρατάμε τοποθετείται ή ένα μηχάνημα που έχει τοποθετηθεί σε rack αναδιατάσσεται

Η κάρτα πρέπει να αγοραστεί

Η κάρτα είναι σπάνια

Οι δώδεκα ερωτήσεις στις οποίες υπάρχει αυτή η σελίδα για να απαντήσει.

Οι σελίδες εκατέρωθεν αυτού.

Everything on this page, as figures.