RTX PRO 6000 Blackwell · 96 GB GDDR7 με ECC

RTX PRO 6000 σε έναν διακομιστή που νοικιάζετε ανά μήνα

Ενενήντα έξι gigabytes GDDR7 με διόρθωση σφαλμάτων σε μία κάρτα επέκτασης, μέσα σε ένα ολόκληρο φυσικό μηχάνημα χωρίς κανέναν άλλον πάνω του. Καμία κάρτα που τοποθετούμε δεν χωράει περισσότερα — ούτε καν οι επιταχυντές. Αυτό που θυσιάζετε για να αποκτήσετε αυτή τη χωρητικότητα είναι ο ρυθμός ανάγνωσης μνήμης και το NVLink, και αυτή η σελίδα το λέει πριν πει οτιδήποτε άλλο.

96 GB, ECC Τέσσερις κωδικοποιητές, AV1 Περασμένη απευθείας, όχι τεμαχισμένη

Μετατρέψτε τις GPU σας σε παθητικό μηνιαίο εισόδημα

Έχετε αδρανείς διατάξεις GPU σε διακομιστές ή επιτραπέζιους υπολογιστές; Καταχωρίστε τις στην αγορά του Primcast σήμερα και κερδίστε σταθερά μηνιαία ενοίκια από ομάδες τεχνητής νοημοσύνης, προγραμματιστές και επιχειρήσεις που χρειάζονται υπολογιστική ισχύ επιπέδου παραγωγής.

Μετάβαση στην Αγορά

Η μεγαλύτερη κάρτα εδώ, και πού βρίσκεται στο τιμολόγιο

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Ένας H100 είναι επιταχυντής: υπάρχει για να κρατά ένα μοντέλο και να κάνει αριθμητικές πράξεις πάνω του, και η NVIDIA τον τιμολογεί αναλόγως. Η RTX PRO 6000 είναι μια κάρτα σταθμού εργασίας που τυχαίνει να έχει λάβει περισσότερη μνήμη από τον επιταχυντή. Αν το μόνο που ρωτάτε είναι θα χωρέσει, διαβάστε τη στήλη μνήμης και τη στήλη χρημάτων στον παρακάτω πίνακα τη μία δίπλα στην άλλη — σε αυτό το ράφι δεν κινούνται προς την ίδια κατεύθυνση, και αυτός είναι ο λόγος που υπάρχει αυτή η σελίδα.

Πού βρίσκεται σε σχέση με τις άλλες κάρτες μεγάλης μνήμης που τοποθετούμε

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Κάθε αριθμός παραπάνω διαβάζεται από τον κατάλογο παραγγελιών από τον οποίο χρεώνει το ταμείο, τη στιγμή που προβλήθηκε αυτή η σελίδα. Τίποτα σε αυτή τη σελίδα δεν είναι πληκτρολογημένο με το χέρι.

Οι προδιαγραφές, όπως τις δημοσιεύει η NVIDIA

Blackwell, πυρήνες Tensor πέμπτης γενιάς, πυρήνες RT τέταρτης γενιάς. Αριθμοί από την ίδια τη σελίδα προϊόντος της NVIDIA για την Έκδοση Workstation, με αναφορά στον πηγαίο κώδικα αυτής της σελίδας.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

Σε τι είναι καλή, και σε τι όχι

Η ειλικρινής εκδοχή. Μια κάρτα τόσο ακριβή είναι η λάθος κάρτα πιο συχνά από ό,τι η σωστή, και οι τέσσερις παράγραφοι παρακάτω είναι αυτές που το αποφασίζουν.

Καλή στο: να κρατά κάτι μεγάλο, ολόκληρο

Ενενήντα έξι gigabytes αρκούν για ένα μοντέλο εβδομήντα δισεκατομμυρίων παραμέτρων σε ακρίβεια οκτώ bit με περιθώριο για το παράθυρο πλαισίου, και αρκούν για ένα μοντέλο τριάντα δισεκατομμυρίων σε πλήρη δεκαέξι bit. Μία κάρτα, ένας χώρος διευθύνσεων, χωρίς κατακερματισμό και χωρίς δεύτερο μηχάνημα για συγχρονισμό.

Καλή στο: εργασία που είναι ΚΑΙ γραφικά ΚΑΙ αριθμητική

Τέσσερις κωδικοποιητές υλικού και τέσσερις αποκωδικοποιητές με AV1, συν πυρήνες ανίχνευσης ακτίνων τέταρτης γενιάς. Αποδίδει, διακωδικοποιεί και εξάγει συμπεράσματα στην ίδια πλακέτα. Οι επιταχυντές σε αυτό το ράφι δεν κάνουν τίποτα από τα δύο πρώτα — δεν έχουν καθόλου κωδικοποιητή βίντεο.

Κακή στο: εργασία περιορισμένη από τη μνήμη σε κλίμακα

Η GDDR7 είναι γρήγορη, αλλά δεν είναι στοιβαγμένη μνήμη. Οι A100 και H100 διαβάζουν τα βάρη τους γρηγορότερα ανά δευτερόλεπτο από ό,τι αυτή η κάρτα, και για παραγωγή token σε μεγάλες παρτίδες αυτός ο ρυθμός ανάγνωσης είναι το ανώτατο όριο, όχι η αριθμητική. Αν το σημείο συμφόρησής σας είναι το εύρος ζώνης και όχι η χωρητικότητα, ο μικρότερος επιταχυντής κερδίζει.

Κακή στο: συνδυασμό με δεύτερη κάρτα

Δεν υπάρχει NVLink σε αυτό το εξάρτημα. Δύο από αυτές σε ένα μηχάνημα είναι δύο ξεχωριστές δεξαμενές 96 GB που επικοινωνούν μέσω της υποδοχής, όχι μία δεξαμενή 192 GB. Όταν πραγματικά χρειάζεστε περισσότερα από 96 GB σε έναν χώρο διευθύνσεων, αυτή δεν είναι η κάρτα που θα σας πάει εκεί.

Σε ποιο μηχάνημα μπαίνει, και τι σύνδεση παίρνει εκεί

Αυτή η κάρτα είναι εξάρτημα PCIe Gen 5 και κάθε πλατφόρμα που λειτουργούμε είναι Gen 3 ή Gen 4, οπότε δεν παίρνει ποτέ τον πλήρη δίαυλο για τον οποίο σχεδιάστηκε. Αυτό έχει σημασία για κάποιες εργασίες και για άλλες καθόλου, και η διαφορά αξίζει περισσότερο από τη σιωπή.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Μόλις τα βάρη είναι μόνιμα στην κάρτα, η υποδοχή είναι αδρανής και η γενιά παύει να έχει σημασία — που είναι η περίπτωση για τα περισσότερα συμπεράσματα, τις περισσότερες αποδόσεις και όλη τη διακωδικοποίηση. Έχει σημασία για έναν βρόχο εκπαίδευσης που μεταφέρει μια νέα παρτίδα μέσω της υποδοχής σε κάθε βήμα. Ρωτήστε αν δεν είστε σίγουροι ποιο από τα δύο είστε· η απάντηση αποφασίζει το μηχάνημα, όχι την κάρτα.

Τι πραγματικά χωράει στα 96 GB

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

Η ισχύς πλακέτας είναι το άλλο ανώτατο όριο και είναι πραγματικό: η Έκδοση Workstation αυτής της κάρτας καταναλώνει έως και 600 W από μόνη της, και η έκδοση Max-Q είναι το ίδιο πυρίτιο και τα ίδια 96 GB στα 300 W. Ποιο από τα δύο δέχεται ένα δεδομένο πλαίσιο εξαρτάται από το πλαίσιο, οπότε ρωτήστε πριν παραγγείλετε και όχι μετά.

Αυτός ο πίνακας απαντά στο “τι χωράει σε αυτή την κάρτα”. Το ερώτημα αντίστροφα — πόση μνήμη χρειάζεται ένα μοντέλο, και ποια κάρτα την καλύπτει — είναι μια δική του σελίδα.

Πόσο κοστίζει, μαζί με το μηχάνημα στο οποίο μπαίνει

Η κάρτα είναι ξεχωριστή γραμμή στο τιμολόγιο και το μηχάνημα άλλη. Και τα δύο μισά παρακάτω προέρχονται από μία ανάγνωση του καταλόγου παραγγελιών, οπότε η τιμή και οι προδιαγραφές δίπλα της ανήκουν πάντα η μία στην άλλη.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Το εύρος ζώνης είναι αμέτρητο και προς τις δύο κατευθύνσεις χωρίς χρέωση εξερχόμενης κίνησης, περιλαμβάνεται μία διεύθυνση IPv4, δεν υπάρχει συμβόλαιο και ο ένας μήνας είναι η προεπιλεγμένη διάρκεια. Για κάθε άλλη κάρτα που τοποθετούμε, και τα ίδια στοιχεία για όλες, διαβάστε ολόκληρο τον κατάλογο, με τιμές. Για μηχανήματα σε rack έτοιμα σήμερα αντί για κατασκευή κατόπιν παραγγελίας, /instant.

Ερωτήσεις που πραγματικά κάνουν οι άνθρωποι για αυτή την κάρτα

Είναι η ίδια κάρτα με την RTX 6000 Ada;

Όχι, και τα ονόματα προκαλούν το λάθος. Η RTX 6000 Ada Generation είναι η προηγούμενη επαγγελματική ναυαρχίδα: 48 GB GDDR6 με ECC στην αρχιτεκτονική Ada Lovelace. Η RTX PRO 6000 Blackwell έχει 96 GB GDDR7 με ECC, διπλάσια μνήμη, σε νεότερο πυρίτιο. Τοποθετούμε και τις δύο, και εμφανίζονται δίπλα δίπλα στην παραπάνω κλίμακα, ώστε το βήμα μεταξύ τους να είναι αριθμός και όχι ισχυρισμός.

96 GB έναντι των 80 GB του H100 — τότε σε τι χρησιμεύει ο H100;

Πληρώνετε για διαφορετικά πράγματα. Τα χρήματα του H100 είναι στη στοιβαγμένη μνήμη και στον ρυθμό ανάγνωσης που τη συνοδεύει, συν το NVLink για συνδυασμό πολλών καρτών σε έναν χώρο διευθύνσεων. Τα χρήματα της RTX PRO 6000 είναι στη χωρητικότητα, στην ανίχνευση ακτίνων και στους τέσσερις κωδικοποιητές βίντεο. Αν το ερώτημα είναι θα χωρέσει το μοντέλο, αυτή η κάρτα το απαντά με περισσότερο περιθώριο. Αν το ερώτημα είναι πόσα token ανά δευτερόλεπτο σε μεγάλο μέγεθος παρτίδας, ο επιταχυντής το απαντά καλύτερα και η παραπάνω κλίμακα δείχνει πόσο κοστίζει αυτό.

Μοιράζεται η κάρτα με κάποιον άλλον;

Όχι. Ένας μισθωτής ανά φυσικό μηχάνημα, και η κάρτα περνά απευθείας στο δικό σας λειτουργικό σύστημα — χωρίς hypervisor, χωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU, χωρίς χρονομερισμό. Εγκαθιστάτε και καθηλώνετε τον δικό σας οδηγό και την έκδοση CUDA, και τίποτα δεν αναβαθμίζεται κάτω από εσάς. Ό,τι μετράτε το πρώτο απόγευμα είναι αυτό που κρατάτε.

Μπορώ να έχω δύο από αυτές σε ένα μηχάνημα;

Είναι μια κατασκευή για την οποία δίνουμε προσφορά και όχι ένα κουτί που τσεκάρετε, επειδή η απάντηση εξαρτάται από το πλαίσιο, το φυσικό πλάτος της κάρτας και τον προϋπολογισμό ισχύος — και στα έως 600 W η καθεμία, ο προϋπολογισμός ισχύος είναι συνήθως αυτός που το αποφασίζει. Ρωτήστε, και η απάντηση ονομάζει το πλαίσιο, τον αριθμό και τον χρόνο παράδοσης. Σημειώστε ότι δύο κάρτες εδώ είναι δύο ξεχωριστές δεξαμενές μνήμης: αυτό το εξάρτημα δεν έχει NVLink.

Πόσο σύντομα μπορώ να έχω μία;

Εξαρτάται από το αν η κάρτα είναι ήδη τοποθετημένη, ήδη στο ράφι μας ή πρέπει να αγοραστεί — και σας λέγεται πριν πληρώσετε, όχι μετά. Το /instant παραθέτει μηχανήματα σε rack έτοιμα αυτή τη στιγμή. Οτιδήποτε άλλο προσφέρεται με τον πραγματικό χρόνο παράδοσής του.