Οι επιταχυντές — και τι δεν θα κάνουν

Δύο πράγματα που εκπλήσσουν τους ανθρώπους

Δεν μπορούν να κωδικοποιήσουν βίντεο. Καθόλου.

Ο ίδιος ο πίνακας υποστήριξης κωδικοποίησης και αποκωδικοποίησης της NVIDIA καταγράφει μηδέν μηχανές NVENC στην A100 και μηδέν στην H100. Αποκωδικοποιούν — πέντε μηχανές στην A100, επτά στην H100 — αλλά δεν υπάρχει κωδικοποιητής στην κάρτα, οπότε κάθε καρέ που παράγουν αυτές οι κάρτες πρέπει να κωδικοποιηθεί από τον επεξεργαστή. Αν η ροή εργασίας σας παράγει βίντεο, αυτό είναι το λάθος ράφι, και η L40S με τους τρεις κωδικοποιητές AV1 είναι το σωστό. Αυτό είναι μία σελίδα πιο πέρα στο /l40s.

Αυτές οι κάρτες επίσης δεν έχουν εξόδους οθόνης. Είναι εξαρτήματα υπολογισμού χωρίς κεφαλή. Οτιδήποτε περιμένει framebuffer — μια εικονική επιφάνεια εργασίας, ένας απομακρυσμένος σταθμός εργασίας, ένας διακομιστής παιχνιδιών — δεν ανήκει σε αυτές.

Η A100 δεν είναι ξεπερασμένη, και η κάρτα των 40 GB δεν είναι λάθος

Η A100 είναι η προηγούμενη γενιά, και διαβάζει τα βάρη της με 1.555 GB/s με 40 GB και 1.935 GB/s με 80 GB. Για ένα μοντέλο που χωράει, αυτός ο ρυθμός ανάγνωσης είναι που καθορίζει πόσα tokens το δευτερόλεπτο παίρνετε, και παραμένει πολύ μπροστά από κάθε μη στοιβαγμένη κάρτα στον κατάλογο. Η κάρτα των 40 GB χωράει ένα μοντέλο τριάντα δισεκατομμυρίων παραμέτρων σε ακρίβεια οκτώ bit άνετα, που είναι το μεγαλύτερο μέρος αυτού που πραγματικά εξυπηρετούν οι άνθρωποι, σε ένα κλάσμα του κόστους της H100 κάθε μήνα.

Αγοράστε την H100 όταν το μοντέλο χρειάζεται πραγματικά Hopper — τη μηχανή transformer, το FP8, τις νεότερες μονάδες tensor — ή όταν η εκτέλεση πρέπει να τελειώσει νωρίτερα αντί απλώς να τελειώσει. Αγοράστε μια A100 όταν το ερώτημα είναι αν χωράει και πόσο γρήγορα διαβάζει, που είναι το πιο συνηθισμένο ερώτημα.

Οι προδιαγραφές, όπως δημοσιεύονται

Στοιχεία από τα φύλλα δεδομένων της ίδιας της NVIDIA και τους πίνακες προδιαγραφών Tesla, που αναφέρονται στον πηγαίο κώδικα αυτής της σελίδας. Όπου ένα στοιχείο δεν μπορούσε να επιβεβαιωθεί για το ακριβές εξάρτημα που τοποθετούμε, αυτή η σελίδα δεν τυπώνει τίποτα αντί για εικασία.

Η H100 δεν εμφανίζει αριθμό πυρήνων και εύρος ζώνης παραπάνω, και αυτό είναι σκόπιμο. Το εξάρτημά μας είναι καταγεγραμμένο στο κατάστημα με αριθμό πυρήνων που ανήκει στη μονάδα SXM, η οποία είναι μια κάρτα που βιδώνεται σε μια βασική πλακέτα αντί να μπαίνει σε υποδοχή· η μνήμη HBM2e 80 GB που επίσης καταγράφει ανήκει στην κάρτα PCIe, που είναι αυτή που πραγματικά μπαίνει σε αυτά τα μηχανήματα. Αντί να διαλέξουμε ένα και να το τυπώσουμε με σιγουριά, η σελίδα τυπώνει τη μνήμη στην οποία συμφωνούν και οι δύο πηγές και παραλείπει τα υπόλοιπα. Ρωτήστε μας και θα σας πούμε ακριβώς ποια πλακέτα θα μπει στο δικό σας.

Οι τρεις τους δίπλα δίπλα, και τι βρίσκεται από πάνω

Από τα δικά μας ράφια. Όλες αυτές είναι παραγγέλσιμες σήμερα, στο ίδιο πλαίσιο, οπότε το ερώτημα είναι ποια αξίζει τη διαφορά.

Η τελευταία σειρά είναι εκεί επειδή είναι η έντιμη σύγκριση και οι περισσότερες καταχωρίσεις την κρύβουν: η RTX PRO 6000 Blackwell έχει 96 GB, περισσότερα από οποιονδήποτε επιταχυντή σε αυτή τη σελίδα. Διαβάστε τη μνήμη της και τα χρήματά της σε σχέση με της H100 στον παραπάνω πίνακα αντί να δεχτείτε τον λόγο μας για κανένα από τα δύο. Αυτό που θυσιάζει είναι ο ρυθμός ανάγνωσης και το NVLink· αυτό που κερδίζει είναι τέσσερις κωδικοποιητές βίντεο και ray tracing. Αν το ερώτημά σας είναι θα χωρέσει, διαβάστε το /rtx60 πριν δεσμευτείτε σε αυτό το ράφι.

Σε ποιο μηχάνημα μπαίνουν, και τι σύνδεση παίρνουν εκεί

Η A100 είναι κάρτα PCIe Gen 4 και η H100 είναι Gen 5, ενώ οι πλατφόρμες μας είναι Gen 3 και Gen 4. Η H100 επομένως δεν παίρνει ποτέ τον πλήρη δίαυλο για τον οποίο σχεδιάστηκε σε κανένα μηχάνημα που λειτουργούμε, και αυτή η σελίδα το λέει αντί να σας αφήσει να το ανακαλύψετε.

Το αν αυτό σας κοστίζει κάτι εξαρτάται εξ ολοκλήρου από τη μορφή της εργασίας. Ένα τελικό σημείο συμπερασμού του οποίου τα βάρη είναι μόνιμα barely αγγίζει την υποδοχή και δεν θα το παρατηρήσει. Ένας βρόχος εκπαίδευσης που στέλνει μια φρέσκια παρτίδα από τη μνήμη του κεντρικού υπολογιστή σε κάθε βήμα θα το παρατηρήσει σε κάθε βήμα. Αν δεν είστε σίγουροι ποιο από τα δύο είστε, πείτε μας ποια είναι η εργασία πριν παραγγείλετε — αυτό καθορίζει το μηχάνημα, όχι την κάρτα.

Τι πραγματικά χωράει στα 80 GB

Η A100 των 40 GB κρατά τον ίδιο πίνακα ένα σκαλοπάτι πιο κάτω: ένα μοντέλο τριάντα έως τριάντα τεσσάρων δισεκατομμυρίων παραμέτρων χωράει με περιθώριο μόνο στα τέσσερα bit, και στα οκτώ bit τα 34 GB βαρών του δεν περνούν ούτε τον στενό πήχη. Ένα μοντέλο εβδομήντα δισεκατομμυρίων στα δεκαέξι bit δεν χωράει σε καμία μεμονωμένη κάρτα που πουλάμε — αυτό είναι κατασκευή δύο καρτών, και ο λόγος που η γραμμή NVLink παραπάνω έχει σημασία.

Αυτός ο πίνακας απαντά στο “τι χωράει σε αυτή την κάρτα”. Το ερώτημα αντίστροφα — πόση μνήμη χρειάζεται ένα μοντέλο, και ποια κάρτα το περνάει — είναι μια σελίδα από μόνο του.

Πόσο κοστίζουν, με τα μηχανήματα στα οποία μπαίνουν

Η κάρτα είναι μία γραμμή στο τιμολόγιο και το μηχάνημα είναι άλλη. Και τα δύο μισά παρακάτω προέρχονται από μία ανάγνωση του καταλόγου παραγγελιών, οπότε η τιμή και η προδιαγραφή δίπλα της ανήκουν πάντα η μία στην άλλη.

Το εύρος ζώνης είναι αμέτρητο και προς τις δύο κατευθύνσεις χωρίς χρέωση εξερχόμενης κίνησης, που σε αυτό το ράφι είναι συνήθως το μεγαλύτερο κρυφό κόστος αλλού — μια εκπαίδευση που τραβάει ένα σύνολο δεδομένων και στέλνει σημεία ελέγχου μετακινεί πάρα πολλά byte, και η εξερχόμενη κίνηση ανά gigabyte χρεώνεται σε καθένα από αυτά. Μία διεύθυνση IPv4 περιλαμβάνεται, δεν υπάρχει συμβόλαιο και ο ένας μήνας είναι ο προεπιλεγμένος όρος. Για κάθε άλλη κάρτα που τοποθετούμε, κοστολογημένη με τον ίδιο τρόπο, διαβάστε ολόκληρο τον κατάλογο, με τιμές. Για μηχανήματα σε rack και έτοιμα σήμερα, /instant.