Οι επιταχυντές — και τι δεν θα κάνουν

Δύο πράγματα εκπλήσσουν τους ανθρώπους

Δεν μπορούν να κωδικοποιήσουν βίντεο. Καθόλου.

Ο δικός της πίνακας υποστήριξης κωδικοποίησης και αποκωδικοποίησης της NVIDIA δεν καταγράφει καμία μηχανή NVENC στην A100 και καμία στην H100. Αποκωδικοποιούν — πέντε μηχανές στην A100, επτά στην H100 — αλλά δεν υπάρχει κωδικοποιητής στην πλακέτα, επομένως κάθε καρέ που παράγουν αυτές οι κάρτες πρέπει να κωδικοποιηθεί από τον επεξεργαστή. Εάν ο αγωγός σας έχει βίντεο που εξέρχεται από αυτόν, αυτό είναι το λάθος ράφι και η L40S με τους τρεις κωδικοποιητές AV1 είναι η σωστή. Αυτό είναι μία σελίδα σε /l40s .

Αυτές οι κάρτες επίσης δεν έχουν εξόδους οθόνης. Είναι headless computing μέρη. Τίποτα που να περιμένει ένα framebuffer — μια εικονική επιφάνεια εργασίας, ένας απομακρυσμένος σταθμός εργασίας, ένας διακομιστής παιχνιδιών — δεν τους ανήκει.

Το A100 δεν είναι ξεπερασμένο και η κάρτα 40 GB δεν είναι λάθος.

Η A100 είναι η προηγούμενη γενιά και διαβάζει τα βάρη της στα 1.555 GB/s με 40 GB και 1.935 GB/s με 80 GB. Για ένα μοντέλο που ταιριάζει, αυτός ο ρυθμός ανάγνωσης είναι αυτός που καθορίζει πόσα tokens ανά δευτερόλεπτο θα λάβετε και παραμένει πολύ μπροστά από κάθε μη στοιβαγμένη κάρτα στον κατάλογο. Η κάρτα 40 GB διαθέτει ένα μοντέλο τριάντα δισεκατομμυρίων παραμέτρων με ακρίβεια οκτώ bit άνετα, που είναι το μεγαλύτερο μέρος αυτού που πραγματικά εξυπηρετούν οι άνθρωποι, σε ένα κλάσμα του κόστους της H100 κάθε μήνα.

Αγοράστε το H100 όταν το μοντέλο χρειάζεται πραγματικά το Hopper — τον κινητήρα μετασχηματιστή, το FP8, τις νεότερες μονάδες τενσόρ — ή όταν η λειτουργία πρέπει να ολοκληρωθεί νωρίτερα αντί να ολοκληρωθεί απλώς. Αγοράστε ένα A100 όταν το ερώτημα είναι αν ταιριάζει και πόσο γρήγορα διαβάζει, κάτι που είναι και το πιο συνηθισμένο ερώτημα.

Οι προδιαγραφές, όπως δημοσιεύθηκαν

Στοιχεία από τα δελτία δεδομένων της NVIDIA και τους πίνακες προδιαγραφών της Tesla, που αναφέρονται στον πηγαίο κώδικα αυτής της σελίδας. Όπου δεν ήταν δυνατή η προέλευση ενός αριθμού σε σχέση με το ακριβές μέρος που ταιριάζει, αυτή η σελίδα δεν εμφανίζει τίποτα παρά μόνο μια εικασία.

Το H100 δεν εμφανίζει αριθμό πυρήνων και εύρος ζώνης παραπάνω, και αυτό είναι σκόπιμο. Το δικό μας μέρος καταγράφεται στο κατάστημα με αριθμό πυρήνων που ανήκει στη μονάδα SXM, η οποία είναι μια κάρτα που βιδώνεται σε ένα baseboard και όχι σε μια υποδοχή. Η μνήμη HBM2e των 80 GB που καταγράφει επίσης ανήκει στην κάρτα PCIe, η οποία είναι αυτή που στην πραγματικότητα μπαίνει σε αυτά τα μηχανήματα. Αντί να επιλέξει μία και να την εκτυπώσει με σιγουριά, η σελίδα εκτυπώνει τη μνήμη για την οποία συμφωνούν και οι δύο πηγές και παραλείπει τις υπόλοιπες. Ρωτήστε μας και θα σας πούμε ακριβώς ποια μητρική θα μπει στο δικό σας.

Οι τρεις τους δίπλα-δίπλα, και αυτό που βρίσκεται από πάνω

Από τα δικά μας ράφια. Όλα αυτά είναι διαθέσιμα για παραγγελία σήμερα, στο ίδιο πλαίσιο, οπότε το ερώτημα είναι ποιο αξίζει τη διαφορά.

Η τελευταία σειρά υπάρχει επειδή είναι η ειλικρινής σύγκριση και οι περισσότερες καταχωρίσεις την κρύβουν: η RTX PRO 6000 Blackwell χωράει 96 GB, περισσότερο από οποιονδήποτε επιταχυντή σε αυτήν τη σελίδα. Διαβάστε τη μνήμη και τα χρήματά της σε σύγκριση με τις H100 στον παραπάνω πίνακα αντί να βασίζεστε σε κανένα από τα δύο. Αυτό που χάνει είναι ο ρυθμός ανάγνωσης και το NVLink. αυτό που κερδίζει είναι τέσσερις κωδικοποιητές βίντεο και ray tracing. Αν η ερώτησή σας είναι αν ταιριάζει , διαβάστε το /rtx60 πριν δεσμευτείτε σε αυτό το ράφι.

Σε ποιο μηχάνημα μπαίνουν και σε ποια σύνδεση φτάνουν εκεί;

Η A100 είναι μια κάρτα PCIe Gen 4 και η H100 είναι Gen 5, ενώ οι πλατφόρμες μας είναι Gen 3 και Gen 4. Επομένως, η H100 δεν έχει ποτέ τον πλήρη δίαυλο για τον οποίο σχεδιάστηκε σε κανένα μηχάνημα που χρησιμοποιούμε, και αυτή η σελίδα το λέει αυτό αντί να σας αφήνει να το μάθετε.

Το αν αυτό θα σας κοστίσει κάτι εξαρτάται αποκλειστικά από το σχήμα της εργασίας. Ένα τελικό σημείο συμπερασμού του οποίου τα βάρη είναι μόνιμα αγγίζει μόλις την υποδοχή και δεν θα το προσέξει. Ένας βρόχος εκπαίδευσης που μεταδίδει μια νέα παρτίδα από τη μνήμη του κεντρικού υπολογιστή σε κάθε βήμα θα το προσέξει σε κάθε βήμα. Αν δεν είστε σίγουροι ποια εργασία κάνετε, πείτε μας ποια είναι η εργασία πριν την παραγγείλετε — αυτό αποφασίζει το μηχάνημα, όχι η κάρτα.

Τι χωράει πραγματικά σε 80 GB

Η A100 των 40 GB διατηρεί τον ίδιο πίνακα από την αρχή: ένα μοντέλο τριάντα έως τριάντα τέσσερα δισεκατομμύρια παραμέτρων με ακρίβεια οκτώ bit ταιριάζει, ενώ το ίδιο μοντέλο στα δεκαέξι bit δεν ταιριάζει. Ένα μοντέλο εβδομήντα δισεκατομμυρίων παραμέτρων στα δεκαέξι bit δεν ταιριάζει σε καμία από τις κάρτες που πουλάμε — αυτή είναι μια έκδοση δύο καρτών, και ο λόγος που η γραμμή NVLink παραπάνω έχει σημασία.

Τι κοστίζουν, με τα μηχανήματα που χρησιμοποιούνται

Η κάρτα είναι μία γραμμή στο τιμολόγιο και το μηχάνημα είναι άλλη. Και τα δύο μισά παρακάτω προέρχονται από μία ανάγνωση του καταλόγου παραγγελιών, επομένως η τιμή και οι προδιαγραφές δίπλα της ανήκουν πάντα το ένα στο άλλο.

Το εύρος ζώνης είναι απεριόριστο και στις δύο κατευθύνσεις χωρίς χρέωση εξόδου, η οποία σε αυτό το ράφι είναι συνήθως το μεγαλύτερο κρυφό κόστος αλλού — μια εκτέλεση εκπαίδευσης που εισάγει ένα σύνολο δεδομένων και στέλνει σημεία ελέγχου προς τα έξω μετακινεί πολλά byte και η χρέωση εξόδου ανά gigabyte χρεώνεται για κάθε ένα από αυτά. Περιλαμβάνεται μία διεύθυνση IPv4, δεν υπάρχει σύμβαση και ένας μήνας είναι η προεπιλεγμένη διάρκεια. Για κάθε άλλη κάρτα που τοποθετούμε, με την ίδια τιμή, διαβάστε ολόκληρο τον κατάλογο, με τιμή . Για μηχανήματα που είναι έτοιμα σήμερα, /instant .