Die Beschleuniger — und was sie nicht tun werden

Zwei Dinge, die Menschen überraschen

Sie können kein Video encodieren. Überhaupt nicht.

NVIDIAs eigene Encode- und Decode-Unterstützungsmatrix verzeichnet null NVENC-Engines auf der A100 und null auf der H100. Sie decodieren — fünf Engines auf der A100, sieben auf der H100 — aber es gibt keinen Encoder auf der Platine, daher muss jedes Bild, das diese Karten erzeugen, stattdessen vom Prozessor encodiert werden. Wenn aus Ihrer Pipeline Video herauskommt, ist dies das falsche Regal, und die L40S mit ihren drei AV1-Encodern ist das richtige. Das ist eine Seite weiter unter /l40s.

Diese Karten haben auch keine Bildschirmausgänge. Sie sind headless Compute-Teile. Nichts, das einen Framebuffer erwartet — ein virtueller Desktop, eine Remote-Workstation, ein Spieleserver — gehört auf sie.

Die A100 ist nicht veraltet, und die 40-GB-Karte ist kein Fehler

Die A100 ist die vorherige Generation, und sie liest ihre Gewichte mit 1.555 GB/s bei 40 GB und 1.935 GB/s bei 80 GB. Für ein Modell, das hineinpasst, entscheidet diese Leserate, wie viele Tokens pro Sekunde Sie erhalten, und sie bleibt weit vor jeder nicht gestapelten Karte im Katalog. Die 40-GB-Karte hält ein Dreißig-Milliarden-Parameter-Modell bequem in Acht-Bit-Präzision, was das meiste ist, was die Leute tatsächlich bereitstellen, zu einem Bruchteil dessen, was die H100 monatlich kostet.

Kaufen Sie die H100, wenn das Modell wirklich Hopper braucht — die Transformer-Engine, FP8, die neueren Tensor-Einheiten — oder wenn der Lauf eher fertig sein muss als nur fertig. Kaufen Sie eine A100, wenn die Frage ist, ob es hineinpasst und wie schnell es liest, was die häufigere Frage ist.

Die Spezifikationen, wie veröffentlicht

Zahlen aus NVIDIAs eigenen Datenblättern und den Tesla-Spezifikationstabellen, zitiert im Quelltext dieser Seite. Wo eine Zahl nicht gegen das exakte Teil, das wir einbauen, belegt werden konnte, druckt diese Seite nichts statt einer Vermutung.

Die H100 zeigt oben keine Kernanzahl und keine Bandbreite, und das ist Absicht. Unser Teil ist im Shop unter einer Kernanzahl erfasst, die zum SXM-Modul gehört, das eine Karte ist, die an eine Basisplatine geschraubt wird statt in einen Steckplatz; der 80 GB HBM2e-Speicher, den es ebenfalls erfasst, gehört zur PCIe-Karte, die tatsächlich in diese Maschinen eingebaut wird. Statt eine Zahl zu wählen und sie selbstbewusst zu drucken, druckt die Seite den Speicher, auf den sich beide Quellen einigen, und lässt den Rest weg. Fragen Sie uns, und wir sagen Ihnen genau, welche Platine in Ihre kommt.

Die drei nebeneinander, und was darüber sitzt

Aus unseren eigenen Regalen. Alle diese sind heute bestellbar, im selben Gehäuse, daher ist die Frage, welche den Unterschied wert ist.

Die letzte Zeile steht dort, weil es der ehrliche Vergleich ist und die meisten Angebote ihn verbergen: Die RTX PRO 6000 Blackwell hat 96 GB, mehr als jeder Beschleuniger auf dieser Seite. Lesen Sie ihren Speicher und ihr Geld gegen die der H100 in der Tabelle oben, statt uns bei beidem zu glauben. Was sie aufgibt, ist Leserate und NVLink; was sie gewinnt, sind vier Video-Encoder und Raytracing. Wenn Ihre Frage passt es hinein ist, lesen Sie /rtx60, bevor Sie sich auf dieses Regal festlegen.

In welche Maschine sie kommen und welchen Link sie dort bekommen

Die A100 ist eine PCIe-Gen-4-Karte und die H100 ist Gen 5, während unsere Plattformen Gen 3 und Gen 4 sind. Die H100 bekommt daher auf keiner Maschine, die wir betreiben, jemals den vollen Bus, für den sie entwickelt wurde, und diese Seite sagt das, statt Sie es selbst herausfinden zu lassen.

Ob Sie das etwas kostet, hängt ganz von der Form der Arbeit ab. Ein Inferenz-Endpunkt, dessen Gewichte resident sind, berührt den Steckplatz kaum und wird es nicht bemerken. Eine Trainingsschleife, die bei jedem Schritt einen frischen Batch aus dem Host-Speicher streamt, wird es bei jedem Schritt bemerken. Wenn Sie nicht sicher sind, welcher von beiden Sie sind, sagen Sie uns vor der Bestellung, was der Job ist — das entscheidet die Maschine, nicht die Karte.

Was tatsächlich in 80 GB passt

Die 40-GB-A100 hält dieselbe Tabelle eine Stufe tiefer: Ein Dreißig-bis-Vierunddreißig-Milliarden-Parameter-Modell passt nur bei Vier-Bit mit Raum, und bei Acht-Bit passen seine 34 GB Gewichte nicht einmal über die knappe Grenze. Ein Siebzig-Milliarden-Modell bei Sechzehn-Bit passt auf keine einzelne Karte, die wir verkaufen — das ist ein Zwei-Karten-Build und der Grund, warum die NVLink-Zeile oben zählt.

Diese Tabelle beantwortet „was passt in diese Karte". Die Frage in die andere Richtung — wie viel Speicher ein Modell braucht und welche Karte ihn freigibt — ist eine eigene Seite.

Was sie kosten, mit den Maschinen, in die sie kommen

Die Karte ist eine Zeile auf der Rechnung und die Maschine eine andere. Beide Hälften unten stammen aus einer Ablesung des Bestellkatalogs, daher gehören der Preis und die Spezifikation daneben immer zueinander.

Bandbreite ist in beide Richtungen ungedrosselt ohne Egress-Gebühr, was in diesem Regal normalerweise der größte versteckte Kostenfaktor anderswo ist — ein Trainingslauf, der einen Datensatz hereinzieht und Checkpoints herausschiebt, bewegt sehr viele Bytes, und Egress pro Gigabyte wird auf jedes einzelne davon berechnet. Eine IPv4-Adresse ist enthalten, es gibt keinen Vertrag und ein Monat ist die Standardlaufzeit. Für jede andere Karte, die wir einbauen, auf dieselbe Weise bepreist, lesen Sie den gesamten Katalog, bepreist. Für Maschinen, die heute gerackt und bereit sind, /instant.