Die Beschleuniger – und was sie nicht tun werden

Zwei Dinge, die die Leute überraschen

Sie können kein Video kodieren. Gar keins.

NVIDIAs eigene Matrix zur Unterstützung von Codierung und Decodierung verzeichnet weder auf der A100 noch auf der H100 NVENC-Engines. Die Decodierung funktioniert mit fünf Engines auf der A100 und sieben auf der H100, jedoch ist kein Encoder auf der Karte integriert. Daher muss jedes von diesen Karten erzeugte Frame vom Prozessor codiert werden. Falls Ihre Pipeline Videosignale ausgibt, ist diese Karte nicht die richtige Wahl. Die L40S mit ihren drei AV1-Encodern ist die passende Lösung. Weitere Informationen finden Sie auf der nächsten Seite unter /l40s .

Diese Karten besitzen auch keine Display-Ausgänge. Es handelt sich um Headless-Compute-Komponenten. Anwendungen, die einen Framebuffer benötigen – wie virtuelle Desktops, Remote-Workstations oder Spielserver – sind darauf nicht angebracht.

Das A100 ist nicht veraltet, und die 40-GB-Karte ist kein Fehler.

Die A100 ist die Vorgängergeneration und liest ihre Gewichte mit 1.555 GB/s (40 GB) bzw. 1.935 GB/s (80 GB) aus. Bei einem passenden Modell bestimmt diese Lesegeschwindigkeit die Anzahl der Token pro Sekunde, und sie liegt damit deutlich vor allen anderen nicht gestapelten Karten im Sortiment. Die 40-GB-Karte speichert problemlos ein Modell mit 30 Milliarden Parametern bei 8-Bit-Präzision – was den meisten Anwendern entspricht – und das zu einem Bruchteil der monatlichen Kosten der H100.

Kaufen Sie den H100, wenn das Modell Hopper – also die Transformer-Engine, FP8 oder die neueren Tensor-Einheiten – unbedingt benötigt oder wenn der Lauf schneller abgeschlossen sein muss. Kaufen Sie einen A100, wenn es um die Kompatibilität und die Lesegeschwindigkeit geht, was die häufigere Frage ist.

Die Spezifikationen, wie veröffentlicht

Die Daten stammen aus den Datenblättern von NVIDIA und den Spezifikationstabellen von Tesla (siehe Quellenangabe auf dieser Seite). Wo für das jeweilige Bauteil keine Daten verfügbar waren, wird anstelle eines Schätzwerts kein Wert angezeigt.

Die H100 zeigt weder Kernanzahl noch Bandbreite an – und das ist beabsichtigt. Unser Bauteil ist im Shop unter der Kernanzahl des SXM-Moduls geführt, einer Karte, die auf ein Mainboard geschraubt und nicht in einen Steckplatz gesteckt wird. Die ebenfalls aufgeführten 80 GB HBM2e-Speicher gehören zur PCIe-Karte, die tatsächlich in diesen Geräten verbaut wird. Anstatt eine der beiden Optionen auszuwählen und diese Angabe zu veröffentlichen, zeigt die Seite den Speicher an, auf den sich beide Quellen einigen, und lässt die übrigen weg. Fragen Sie uns, und wir teilen Ihnen genau mit, welche Karte in Ihrem System verbaut wird.

Die drei nebeneinander und was darüber liegt

Aus unserem eigenen Lager. Alle diese Modelle sind ab heute bestellbar, im gleichen Gehäuse. Die Frage ist also, welches den Aufpreis wert ist.

Die letzte Zeile dient dem ehrlichen Vergleich, den die meisten Angebote verschweigen: Die RTX PRO 6000 Blackwell verfügt über 96 GB RAM – mehr als jeder andere Beschleuniger auf dieser Seite. Vergleichen Sie Speicher und Preis mit denen der H100 in der obigen Tabelle, anstatt sich auf unsere Angaben zu verlassen. Sie bietet weniger Lesegeschwindigkeit und NVLink, dafür aber vier Video-Encoder und Raytracing. Wenn Sie sich fragen, ob sie in Ihr Gehäuse passt , lesen Sie bitte den Artikel unter /rtx60, bevor Sie sich für dieses Modell entscheiden.

In welche Maschine sie gehen und welche Verbindung sie dort herstellen.

Die A100 ist eine PCIe-Gen-4-Karte und die H100 eine Gen-5-Karte, während unsere Plattformen Gen 3 und Gen 4 unterstützen. Daher erhält die H100 auf keinem unserer Systeme die volle Buskapazität, für die sie ausgelegt ist. Diese Seite weist ausdrücklich darauf hin, anstatt Sie selbst recherchieren zu lassen.

Ob Ihnen dadurch Kosten entstehen, hängt ganz von der Art der Arbeit ab. Ein Inferenz-Endpunkt, dessen Gewichte im Arbeitsspeicher gespeichert sind, greift kaum auf den Speicher zu und wird dies nicht bemerken. Eine Trainingsschleife, die in jedem Schritt einen neuen Datenstapel aus dem Arbeitsspeicher des Hosts lädt, wird dies hingegen in jedem Schritt bemerken. Wenn Sie sich nicht sicher sind, welcher Fall auf Sie zutrifft, beschreiben Sie uns bitte vor Ihrer Bestellung die Art der Aufgabe – diese bestimmt die benötigte Maschine, nicht die Grafikkarte.

Was passt tatsächlich in 80 GB?

Die 40-GB-Karte A100 folgt der gleichen Tabelle eine Stufe darunter: Ein Modell mit 30 bis 34 Milliarden Parametern bei 8-Bit-Genauigkeit passt, dasselbe Modell bei 16 Bit nicht. Ein Modell mit 70 Milliarden Parametern bei 16 Bit passt auf keine unserer Einzelkarten – dafür sind zwei Karten erforderlich, und deshalb ist die oben genannte NVLink-Schnittstelle so wichtig.

Was sie kosten, zusammen mit den Maschinen, in die sie eingebaut werden

Die Karte bildet eine Zeile auf der Rechnung, die Maschine eine andere. Beide Hälften stammen aus einem einzigen Durchlauf des Bestellkatalogs, daher gehören Preis und zugehörige Spezifikation immer zusammen.

Die Bandbreite ist in beide Richtungen unbegrenzt, und es fallen keine Gebühren für ausgehende Daten an. Dies ist bei diesem Modell üblicherweise der größte versteckte Kostenfaktor – ein Trainingslauf, der einen Datensatz abruft und Checkpoints sendet, überträgt eine große Menge an Daten, und für jedes einzelne Gigabyte werden die Gebühren für ausgehende Daten berechnet. Eine IPv4-Adresse ist inklusive, es gibt keinen Vertrag, und die Standardlaufzeit beträgt einen Monat. Informationen zu allen anderen von uns verbauten Karten, die zum gleichen Preis angeboten werden, finden Sie in unserem vollständigen Katalog . Für sofort einsatzbereite Geräte: /instant .