GPU-Server · A100 und H100
A100 H100 Dedicated Server mit der vollen GPU, niemals nur ein Teil davon
Ein A100 H100 Dedicated Server, wie wir ihn vermieten, ist eine komplette Maschine mit einer NVIDIA-GPU, die direkt an Ihr eigenes Betriebssystem durchgereicht wird: die A100 mit 40 oder 80 GB oder die H100 mit 80 GB. Sie zahlen monatlich, niemand sonst läuft darauf, und der Port ist unlimitiert, sodass das Verschieben von Datensätzen und Checkpoints nichts extra kostet.
- H100 80 GB$1,682.67Hopper · HBM2e · PCIe Gen 5 · FP8
- A100 80 GB$972.47Ampere · HBM2e · 1.935 GB/s
- A100 40 GB$772.47Ampere · HBM2 · 1.555 GB/s
Kein Video-Encoder auf einer der drei. ECC-Speicher auf allen dreien.
Besitzen Sie eine A100 oder H100, die ungenutzt herumsteht?
Stellen Sie die Maschine auf dem Primcast-Marktplatz ein und vermieten Sie sie monatsweise an Leute, die die Rechenleistung brauchen.
00Marktplatz
Oder mieten Sie eine A100 oder H100 von jemandem, der eine besitzt
Das sind Maschinen, deren Besitzer sie auf unserem Marktplatz einstellen. Ein Angebot, das als von unserem Schwesterunternehmen Server Room gehalten markiert ist, wird auf serverroom.net statt hier vermietet.
01Wofür sie gedacht sind
Ein H100-KI-Server fürs Training, eine A100 für das Bereitstellen von Modellen
Diese GPUs haben eine Aufgabe: ein Modell im schnellen Speicher halten und die Berechnungen darauf ausführen. Wenn Sie trainieren oder feinabstimmen oder Anfragen von einem bereits trainierten Modell beantworten, sind Sie hier richtig.
01Speichergeschwindigkeit
Sie lesen das Modell schnell
Sobald ein Modell im GPU-Speicher liegt, hängt die Antwortgeschwindigkeit vor allem davon ab, wie schnell die GPU seine Gewichte lesen kann. Die A100 80 GB liest 1.935 GB/s, mehr als doppelt so viel wie die 864 GB/s der L40S.
02Training
Die H100 bringt FP8 mit
Hopper bringt die Transformer Engine und FP8 mit, weshalb man für das Training oder die Feinabstimmung großer Modelle die H100 wählt. Wenn Ihr Lauf nicht nur fertig werden, sondern schneller fertig werden muss, ist das der Grund, dafür zu zahlen.
03Lange Läufe
Gebaut für wochenlange Last
Durchgehend fehlerkorrigierender Speicher und Rechenzentrums-Hardware, die für Dauerbetrieb ausgelegt ist. Bei einem Trainingslauf, der Wochen dauert und echtes Geld kostet, ist ein umgekipptes Bit, das Sie nie bemerken, das Risiko, das Sie ausschalten.
04Ein Mieter
Die volle GPU gehört Ihnen
Kein MIG-Slice, kein vGPU-Profil, kein Time-Sharing und kein anderer Kunde auf der Maschine. Manche Cloud-A100-Angebote sind nur ein Bruchteil einer GPU – prüfen Sie das, bevor Sie Preise vergleichen.
02Bevor Sie bestellen
Zwei Dinge, die Sie über die NVIDIA H100 und A100 wissen sollten
Sie können kein Video kodieren
NVIDIAs eigene Encode- und Decode-Unterstützungsmatrix listet null NVENC-Encoder bei der A100 und bei der H100. Dekodieren können sie (fünf Engines bei der A100, sieben bei der H100), aber jedes Bild, das sie verlässt, muss vom Prozessor kodiert werden. Sie haben außerdem keine Display-Ausgänge, daher gehören Remote-Desktops, Workstations und Gameserver nicht hierher.
Wenn Sie Videoausgabe brauchen, ist die NVIDIA L40S mit drei AV1-Encodern die GPU, die Sie mieten sollten, und unsere Transcoding-Seite zeigt, wie viele Live-Kanäle eine davon trägt.
Die A100 ist immer noch ein guter Kauf
Sie ist die vorherige Generation, und für ein Modell, das hineinpasst, ist sie oft die bessere Wahl. Die 40 GB A100 fasst ein Modell mit 13 Milliarden Parametern bei 8-Bit mit Luft nach oben, und die 80 GB Version nimmt ein Modell mit 30 Milliarden Parametern bei 8-Bit.
Mieten Sie die H100, wenn Ihr Code FP8 und die neueren Tensor Cores nutzt oder wenn die Zeit bis zum Ergebnis das ist, wofür Sie zahlen. Mieten Sie eine A100, wenn die Frage lautet: „Passt es hinein, und wie schnell liest sie?“
03Technische Daten
Technische Daten der NVIDIA H100 und A100
Zahlen aus NVIDIAs Datenblättern und den veröffentlichten Spezifikationstabellen. Wo wir eine Zahl nicht dem exakten Board zuordnen konnten, das wir einbauen, lässt die Tabelle sie weg.
H100 80GB
Hopper
80 GB HBM2e
350 W
PCIe Gen 5 x16
None. Decode only (7 engines)
Yes
A100 80GB
Ampere
80 GB HBM2e
6,912
1,935 GB/s
300 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
A100 40GB
Ampere
40 GB HBM2
6,912
1,555 GB/s
250 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
Warum bei der H100 keine Kernanzahl oder Bandbreite angegeben ist: Unser Shop-Datensatz dafür vermischt zwei Boards, das SXM-Modul, das auf ein Baseboard geschraubt wird, und die PCIe-GPU, die in unsere Server kommt. Der 80 GB HBM2e-Speicher gehört zur PCIe-GPU, und genau die bekommen Sie. Fragen Sie im Chat, und wir sagen Ihnen genau, welches Board in Ihre Maschine kommt.
04Auswahl
A100 vs. H100: welche Sie mieten sollten
Jede GPU ist eine monatliche Position zusätzlich zum Server, in dem sie steckt. Die eigentliche Frage ist also, ob sich der Aufpreis für Ihre Aufgabe lohnt. Die Tabelle stellt Speicher und monatliche Kosten nebeneinander.
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
Die RTX PRO 6000 Blackwell steht absichtlich in der Tabelle: Sie hat 96 GB, mehr als jede GPU auf dieser Seite. Sie verzichten auf NVLink und etwas Speichergeschwindigkeit und gewinnen vier Video-Encoder. Wenn Ihre einzige Frage ist, ob das Modell hineinpasst, lesen Sie die RTX-PRO-6000-Seite, bevor Sie sich entscheiden.
Bei der Wahl zwischen den beiden A100s geht es zuerst um Kapazität. Wenn Ihr Modell und sein Kontext mit einem Fünftel Reserve in 40 GB passen, nehmen Sie die kleinere. Wenn Sie nahe am Limit sind, gibt Ihnen die 80 GB A100 den Raum und liest außerdem schneller.
05Die Maschine
Welcher A100-Server oder welche H100-Maschine und welche PCIe-Anbindung sie bekommt
Die A100 ist eine PCIe-Gen-4-GPU und die H100 eine Gen-5-GPU, während unsere Serverplattformen Gen 3 und Gen 4 sind. Die H100 bekommt hier also nie den vollen Bus, für den sie entwickelt wurde, und das möchten wir Ihnen lieber jetzt sagen.
Intel Xeon Silver / Gold
AMD EPYC
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
Ob das eine Rolle spielt, hängt von Ihrer Aufgabe ab. Ein Inferenzserver mit bereits geladenen Gewichten beansprucht den Slot kaum. Eine Trainingsschleife, die bei jedem Schritt einen neuen Batch aus dem Host-Speicher zieht, spürt es bei jedem Schritt. Nicht sicher, welcher Fall auf Sie zutrifft? Sagen Sie uns, was Sie ausführen werden, und wir verweisen Sie auf die passende Maschine.
06Dimensionierung
Was in 80 GB GPU-Speicher passt
Nur Gewichte, für die 80 GB A100 und die H100. Lassen Sie obenauf Platz für den Kontext und die Laufzeitumgebung.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — fits |
Auf der 40 GB A100 passt ein Modell mit 30 bis 34 Milliarden Parametern nur bei 4-Bit mit knappem Spielraum. Ein Modell mit 70 Milliarden Parametern bei 16-Bit passt auf keine einzelne GPU, die wir verkaufen; dafür braucht es mehr als eine GPU, und genau da kommt NVLink ins Spiel. Um es andersherum zu berechnen, von Ihrem Modell zur GPU, nutzen Sie die LLM-Speicher-Dimensionierungsseite.
07Preise
A100-GPU-Hosting und H100-Preise, mit der Maschine
Die GPU ist eine Position auf Ihrer Rechnung und der Server eine weitere. Beide stammen aus demselben Bestellkatalog, den auch der Checkout verwendet, daher gehört jeder Preis unten genau zu der Maschine daneben.
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| A100 40GB | Intel Xeon E5-2600 v3/v4 | $699 | $772.47 Configure this build → |
| A100 40GB | Intel Xeon Silver / Gold | $699 | $782.67 Configure this build → |
| A100 40GB | AMD EPYC | $699 | $916.59 Configure this build → |
| A100 80GB | Intel Xeon E5-2600 v3/v4 | $899 | $972.47 Configure this build → |
| A100 80GB | Intel Xeon Silver / Gold | $899 | $982.67 Configure this build → |
| A100 80GB | AMD EPYC | $899 | $1,116.59 Configure this build → |
| H100 80GB | Intel Xeon Silver / Gold | $1,599 | $1,682.67 Configure this build → |
| H100 80GB | AMD EPYC | $1,599 | $1,816.59 Configure this build → |
Der Port ist in beide Richtungen unlimitiert ohne Egress-Gebühr, und bei dieser Art von Arbeit ist das anderswo oft der größte Posten. Eine IPv4-Adresse gehört zum Server, es gibt keinen Vertrag, und Sie zahlen jeweils einen Monat. Für jede andere GPU, die wir einbauen, mit Preisen auf dieselbe Weise, siehe alle GPU-Server mit Preisen.
08Lieferung und Hilfe
Wie schnell Sie sie bekommen und wer antwortet
Diese GPUs sind die Komponenten, die am ehesten für Sie beschafft werden müssen. Sie erfahren vor der Bezahlung, welcher dieser vier Fälle zutrifft.
- Etwa 30 Minuten
Bereits eingebaut
Eine Maschine mit eingebauter GPU steht im Rack. Sie gehört Ihnen etwa 30 Minuten nach der Bestellfreigabe.
- 4 bis 24 Stunden
Wir haben die GPU vorrätig
Wir bauen eine GPU, die wir im Regal haben, in den von Ihnen gewählten Server ein.
- 5 bis 10 Werktage
Wir beschaffen sie
Die GPU wird für Sie bei einem Distributor bestellt und dann in Ihren Server eingebaut.
- 10 bis 15 Werktage
Kontingentiert
Aktuelle Beschleuniger werden vom Distributor manchmal rationiert, und das ist die längste Wartezeit, die wir angeben.
Fragen vor oder nach der Bestellung richten Sie an unseren Chat. Ein KI-Assistent antwortet in Sekunden und kann Ihr Konto und Ihren Server nachschlagen, und ein Mensch aus unserem Team übernimmt, wann immer Sie es wünschen. Maschinen, die jetzt sofort eingebaut und bereit sind, finden Sie unter Sofort-Server.
09Fragen
Fragen zum Mieten eines A100 oder H100
01Kann ich KI-Modelle auf einem einzelnen H100-Server trainieren?
Ja. Ein H100 mit 80 GB trainiert und feinjustiert Modelle, deren Gewichte, Gradienten und Optimierer-Zustand in diesen Speicher passen, und FP8 über die Transformer Engine erweitert die Reichweite zusätzlich. Das vollständige Training eines großen Modells erfordert in der Regel mehr als eine GPU. Mehrere GPUs in einer Maschine oder mehrere Maschinen zusammen sind ein Build, den wir anbieten: siehe Multi-GPU- und Multi-Node-Server.
02Ist das dasselbe wie ein NVIDIA DGX H100?
Nein. Ein DGX H100 ist das eigene System von NVIDIA mit acht H100-SXM-Modulen auf einem Baseboard. Was wir vermieten, ist eine H100-PCIe-GPU in einem Standardserver, die sich für Single-GPU-Training, Feinjustierung und Inferenz eignet. Wenn Sie mehrere GPUs miteinander verbinden möchten, sehen Sie sich Multi-GPU-Server an.
03Kann ich Videos auf einer A100 oder einer H100 transkodieren?
Nicht in Hardware. Keine der beiden GPUs hat einen Video-Encoder, daher übernimmt der Prozessor die Kodierung und läuft mit Prozessorgeschwindigkeit. Dekodieren können sie, sodass ein Auftrag, der Video einliest und etwas anderes ausgibt, problemlos funktioniert. Für Videoausgabe mieten Sie die L40S, die über drei AV1-Encoder verfügt.
04Wird die GPU in MIG-Instanzen aufgeteilt oder gemeinsam genutzt?
Nein. Sie erhalten die volle GPU durchgereicht an Ihr eigenes Betriebssystem, auf einer Maschine, die niemand anderes nutzt. Beide GPUs unterstützen MIG, sodass Sie Ihre bei Bedarf selbst partitionieren können, wenn das zu Ihrer Arbeit passt. Das ist Ihre Entscheidung, getroffen auf Ihrer eigenen Maschine.
05Sollte ich die A100 mit 40 GB oder 80 GB mieten?
Beginnen Sie mit der Kapazität. Wenn das Modell und sein Kontext in 40 GB passen und etwa ein Fünftel frei bleibt, ist die kleinere GPU die bessere Wahl. Die 80 GB A100 liest außerdem schneller, 1.935 GB/s gegenüber 1.555 GB/s. Nehmen Sie sie also, wenn Sie beim Speicher oder bei der Geschwindigkeit nahe am Limit sind.
06Welchen NVIDIA-Treiber und welche CUDA-Version erhalte ich?
Die, die Sie installieren. Der Server kommt mit einem sauberen Betriebssystem und Root-Zugriff, und Sie legen die Treiber-, CUDA- und Framework-Versionen fest, mit denen Ihr Code getestet wurde. Nichts wird hinter Ihrem Rücken aktualisiert. Wenn der Treiber vor der Übergabe installiert werden soll, geben Sie das bei der Bestellung an und nennen Sie die Version.
07Kann ich zwei A100 oder H100 in einen Server einbauen?
Ja, als individuell kalkuliertes Angebot und nicht als Checkout-Option. Beide GPUs unterstützen NVLink, sodass zwei davon Arbeit über eine schnelle Brücke teilen können. Welches Gehäuse, wie viele GPUs und die Lieferzeit hängen von der GPU ab. Sagen Sie uns also, was Sie ausführen möchten, und wir melden uns mit dem Build zurück.
08Wie schnell kann ich einen A100- oder H100-Server bekommen?
Das hängt davon ab, wo die GPU ist. Etwa 30 Minuten nach Freigabe, wenn eine gerackte Maschine sie bereits enthält, 4 bis 24 Stunden, wenn wir die GPU vorrätig haben, 5 bis 10 Werktage, wenn wir sie beschaffen, und 10 bis 15 Werktage für eine GPU auf Zuteilung. Sie erfahren vor der Zahlung, welcher Fall zutrifft. Gerackte Maschinen finden Sie unter Sofort-Server.
Wählen Sie die GPU und dann die Maschine darum herum
Jeder A100- und H100-Build ist oben mit seinem Server bepreist. Wählen Sie einen aus, konfigurieren Sie ihn, und die Bestellung zeigt die monatliche Gesamtsumme, bevor Sie zahlen.