Sag ihm, was die Arbeit ist. Es sagt dir die Karte.

Was hinter dieser Liste steckt

• 57Cards we fit
• $20.79Cheapest card, per month
• $91.72Cheapest whole machine with one in it
• 5Cities
• 0Bytes counted

Gezählt aus dem Bestellkatalog, als diese Seite ausgeliefert wurde, nicht eingetippt. Wird eine Karte morgen zurückgezogen, ist dieser Streifen morgen kleiner. Was heute Morgen in einem Rack steht, ist eine andere Frage, und Sofort-Server ist der Ort, an dem sie beantwortet wird.

Die erste Frage, die jeder stellt

Gehört die Karte mir, oder teile ich sie?

Warum die Zahlen oben so aussehen

Die Karte ist eine Zeile auf der Rechnung, keine Produktstufe.

Überall sonst ist eine GPU eine Stufe: Sie mieten „eine H100-Instanz“, und jemand anderes hat bereits entschieden, was der Prozessor, der Speicher, die Festplatten und das Netzwerk darum herum kosten sollen. Hier sind die beiden getrennte Zeilen, die addiert werden — deshalb kommt eine Karte an beiden Enden der obigen Liste in dasselbe Gehäuse, und Sie zahlen den Unterschied zwischen den Karten und sonst nichts. Die Maschinenhälfte hat eigene Seiten, nach Hersteller: AMD dedizierte Server für die EPYC-Reihe, die diese Karten aufnimmt, und Intel dedizierte Server für Xeon.

Der Konfigurator rundet einen Preis pro Festplatte und landet ein oder zwei Cent neben diesen Zahlen. Längere Abrechnungszyklen erhalten einen weiteren Rabatt; Preise hat alles an einem Ort, und Ältere Hardware, niedrigerer Preis ist das Argument dafür, warum das untere Ende dieser Liste überhaupt existiert.

Vom Marktplatz

Die GPU von jemand anderem, direkt gemietet.

Besitzer stellen ihre eigenen GPU-Maschinen auf unseren Marktplatz und bepreisen sie pro Monat. Wo bei einer Karte unsere Schwesterfirma Server Room die Anzeige hält, mieten Sie sie auf serverroom.net.

Alle Anzeigen auf dem Marktplatz →

Wie viel Karten-Speicher

Die einzige Spezifikation, die entscheidet, ob es funktioniert.

Was unter der Karte steckt

Vier Gehäuse nehmen eine auf, und sie sind nicht austauschbar.

Jedes deckt einen anderen Teil des Katalogs ab und gibt einer Karte eine andere Anbindung an den Prozessor. Die letzte Spalte steht hier, weil sie Leute Geld kostet und niemand sie abdruckt: Ein Kunde wechselte von einer Consumer-Karten-Generation zur nächsten auf einem Bus der dritten Generation und wurde dadurch langsamer – und fand den Grund vor uns heraus. Also steht es auf der Seite.

Was dazugehört

Alles, was die Karte nutzbar macht, und nichts, was Sie kaufen müssen.

• Root, und der Treiber-Stack gehört Ihnen

  Wir installieren ein sauberes Betriebssystem und geben Ihnen die Schlüssel. Sie wählen die Treiberversion, die CUDA- oder ROCm-Version und den Framework-Build und pinnen sie fest — das ist der Sinn von Bare Metal und das Gegenteil einer verwalteten Laufzeitumgebung, die eine Woche vor einer Deadline unter Ihnen aktualisiert wird. Wenn Sie möchten, dass wir den Treiber vor der Übergabe installieren, sagen Sie es bei der Bestellung, und wir tun es.

• Die eigene Konsole der Maschine, in einem separaten Netz

  HPE iLO oder Dell iDRAC: Tastatur-und-Bildschirm-Konsole, virtuelle Medien, Stromsteuerung, Hardware-Zustand und das Hardware-Protokoll. Ein Grafiktreiber, der das Display oder das Netz mitnimmt, ist eine Unannehmlichkeit statt eines Support-Tickets, denn Sie können der Maschine weiterhin beim Booten zusehen.

• Ein unlimitierter Port, in beide Richtungen

  Es gibt kein Transfer-Kontingent, das überschritten werden kann, und keine Egress-Zeile auf irgendeiner Rechnung. Datensätze rein, Checkpoints raus, Renders raus, ein Modell, das echten Nutzern bereitgestellt wird — all das bewegt sich zum Preis des Ports und kein Byte mehr. Unlimitierte Bandbreite ist die Stufe über der enthaltenen Geschwindigkeit, und sie ist der größte Unterschied zwischen dieser Rechnung und der eines Hyperscalers.

• Installieren Sie es so oft neu, wie Sie möchten

  Betriebssystem-Images mit einem Klick, neu installierbar ohne Ticket und ohne Gebühr, sodass ein Treiber-Experiment, das schlecht endet, Sie zwanzig Minuten kostet. Reverse-DNS können Sie selbst bearbeiten, IPv6 ist enthalten, und mehr IPv4 ist eine Katalogposition statt einer Verhandlung.

• Menschen, zu jeder Stunde

  Telefon, Live-Chat und Tickets, in jedem Tarif enthalten, und eine ausgefallene Komponente wird innerhalb von vier Stunden nach Meldung per Telefon oder Chat ersetzt. Support nennt die Reaktionszeiten und den Gutschrift-Plan schriftlich.

• Fünf Räume, um sie unterzubringen

  New York, Miami, San Francisco, Amsterdam und Bukarest — und wo die Maschine steht, entscheidet über Ihre Latenz zu dem, der sie aufruft, und darüber, welcher Datenschutzregelung sie unterliegt. Rechenzentren beschreibt die Gebäude.

Wie bald es existiert

Zwischen einer halben Stunde und drei Wochen, und welche davon zutrifft, hängt davon ab, wo die Karte steht.

Nicht eine Zahl, denn es war nie eine Zahl. Eine Karte, die bereits in einer bereits gerackten Maschine steckt, ist eine Übergabe. Eine Karte, die erst gekauft werden muss, ist eine Bestellung. Ihnen zu sagen, welche von beiden Sie anfragen — bevor Sie zahlen statt danach — ist die einzige Version dieser Angabe, die etwas wert ist.

1. ~30 Minuten

   Die Karte steckt bereits in einer Maschine im Regal

   Nichts wird eingebaut und nichts wird bewegt. Die Maschine wird mit einem Image versehen und übergeben. Sofort-Server ist die Liste dessen, was gerade dort steht.

2. 4–24 Stunden

   Eine Karte, die wir vorrätig haben, wird eingebaut, oder eine gerackte Maschine wird umgebaut

   Der Normalfall für alles auf dieser Seite. Das Teil liegt in unserem eigenen Lager; ein Techniker baut es ein, richtet das Array ein und installiert das Betriebssystem. Eine Maschine im Regal, die nah dran, aber nicht exakt ist — Speicher ergänzt, eine Festplatte getauscht, das Array um Ihre Wahl herum neu aufgebaut — ist dieselbe Arbeit, erledigt an Ort und Stelle, ohne dass die Maschine das Rack verlässt.

3. 5–10 Arbeitstage

   Die Karte muss eingekauft werden

   Etwas auf der Liste ist kein Bestand, den wir führen. Wir bestellen es und bauen dann. Build-to-Order ist die Seite für eine ganze Spezifikation dieser Art.

4. 10–15 Arbeitstage

   Die Karte ist knapp

   Beschleuniger der aktuellen Generation laufen über Zuteilung, und das Datum ist das des Distributors, nicht unseres. Wir nennen den kritischen Pfad, bevor Sie sich festlegen, nicht danach. Wo Hardware für einen einzelnen Kunden eingekauft wird, bitten wir um drei Monate im Voraus, denn es ist eine Maschine, die wir nicht neu vermieten können, wenn das Konto in Woche zwei schließt.

Jede Stufe beginnt, wenn die Bestellung Zahlung und Betrugsprüfung passiert hat – das ist der eine Schritt, für den wir kein Versprechen abgeben: Die meisten sind innerhalb weniger Stunden durch, eine erste Bestellung von einem neuen Konto kann länger dauern. Karte, PayPal, ACH und Überweisung werden alle akzeptiert, ebenso Kryptowährung — die bei größeren Bestellungen meist am schnellsten von allen freigegeben wird.

Schon gefragt

Die dreizehn Fragen, die diese Seite beantworten soll.

Entnommen aus dem, was uns die Leute tatsächlich im Chat und in Tickets fragen, ungefähr in der Reihenfolge, in der sie es fragen. Die erste hat uns Aufträge gekostet, deshalb steht sie auch hier an erster Stelle.

Ist die GPU dediziert oder wird sie geteilt?

Dediziert. Eine physische Maschine, ein Konto, und die Karte wird direkt an Ihr Betriebssystem durchgereicht. Kein Hypervisor, keine MIG-Partition, kein vGPU-Profil, kein Time-Slicing-Scheduler und niemand anderes mit seiner Last auf der Karte. Was Sie am ersten Nachmittag messen, das behalten Sie.

Kann ich mehr als eine Karte in einer Maschine haben?

Ja, und das ist ein Build, den wir anbieten, statt ein Kästchen, das Sie ankreuzen. Wie viele passen, hängt vom Gehäuse, der physischen Breite der Karte und dem Leistungsbudget ab, daher verlangt die ehrliche Antwort die konkrete Karte. Fragen Sie, und die Antwort nennt Gehäuse, Anzahl und Lieferzeit. Mehrere Kunden betreiben zwei, und der häufigste Grund ist Speicher statt Geschwindigkeit — zwei Karten mit 48 GB fassen ein Modell, das eine mit 80 GB nicht fasst. Mehr als eine Karte oder Maschine ist die Seite für die ganze Frage, einschließlich dessen, was sich ändert, wenn aus der zweiten Karte eine zweite Maschine wird.

Welche Treiber- und CUDA-Version bekomme ich?

Welche auch immer Sie installieren. Das ist der Sinn von Bare Metal: Die Maschine kommt mit einem sauberen Betriebssystem und Root, und Sie legen den Treiber, die CUDA- oder ROCm-Version und den Framework-Build genau auf das fest, wogegen Ihr Code getestet wurde — und nichts aktualisiert sich unter Ihnen. Wenn Sie möchten, dass der Treiber vor der Übergabe installiert wird, sagen Sie es bei der Bestellung und nennen Sie die Version. Wenn Sie eine bestimmte CUDA-Version brauchen, die von einer bestimmten Karte unterstützt wird, fragen Sie vor der Zahlung, und wir prüfen es, statt zu raten.

Was, wenn die Karte, die ich will, heute nicht im Regal liegt?

Dann wird sie eingebaut oder bestellt, und man sagt Ihnen vor der Zahlung, was von beidem. Eine Karte, die wir vorrätig haben, ist in vier bis vierundzwanzig Stunden eingebaut. Eine Karte, die wir kaufen müssen, braucht fünf bis zehn Werktage, und ein Beschleuniger der aktuellen Generation auf Zuteilung kann zehn bis fünfzehn brauchen. Diese Seite zeigt bewusst keinen Lagerbestand, denn eine Karte ist ein Teil, das wir einbauen, und kein Produkt, das kommt und geht — aber wenn Sie eine Maschine heute wollen, ist Sofortserver die Liste dessen, was gerade wirklich in einem Rack steht.

Kann ich die Karte später hinzufügen oder wechseln?

Ja, auf der Maschine, die Sie schon haben — keine Migration, keine Neuinstallation, keine neue Adresse. Es ist ein geplanter Besuch am Rack und eine kurze Ausfallzeit, während die Maschine heruntergefahren ist, und der monatliche Betrag ändert sich um die Differenz zwischen den beiden Karten. Speicher, Festplatten und Portgeschwindigkeit werden auf dieselbe Weise aufgerüstet.

Was passiert, wenn eine Karte ausfällt?

Sie wird ersetzt, und der Vertrag setzt eine Frist: vier Stunden ab dem Moment, in dem Sie es telefonisch oder per Live-Chat melden. Danach steht Ihnen eine Gutschrift nach einem veröffentlichten Plan zu, statt auf Anfrage. Der Support hat den Plan und die Telefonnummer schriftlich.

Kann ich meine eigene Karte mitbringen?

Ja. Eine Karte, die Sie bereits besitzen, oder jedes andere Teil, kann in den Server, den Sie bei uns mieten. Es ist nicht kostenlos: Die Karte zieht Strom, also gibt es eine Gebühr, und sie hängt von der Hardware ab, statt ein Festpreis zu sein. Wenn ein von Ihnen mitgebrachtes Teil ausfällt, sind wir dafür nicht verantwortlich: Der Vier-Stunden-Ersatz oben deckt nur Hardware ab, die wir liefern. Lassen Sie uns sprechen, bevor Sie sie kaufen oder versenden. Buchen Sie einen Anruf, und wir bepreisen Ihre Karte und prüfen, ob die Maschine sie aufnimmt, denn nicht jede tut das; eine Blade hat zum Beispiel keinen Platz für eine GPU in voller Größe.

Wird die Bandbreite gemessen? Was kostet Egress?

Nichts wird gemessen, und Egress kostet nichts, bei jeder Portgeschwindigkeit, die wir verkaufen. Es gibt kein Transferkontingent, das überschritten werden kann, und keine Überschreitungszeile auf irgendeiner Rechnung. Für GPU-Arbeit ist das anderswo meist der größte versteckte Kostenpunkt: Ein Trainingslauf, der einen Datensatz hereinzieht und Checkpoints herausschiebt, oder ein Inferenz-Endpunkt, der echten Verkehr beantwortet, bewegt viele Bytes, und Egress pro Gigabyte wird bei einem Hyperscaler für jedes einzelne davon berechnet. Unlimitierte Bandbreite ist die Leiter über der enthaltenen Portgeschwindigkeit.

Wie schneidet das im Vergleich zum stundenweisen Mieten einer GPU ab?

Das entscheidet die Arithmetik. Eine Stundenkarte ist billiger, wenn die Arbeit stoßweise ist und wirklich aufhört — ein paar hundert Stunden im Monat oder weniger. Ab etwa zwei Dritteln des Monats ist es nicht mehr knapp, und das noch vor Egress, vor Speicher, der zwischen den Läufen bestehen bleiben muss, und vor der Zeit, die Ihr Job in der Warteschlange auf Kapazität verbringt. Monatlich bedeutet hier auch dieselbe Maschine, dieselben Festplatten und dieselbe Adresse im nächsten Monat, was mehr zählt, als man erwartet, sobald etwas in Produktion ist.

Kann ich minen oder Blockchain- und dezentrale Compute-Knoten betreiben?

Ja. Beides sind hier normale Workloads und waren es immer, und mehrere der Karten auf dieser Seite wurden genau dafür gekauft. Bei den heutigen Coin-Preisen deckt Mining selten die Miete eines GPU-Servers, also rechnen Sie die Zahlen durch, bevor Sie bestellen.

Wie zahle ich, und gibt es einen Vertrag?

Karte, PayPal, ACH, Banküberweisung oder Kryptowährung. Kein Vertrag: Ein Monat ist die Standard- und einzige Laufzeit, Drei-, Sechs- und Zwölfmonatszyklen erhalten einen Rabatt, und der Preis steigt bei Verlängerung nicht an. Krypto-Zahlungen nennt die akzeptierten Coins; bei einer größeren Erstbestellung wird eine Überweisung oder ein Stablecoin meist schneller freigegeben als eine Karte, was gut zu wissen ist, bevor eine Betrugsprüfung einen Build verzögert.

Kann ich eine Rückerstattung bekommen, wenn es nicht das ist, was ich brauchte?

Innerhalb von drei Kalendertagen nach der ersten Aktivierung, sobald die Fehlerbehebung ausgeschöpft ist — die Rückerstattungsrichtlinie ist der genaue Wortlaut. Genau deshalb existieren die Abschnitte zu Dimensionierung und Bus-Generation oben: Es ist für uns beide billiger, wenn Sie beim ersten Mal die richtige Karte kaufen, und wir reden Sie lieber in eine kleinere hinein, als Ihnen eine Retoure zu verkaufen.

Haben Sie die neueste Karte?

Manchmal, und das ist die falsche Frage. Das neueste Teil ist ein knappes Teil auf Zuteilung, auf einer Plattform, die ihm nicht die Bus-Generation gibt, für die es entworfen wurde, zu einem Preis, der annimmt, dass Sie jedes Bit davon brauchen. Die meiste GPU-Arbeit hier ist nicht das Trainieren eines Frontier-Modells — es ist das Bereitstellen eines Modells, das bereits passt, Videokodierung, das Rendern von Frames oder das Betreiben von Desktops, und für all das ist die richtige Karte meist zwei Generationen zurück und ein Viertel des Geldes. Sagen Sie uns die Aufgabe. Wenn die Antwort wirklich das neueste Teil ist, sagen wir es, und wir sagen auch, was es kostet und wann es existieren kann.

Wohin als Nächstes

Die Seiten links und rechts von dieser.

Diese Seite beantwortet eine Frage: welche Karten wir einbauen und was sie kosten. Alles, was an diese Frage angrenzt, hat eine eigene Seite, und das sind alle, in der Reihenfolge, in der Besucher dieser Seite tatsächlich klicken.

• Eine exakt konfigurieren/orderWählen Sie Karte, Prozessor, Speicher, Festplatten und Stadt und beobachten Sie, wie sich die Zahl bewegt.
• Mehr als eine Karte oder Maschine/hpcWas eine zweite Karte im Gehäuse ändert, was zwei Maschinen verbindet und was ein Interconnect pro Knoten kostet.
• Ein Sprachmodell betreiben/llmWie viel Kartenspeicher ein Modell einer bestimmten Größe wirklich braucht und welche Laufzeitumgebung man darauf installiert.
• Freigeschaltete CMP-Dedicated-Server/cmpDie CMP 170HX mit dem Treiber, der alle 64 GB einschaltet, für Sie installiert. Was sie jetzt ausführt, da sie nicht mehr nur eine Mining-Karte ist.
• Einen NVIDIA DGX Spark mieten/sparkEine ganze GB10-Maschine mit gemeinsamem Speicher statt einer Einsteckkarte. Ihr Preis steht nicht in diesem Katalog.
• Rechenzentren/datacentersDie fünf Gebäude und welchem Ihre Nutzer am nächsten sind.
• Preise/pricingWas alles kostet, an einem Ort, Karten inbegriffen.
• Unlimitierte Bandbreite/unmeteredWas ein ungeteilter Port bei jeder Geschwindigkeit über der enthaltenen kostet.
• Sofortserver/instantWas in dieser Minute im Rack steht und in etwa einer halben Stunde laufen kann.
• Auf Bestellung bauen/customEine ganze Maschine nach Ihrer Spezifikation, bepreist und datiert, bevor Sie sich festlegen.
• Ältere Hardware, niedrigerer Preis/valueWarum die Hälfte von dem, was in diesen Regalen steht, nirgendwo sonst mehr verkauft wird.
• Support/supportReaktionszeiten, der Vier-Stunden-Ersatz und die Gutschrift, wenn er verpasst wird.
• Einen Server einziehen/migrateDie einzige Seite, die beantwortet, wie ein Live-Server hierherkommt.
• Wie wir im Vergleich dastehen/compareSeite an Seite mit Contabo, Hetzner, Leaseweb, OVH und Vultr.
• Marktplatz/marketplaceDas umgekehrte Geschäft: eine Karte vermieten, die Sie bereits besitzen.

Immer noch nicht sicher, welche Karte? Beschreiben Sie die Workload im Chat und jemand, der so etwas schon einmal dimensioniert hat, antwortet — auch wenn die Antwort eine billigere Karte ist als die, für die Sie gekommen sind.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit

57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.

What a card costs

From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.

What a whole machine with a card in it costs

From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.

The machine on its own

$70.93 to $217.59 a month before any card.

Cheapest machine that can train something

Instinct MI50 16GB at $169.93 a month, complete.

Dearest

H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.

Tenancy

One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.

Bandwidth

Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.

Where

5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.

Term

One month, no contract. Three, six and twelve-month cycles take up to 15% off.

Multiple cards

Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.

Payment

Card, PayPal, ACH, wire and cryptocurrency.