Grafikkarten auf Bare-Metal · Primcast LLC · seit 2004

Sag ihm, was die Arbeit ist. Es sagt dir die Karte.

Das Schwierigste am Kauf eines GPU-Servers ist nicht der Kauf. Es ist zu wissen, welche Karte ausreicht — und jeder Katalog dieser Branche ist danach geordnet, wie beeindruckend das Bauteil ist, statt danach, was du ausführen willst. Dieser hier ist andersherum geordnet. Sag, was die Aufgabe ist und wie viel Kartenspeicher sie braucht, und was übrig bleibt, ist die Antwort, komplett bepreist.

Karte finden Gehört die Karte mir?

Ein Mieter pro Maschine. Die Karte wird an dein Betriebssystem durchgereicht — nicht aufgeteilt, nicht zeitlich geteilt, nicht virtualisiert.

Verwandle deine GPUs in passives monatliches Einkommen

Hast du ungenutzte Server- oder Desktop-GPU-Setups? Stelle sie noch heute auf dem Primcast-Marktplatz ein und verdiene stetige monatliche Mieten von KI-Teams, Entwicklern und Unternehmen, die produktionsreife Rechenleistung benötigen.

Zum Marktplatz

Die Werkbank

Zwei Fragen.

Nichts wird reserviert, kein Konto wird angelegt, und die Zahl neben jeder Karte ist der gesamte Server mit dieser Karte darin — Prozessor, Arbeitsspeicher, gespiegelte Festplatten, ungedrosselter Port, eine Adresse — nicht die Karte allein. Der eigene Anteil der Karte steht darunter, damit du siehst, welche Hälfte des Geldes wofür ist.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Schätzungen aus demselben Katalog, aus dem auch die Kasse abrechnet, keine Angebote. Wo eine Speicherangabe fehlt, konnten wir keine vom Hersteller veröffentlichte finden, also sagt die Karte das, statt zu raten — und diese Karten fallen heraus, sobald du den Speicherregler bewegst, denn das Filtern nach einer Zahl, die wir nicht haben, würde Teile, die zu dir passen könnten, stillschweigend verbergen. Frag, und wir lesen sie von der Karte ab. Mehrere Teile passen in mehr als ein Gehäuse zu mehr als einem Preis; die Zahl hier ist der günstigste Weg, diese Karte zu haben, und der Konfigurator zeigt den Rest.

Was hinter dieser Liste steckt

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Gezählt aus dem Bestellkatalog, als diese Seite ausgeliefert wurde, nicht eingetippt. Wird eine Karte morgen zurückgezogen, ist dieser Streifen morgen kleiner. Was heute Morgen in einem Rack steht, ist eine andere Frage, und Sofort-Server ist der Ort, an dem sie beantwortet wird.

Die erste Frage, die jeder stellt

Gehört die Karte mir, oder teile ich sie?

Dir. Die ganze Karte, die ganze Maschine, niemand sonst darauf.

Die Karte steckt in einem PCIe-Steckplatz eines physischen Servers, der an ein einziges Konto vermietet ist, und sie wird direkt an dein Betriebssystem übergeben: dein eigener Treiber, dein eigenes CUDA oder ROCm, deine eigenen Prozesse. Es gibt keinen Hypervisor zwischen dir und ihr, keine MIG-Partition, keinen Time-Slicing-Scheduler, der entscheidet, wann du an der Reihe bist, und keinen zweiten Mieter, dessen Batch-Job deine Inferenzlatenz um vier Uhr nachmittags in die Höhe treibt.

Der Rest der Maschine gehört dir zu denselben Bedingungen — jeder Kern, der gesamte Arbeitsspeicher, alle Festplatten, Root und das eigene HPE iLO oder Dell iDRAC des Servers für Konsole, virtuelle Medien und Strom. Wenn ein Treiber das Netzwerk lahmlegt, kannst du den Bildschirm immer noch sehen.

  • Kein StückKein MIG, kein vGPU, keine anteilige Zuweisung. Eine Karte, ein Mieter.
  • Keine WarteschlangeNichts verdrängt deinen Prozess. Die Karte ist untätig, wenn du untätig bist.
  • Kein ContainerBare-Metal. Lade deine eigenen Kernel-Module, pinne deine eigene Treiberversion.
  • Nicht gemessenGewichte rein, Checkpoints raus, Renderings raus. Nichts zählt die Bytes.

Warum die Zahlen oben so aussehen

Die Karte ist eine Zeile auf der Rechnung, keine Produktstufe.

Überall sonst ist eine GPU eine Stufe: Du mietest “eine H100-Instanz”, und jemand anderes hat bereits entschieden, was der Prozessor, der Speicher, die Festplatten und das Netzwerk darum dich kosten sollen. Hier sind die beiden getrennte Zeilen, die addiert werden — deshalb kommt eine Karte an jedem Ende der obigen Liste in dasselbe Gehäuse, und du zahlst den Unterschied zwischen den Karten und sonst nichts.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Der Konfigurator rundet einen Preis pro Festplatte und landet ein oder zwei Cent neben diesen Zahlen. Längere Abrechnungszyklen erhalten einen weiteren Rabatt; Preise hat alles an einem Ort, und ältere Hardware, niedrigerer Preis ist das Argument dafür, warum das untere Ende dieser Liste überhaupt existiert.

Wie viel Kartenspeicher

Die einzige Spezifikation, die darüber entscheidet, ob es funktioniert.

Taktfrequenz und Kernanzahl bestimmen die Geschwindigkeit eines Modells. Der Arbeitsspeicher entscheidet darüber, ob es überhaupt läuft – die Komponenten passen entweder oder nicht, und eine Karte mit zwei Gigabyte weniger Speicher ist nicht langsamer, sondern führt zum Absturz. Daher ist dies der entscheidende Wert, und er wird fast nirgends neben dem Preis angegeben.

Die Arithmetik besteht darin, die Parameter mit der Anzahl der Bytes pro Parameter zu multiplizieren. 16-Bit-Gewichte belegen jeweils zwei Bytes, 8-Bit-Gewichte ein Byte und 4-Bit-Gewichte ein halbes Byte. Die Quantisierung auf vier Bit ermöglicht es einer Maschine, ein Modell zu verarbeiten, das sie zuvor nicht speichern konnte – allerdings auf Kosten der Qualität.

Planen Sie ausreichend Spielraum ein. Die unten aufgeführten Werte beziehen sich ausschließlich auf die Speicherbelegung. Laufzeitumgebung, Aktivierungen und der Schlüssel-Wert-Cache für einen langen Kontext befinden sich im selben Speicher, und der Cache wächst mit jedem Token in der Konversation. Ein Modell mit einer Speicherbelegung von 38 GB läuft auf einer 40-GB-Karte nicht optimal. Planen Sie zusätzlich etwa ein Viertel bis die Hälfte des Speichers ein oder kontaktieren Sie uns, damit wir die Speicherkapazität an Ihre tatsächliche Systemkonfiguration anpassen können.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Was befindet sich unter der Karte?

Vier Chassis passen zusammen, und sie sind nicht austauschbar.

Jede Karte greift auf einen anderen Teil des Katalogs zu und stellt eine andere Verbindung zum Prozessor her. Die letzte Spalte ist hier, weil sie Kosten verursacht und niemand sie druckt: Ein Kunde wechselte von einer Generation von Consumer-Karten auf die nächste über einen Bus der dritten Generation, was zu einer geringeren Geschwindigkeit führte. Er fand die Ursache heraus, bevor wir es taten. Deshalb steht es auf der Seite.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Was die Busgeneration tatsächlich verändert

Eine für einen neueren Bus entwickelte Karte funktioniert auch in einem älteren Bus einwandfrei; sie kann Daten lediglich nicht so schnell über die Verbindung übertragen. Ob das relevant ist, hängt ganz vom jeweiligen Anwendungsfall ab.

  • Es kommt darauf an, wenn Daten kontinuierlich über den Bus fließen – sei es bei einer Trainingsschleife, die Datenpakete von der Festplatte oder dem Systemspeicher streamt, bei einem Renderer, der in jedem Frame Szenendaten auf die Speicherkarte überträgt, oder bei allem, was den Speicher der Speicherkarte verlässt.
  • Sobald die Gewichtungen gespeichert sind und beibehalten werden, spielt es keine Rolle mehr – etwa bei der Inferenz anhand eines passenden Modells, der Videotranskodierung oder den meisten Simulationen. Die Verbindung überträgt Anfragen und Ergebnisse, und diese sind gering.
  • Fragen Sie nach, wenn Sie sich unsicher sind. Schildern Sie uns die Arbeitslast, und wir sagen Ihnen ehrlich, ob die Plattform einen Engpass darstellt – auch dann, wenn die ehrliche Antwort lautet, dass eine günstigere Karte mit einer besseren Verbindung einer teureren Karte mit einer schlechteren Verbindung vorzuziehen ist.

Was ist im Lieferumfang enthalten?

Alles, was die Karte nutzbar macht, und nichts, was Sie kaufen müssen.

  • Root-Rechte und der Treiberstapel gehören Ihnen.

    Wir installieren ein sauberes Betriebssystem und übergeben Ihnen die Lizenzschlüssel. Sie wählen die Treiberversion, die CUDA- oder ROCm-Version und den Framework-Build und fixieren diese – genau das ist der Vorteil einer Bare-Metal-Installation und das Gegenteil einer verwalteten Laufzeitumgebung, die sich erst kurz vor dem Abgabetermin automatisch aktualisiert. Falls Sie die Treiberinstallation vor der Übergabe wünschen, geben Sie dies bitte bei der Bestellung an.

  • Die eigene Konsole des Rechners befindet sich in einem separaten Netzwerk.

    HPE iLO oder Dell iDRAC: Tastatur- und Bildschirmkonsole, virtuelle Medien, Energiesteuerung, Hardwarezustand und Hardwareprotokoll. Ein Grafiktreiber, der die Anzeige oder das Netzwerk lahmlegt, ist eher eine Unannehmlichkeit als ein Grund für ein Support-Ticket, da der Systemstart weiterhin beobachtet werden kann.

  • Ein ungetakteter Anschluss, in beide Richtungen

    Es gibt kein Transferlimit, das überschritten werden kann, und keine zusätzlichen Gebühren für ausgehende Datenübertragung auf der Rechnung. Datensätze rein, Checkpoints raus, Renderings raus, ein Modell für echte Nutzer – all das wird zum Portpreis abgerechnet, kein Byte mehr. Unbegrenzte Bandbreite ist die nächsthöhere Stufe über der inkludierten Geschwindigkeit und der größte Unterschied zu den Rechnungen von Hyperscalern.

  • Installieren Sie es so oft Sie möchten neu.

    Betriebssystem-Images mit einem Klick, kostenlos und ohne Ticket neu installierbar – ein missglückter Treibertest kostet Sie also nur zwanzig Minuten. Reverse-DNS können Sie bearbeiten, IPv6 ist enthalten und IPv4 ist nun als Katalogzeile verfügbar, nicht mehr als Verhandlungsadresse.

  • Menschen, zu jeder Stunde

    Telefonischer Support , Live-Chat und Ticket-System sind in jedem Paket enthalten. Defekte Komponenten werden innerhalb von vier Stunden nach Meldung per Telefon oder Chat ausgetauscht. Die Reaktionszeiten und die Gutschriftsmodalitäten sind schriftlich festgehalten.

  • Fünf Räume, um es unterzubringen

    New York, Miami, San Francisco, Amsterdam und Bukarest – der Standort des Rechners bestimmt die Latenzzeit zum jeweiligen Anrufer und welches Datenschutzregime gilt. Rechenzentren sind Gebäude.

Wie bald es existiert

Zwischen einer halben Stunde und drei Wochen, wobei die genaue Dauer vom Zustand der Karte abhängt.

Nicht eine einzelne Nummer, denn es war nie nur eine Nummer. Eine bereits in ein Gerät eingelegte und angeschlossene Karte ist eine Übergabe. Eine Karte, die erst gekauft werden muss, ist eine Bestellung. Nur wenn Ihnen vor der Bezahlung mitgeteilt wird, welche der beiden Optionen Sie benötigen, ist diese Information wirklich relevant.

  1. ca. 30 Minuten

    Die Karte befindet sich bereits in einem Lesegerät im Regal.

    Nichts wird montiert und nichts bewegt. Die Maschine wird mit einem Image versehen und übergeben. Die Liste der aktuell vorhandenen Server lautet „Instant Servers“ .

  2. 4–24 Stunden

    Eine Karte, die wir in der Hand halten, wird eingesetzt, oder ein im Rack befindlicher Automat wird umgestellt.

    Der Standardfall für alle Komponenten auf dieser Seite: Das Bauteil befindet sich in unserem Lager; ein Techniker baut es ein, konfiguriert das Array und installiert das Betriebssystem. Ein Gerät aus unserem Lager, das den Spezifikationen nahekommt, aber nicht exakt übereinstimmt – beispielsweise mit zusätzlichem Arbeitsspeicher, ausgetauschtem Laufwerk oder einem nach Ihren Wünschen konfigurierten Array – wird im Prinzip genauso behandelt, nur eben direkt vor Ort, ohne dass das Gerät aus dem Rack entfernt werden muss.

  3. 5–10 Werktage

    Die Karte muss gekauft werden in

    Einige Artikel auf der Liste sind nicht lagernd. Wir bestellen sie und fertigen sie dann an. Die Seite „Auftragsfertigung“ enthält alle Spezifikationen dieser Art.

  4. 10–15 Werktage

    Die Karte ist selten.

    Aktuelle Beschleuniger werden zugeteilt, und der Liefertermin wird vom Distributor festgelegt, nicht von uns. Wir nennen Ihnen den genauen Liefertermin, bevor Sie sich festlegen. Wenn Hardware für einen einzelnen Kunden angeschafft wird, bitten wir um eine Vorauszahlung von drei Monaten, da wir die Geräte nicht weitervermieten können, falls der Kunde in der zweiten Woche kündigt.

Jeder Bearbeitungsschritt beginnt, sobald die Bestellung die Zahlungs- und Betrugsprüfung bestanden hat. Für diesen Schritt können wir keine Garantie übernehmen: Die meisten Bestellungen werden innerhalb weniger Stunden bearbeitet, bei der ersten Bestellung eines neuen Kontos kann es jedoch länger dauern. Wir akzeptieren Kartenzahlung, PayPal, ACH-Überweisung und Banküberweisung sowie Kryptowährungen – letztere werden bei größeren Bestellungen in der Regel am schnellsten bearbeitet.

Schon gefragt

Die zwölf Fragen, die diese Seite beantworten soll.

Entnommen aus dem, was uns die Leute tatsächlich im Chat und in Tickets fragen, ungefähr in der Reihenfolge, in der sie es fragen. Die erste hat uns Aufträge gekostet, deshalb steht sie auch hier an erster Stelle.

Ist die GPU dediziert oder wird sie geteilt?
Dediziert. Eine physische Maschine, ein Konto, und die Karte wird direkt an Ihr Betriebssystem durchgereicht. Kein Hypervisor, keine MIG-Partition, kein vGPU-Profil, kein Time-Slicing-Scheduler und niemand anderes mit Last auf der Karte. Was Sie am ersten Nachmittag messen, behalten Sie.
Kann ich mehr als eine Karte in einer Maschine haben?
Ja, und das ist ein Build, den wir anbieten, statt ein Kästchen, das Sie ankreuzen. Wie viele passen, hängt vom Gehäuse, der physischen Breite der Karte und dem Leistungsbudget ab, daher erfordert die ehrliche Antwort die konkrete Karte. Fragen Sie, und die Antwort nennt Gehäuse, Anzahl und Lieferzeit. Mehrere Kunden betreiben zwei, und der häufigste Grund ist Speicher statt Geschwindigkeit — zwei Karten mit 48 GB fassen ein Modell, das eine mit 80 GB nicht fasst. Mehr als eine Karte oder Maschine ist die Seite für die ganze Frage, einschließlich dessen, was sich ändert, wenn aus der zweiten Karte eine zweite Maschine wird.
Welche Treiber- und CUDA-Version bekomme ich?
Welche auch immer Sie installieren. Das ist der Sinn von Bare Metal: Die Maschine kommt mit einem sauberen Betriebssystem und Root, und Sie legen Treiber, CUDA- oder ROCm-Release und Framework-Build auf genau das fest, wogegen Ihr Code getestet wurde — und nichts aktualisiert sich unter Ihnen. Wenn Sie möchten, dass der Treiber vor der Übergabe installiert wird, sagen Sie es bei der Bestellung und nennen Sie die Version. Wenn Sie ein bestimmtes CUDA-Release benötigen, das von einer bestimmten Karte unterstützt wird, fragen Sie vor der Zahlung, und wir prüfen es, statt zu raten.
Was, wenn die Karte, die ich will, heute nicht im Regal steht?
Dann wird sie eingebaut oder bestellt, und Sie erfahren vor der Zahlung, was davon zutrifft. Eine Karte, die wir vorrätig haben, wird innerhalb von vier bis vierundzwanzig Stunden eingebaut. Eine Karte, die wir kaufen müssen, dauert fünf bis zehn Werktage, und ein Beschleuniger der aktuellen Generation auf Zuteilung kann zehn bis fünfzehn dauern. Diese Seite zeigt bewusst keinen Lagerbestand, denn eine Karte ist ein Teil, das wir einbauen, und kein Produkt, das kommt und geht — aber wenn Sie eine Maschine heute wollen, ist Instant-Server die Liste dessen, was gerade wirklich in einem Rack steht.
Kann ich die Karte später hinzufügen oder wechseln?
Ja, auf der Maschine, die Sie bereits haben — keine Migration, keine Neuinstallation, keine neue Adresse. Es ist ein geplanter Besuch am Rack und eine kurze Ausfallzeit, während die Maschine heruntergefahren ist, und der monatliche Betrag ändert sich um die Differenz zwischen den beiden Karten. Speicher, Festplatten und Portgeschwindigkeit werden auf dieselbe Weise aufgerüstet.
Was passiert, wenn eine Karte ausfällt?
Sie wird ersetzt, und der Vertrag setzt eine Frist: vier Stunden ab dem Moment, in dem Sie es telefonisch oder per Live-Chat melden. Danach steht Ihnen eine Servicegutschrift nach einem veröffentlichten Plan zu, nicht auf Anfrage. Der Support hat den Plan und die Telefonnummer schriftlich.
Wird Bandbreite gemessen? Was kostet Egress?
Nichts wird gemessen, und Egress kostet nichts, bei jeder Portgeschwindigkeit, die wir verkaufen. Es gibt kein Transferkontingent, das überschritten werden kann, und keine Überschreitungszeile auf irgendeiner Rechnung. Für GPU-Arbeit ist das normalerweise der größte versteckte Kostenpunkt anderswo: Ein Trainingslauf, der einen Datensatz hereinzieht und Checkpoints herausschiebt, oder ein Inferenz-Endpunkt, der echten Traffic beantwortet, bewegt viele Bytes, und Egress pro Gigabyte wird bei einem Hyperscaler für jedes einzelne davon berechnet. Unlimitierte Bandbreite ist die Leiter über der enthaltenen Portgeschwindigkeit.
Wie schneidet das im Vergleich zum stundenweisen Mieten einer GPU ab?
Das entscheidet die Arithmetik. Eine Stundenkarte ist billiger, wenn die Arbeit stoßweise ist und wirklich aufhört — ein paar hundert Stunden im Monat oder weniger. Ab etwa zwei Dritteln des Monats ist es nicht mehr knapp, und das vor Egress, vor Speicher, der zwischen Läufen bestehen bleiben muss, und vor der Zeit, die Ihr Job in der Warteschlange auf Kapazität verbringt. Monatlich bedeutet hier auch dieselbe Maschine, dieselben Festplatten und dieselbe Adresse im nächsten Monat, was mehr zählt, als man erwartet, sobald etwas in Produktion ist.
Kann ich minen oder Blockchain- und Dezentral-Compute-Knoten betreiben?
Ja. Beides sind hier normale Workloads und waren es immer, und mehrere der Karten auf dieser Seite wurden genau dafür gekauft. Mining-Server ist die Seite speziell für den Mining-Fall, einschließlich der Teile, die nur dafür sinnvoll sind.
Wie bezahle ich, und gibt es einen Vertrag?
Karte, PayPal, ACH, Banküberweisung oder Kryptowährung. Kein Vertrag: Ein Monat ist die Standard- und einzige Laufzeit, Drei-, Sechs- und Zwölfmonatszyklen erhalten Rabatt, und der Preis steigt bei Verlängerung nicht. Krypto-Zahlungen behandelt die akzeptierten Coins; bei einer größeren Erstbestellung wird eine Überweisung oder ein Stablecoin normalerweise schneller abgewickelt als eine Karte, was gut zu wissen ist, bevor eine Betrugsprüfung einen Build verzögert.
Kann ich eine Rückerstattung bekommen, wenn es nicht das war, was ich brauchte?
Innerhalb von drei Kalendertagen nach der ersten Aktivierung, sobald die Fehlerbehebung ausgeschöpft ist — die Rückerstattungsrichtlinie enthält den genauen Wortlaut. Genau deshalb existieren die obigen Abschnitte zu Dimensionierung und Bus-Generation: Es ist für uns beide billiger, wenn Sie beim ersten Mal die richtige Karte kaufen, und wir reden Sie lieber in eine kleinere hinein, als Ihnen eine Retoure zu verkaufen.
Haben Sie die neueste Karte?
Manchmal, und es ist die falsche Frage. Das neueste Teil ist ein knappes Teil auf Zuteilung, auf einer Plattform, die ihm nicht die Bus-Generation gibt, für die es entworfen wurde, zu einem Preis, der annimmt, dass Sie jedes Bit davon brauchen. Die meiste GPU-Arbeit hier ist nicht das Training eines Frontier-Modells — es ist das Bereitstellen eines Modells, das bereits passt, Videokodierung, das Rendern von Frames oder das Betreiben von Desktops, und für all das ist die richtige Karte normalerweise zwei Generationen zurück und ein Viertel des Geldes. Sagen Sie uns die Aufgabe. Wenn die Antwort wirklich das neueste Teil ist, sagen wir es, und wir sagen auch, was es kostet und wann es existieren kann.

Wohin als Nächstes

Die Seiten links und rechts von dieser.

Diese Seite beantwortet eine Frage: welche Karten wir einbauen und was sie kosten. Alles, was an diese Frage angrenzt, hat seine eigene Seite, und das sind alle, in der Reihenfolge, in der Besucher dieser Seite tatsächlich klicken.

Immer noch nicht sicher, welche Karte? und jemand, der so etwas schon einmal dimensioniert hat, antwortet — auch wenn die Antwort eine billigere Karte ist als die, für die Sie gekommen sind.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.