Grafikkarten auf Bare Metal · Primcast LLC · seit 2004

Sagen Sie ihm, worum es sich bei der Arbeit handelt. Es zeigt Ihnen die Karte an.

Die größte Schwierigkeit beim Kauf eines GPU-Servers liegt nicht im Kauf selbst, sondern darin, die richtige Grafikkarte zu finden. Die meisten Kataloge dieser Branche sind nach der Leistung der einzelnen Komponenten sortiert, nicht nach den Anforderungen des Kunden. Dieser Katalog ist anders aufgebaut. Geben Sie einfach Ihre Anforderungen und den benötigten Grafikspeicher an, und Sie erhalten die passende Komplettlösung zum angegebenen Preis.

Finde die Karte Ist die Karte meine?

Ein Mandant pro Maschine. Die Karte wird direkt an Ihr Betriebssystem durchgereicht – nicht aufgeteilt, nicht zeitgeteilt, nicht virtualisiert.

Die Bank

Zwei Fragen.

Es wird nichts reserviert, kein Konto angelegt, und die Angabe neben jeder Karte bezieht sich auf den gesamten Server mit dieser Karte – Prozessor, Arbeitsspeicher, gespiegelte Festplatten, unbegrenzter Port, eine Adresse – nicht auf die Karte selbst. Der Anteil der Karte ist darunter angegeben, sodass Sie erkennen können, welcher Teil des Guthabens welchem ​​Anteil gehört.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  47. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  48. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  49. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  50. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  51. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  52. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  53. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  54. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  55. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  56. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Die Kostenvoranschläge stammen aus demselben Katalog wie die Kassenbons, es handelt sich nicht um Angebote. Fehlt eine Speicherangabe, konnten wir keine Herstellerangabe finden. Daher wird diese Angabe auf der Karte angezeigt, anstatt sie zu erraten. Diese Karten werden automatisch ausgeblendet, sobald Sie die Speichereinstellung ändern, da eine Filterung nach einer uns unbekannten Zahl möglicherweise passende Komponenten ausblenden würde. Fragen Sie uns einfach, wir lesen die Angabe von der Karte ab. Einige Komponenten passen in mehrere Gehäuse und sind zu unterschiedlichen Preisen erhältlich. Der hier angegebene Preis ist die günstigste Option für diese Karte. Die restlichen Optionen finden Sie im Konfigurator.

Was verbirgt sich hinter dieser Liste?

  • 56Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Die Zählung erfolgte anhand des Bestellkatalogs zum Zeitpunkt der Seitenerstellung, nicht manuell eingegeben. Wird morgen eine Karte eingezogen, ist dieser Streifen morgen kleiner. Was heute Morgen im Regal liegt, ist eine andere Frage, die erst bei den Sofortbedienungen beantwortet wird.

Die erste Frage, die sich jeder stellt

Gehört die Karte mir, oder teile ich sie?

Deins. Die ganze Karte, das ganze Gerät, sonst niemand dran.

Die Karte befindet sich in einem PCIe-Steckplatz eines physischen Servers, der an ein einzelnes Konto gemietet ist, und wird direkt an Ihr Betriebssystem übergeben: Ihr eigener Treiber, Ihr eigenes CUDA oder ROCm, Ihre eigenen Prozesse. Es gibt keinen Hypervisor zwischen Ihnen und der Karte, keine MIG-Partition, keinen Time-Slicing-Scheduler, der Ihre Ausführungszeit festlegt, und keinen zweiten Mandanten, dessen Batch-Job Ihre Inferenzlatenz um 16 Uhr verschiebt.

Der Rest des Rechners steht Ihnen zu denselben Bedingungen zur Verfügung – alle Kerne, der gesamte Arbeitsspeicher, alle Festplatten, das Root-Verzeichnis sowie der HPE iLO- oder Dell iDRAC-Server für Konsole, virtuelle Medien und Stromversorgung. Selbst bei einem Netzwerkausfall aufgrund eines Treiberproblems bleibt der Bildschirm sichtbar.

  • Kein Slice , keine MIG, keine vGPU, keine fraktionierte Zuweisung. Eine Karte, ein Mandant.
  • Keine Warteschlange. Nichts unterbricht Ihren Prozess. Die Karte ist im Leerlauf, wenn Sie im Leerlauf sind.
  • Kein Container . Bare Metal. Laden Sie Ihre eigenen Kernelmodule, legen Sie Ihre eigene Treiberversion fest.
  • Keine Gewichtung der Eingabe, Checkpoints der Ausgabe, Renderings der Ausgabe. Nichts zählt die Bytes.

Warum die obigen Zahlen so aussehen

Die Karte ist eine Position auf der Rechnung, keine Produktstufe.

Überall sonst ist die GPU eine eigene Kategorie: Man mietet eine „H100-Instanz“, und jemand anderes hat bereits festgelegt, was Prozessor, Arbeitsspeicher, Festplatten und das dazugehörige Netzwerk kosten. Hier sind die beiden Komponenten separate Kategorien, die addiert werden – deshalb kommt eine Karte an jedem Ende der obigen Liste in dasselbe Gehäuse, und man zahlt nur die Differenz zwischen den Kartenpreisen.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Der Konfigurator rundet den Preis pro Festplatte und reduziert ihn um ein bis zwei Cent. Längere Abrechnungszyklen ermöglichen einen weiteren Rabatt; die Preisgestaltung ist übersichtlich dargestellt, und ältere Hardware ist günstiger – das ist der Grund, warum diese Liste überhaupt am Ende steht.

Wie viel Kartenspeicher

Die einzige Spezifikation, die darüber entscheidet, ob es funktioniert.

Taktfrequenz und Kernanzahl bestimmen die Geschwindigkeit eines Modells. Der Arbeitsspeicher entscheidet darüber, ob es überhaupt läuft – die Komponenten passen entweder oder nicht, und eine Karte mit zwei Gigabyte weniger Speicher ist nicht langsamer, sondern führt zum Absturz. Daher ist dies der entscheidende Wert, und er wird fast nirgends neben dem Preis angegeben.

Die Arithmetik besteht darin, die Parameter mit der Anzahl der Bytes pro Parameter zu multiplizieren. 16-Bit-Gewichte belegen jeweils zwei Bytes, 8-Bit-Gewichte ein Byte und 4-Bit-Gewichte ein halbes Byte. Die Quantisierung auf vier Bit ermöglicht es einer Maschine, ein Modell zu verarbeiten, das sie zuvor nicht speichern konnte – allerdings auf Kosten der Qualität.

Planen Sie ausreichend Spielraum ein. Die unten aufgeführten Werte beziehen sich ausschließlich auf die Speicherbelegung. Laufzeitumgebung, Aktivierungen und der Schlüssel-Wert-Cache für einen langen Kontext befinden sich im selben Speicher, und der Cache wächst mit jedem Token in der Konversation. Ein Modell mit einer Speicherbelegung von 38 GB läuft auf einer 40-GB-Karte nicht optimal. Planen Sie zusätzlich etwa ein Viertel bis die Hälfte des Speichers ein oder kontaktieren Sie uns, damit wir die Speicherkapazität an Ihre tatsächliche Systemkonfiguration anpassen können.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Was befindet sich unter der Karte?

Vier Chassis passen zusammen, und sie sind nicht austauschbar.

Jede Karte greift auf einen anderen Teil des Katalogs zu und stellt eine andere Verbindung zum Prozessor her. Die letzte Spalte ist hier, weil sie Kosten verursacht und niemand sie druckt: Ein Kunde wechselte von einer Generation von Consumer-Karten auf die nächste über einen Bus der dritten Generation, was zu einer geringeren Geschwindigkeit führte. Er fand die Ursache heraus, bevor wir es taten. Deshalb steht es auf der Seite.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
43
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
47
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Was die Busgeneration tatsächlich verändert

Eine für einen neueren Bus entwickelte Karte funktioniert auch in einem älteren Bus einwandfrei; sie kann Daten lediglich nicht so schnell über die Verbindung übertragen. Ob das relevant ist, hängt ganz vom jeweiligen Anwendungsfall ab.

  • Es kommt darauf an, wenn Daten kontinuierlich über den Bus fließen – sei es bei einer Trainingsschleife, die Datenpakete von der Festplatte oder dem Systemspeicher streamt, bei einem Renderer, der in jedem Frame Szenendaten auf die Speicherkarte überträgt, oder bei allem, was den Speicher der Speicherkarte verlässt.
  • Sobald die Gewichtungen gespeichert sind und beibehalten werden, spielt es keine Rolle mehr – etwa bei der Inferenz anhand eines passenden Modells, der Videotranskodierung oder den meisten Simulationen. Die Verbindung überträgt Anfragen und Ergebnisse, und diese sind gering.
  • Fragen Sie nach, wenn Sie sich unsicher sind. Schildern Sie uns die Arbeitslast, und wir sagen Ihnen ehrlich, ob die Plattform einen Engpass darstellt – auch dann, wenn die ehrliche Antwort lautet, dass eine günstigere Karte mit einer besseren Verbindung einer teureren Karte mit einer schlechteren Verbindung vorzuziehen ist.

Was ist im Lieferumfang enthalten?

Alles, was die Karte nutzbar macht, und nichts, was Sie kaufen müssen.

  • Root-Rechte und der Treiberstapel gehören Ihnen.

    Wir installieren ein sauberes Betriebssystem und übergeben Ihnen die Lizenzschlüssel. Sie wählen die Treiberversion, die CUDA- oder ROCm-Version und den Framework-Build und fixieren diese – genau das ist der Vorteil einer Bare-Metal-Installation und das Gegenteil einer verwalteten Laufzeitumgebung, die sich erst kurz vor dem Abgabetermin automatisch aktualisiert. Falls Sie die Treiberinstallation vor der Übergabe wünschen, geben Sie dies bitte bei der Bestellung an.

  • Die eigene Konsole des Rechners befindet sich in einem separaten Netzwerk.

    HPE iLO oder Dell iDRAC: Tastatur- und Bildschirmkonsole, virtuelle Medien, Energiesteuerung, Hardwarezustand und Hardwareprotokoll. Ein Grafiktreiber, der die Anzeige oder das Netzwerk lahmlegt, ist eher eine Unannehmlichkeit als ein Grund für ein Support-Ticket, da der Systemstart weiterhin beobachtet werden kann.

  • Ein ungetakteter Anschluss, in beide Richtungen

    Es gibt kein Transferlimit, das überschritten werden kann, und keine zusätzlichen Gebühren für ausgehende Datenübertragung auf der Rechnung. Datensätze rein, Checkpoints raus, Renderings raus, ein Modell für echte Nutzer – all das wird zum Portpreis abgerechnet, kein Byte mehr. Unbegrenzte Bandbreite ist die nächsthöhere Stufe über der inkludierten Geschwindigkeit und der größte Unterschied zu den Rechnungen von Hyperscalern.

  • Installieren Sie es so oft Sie möchten neu.

    Betriebssystem-Images mit einem Klick, kostenlos und ohne Ticket neu installierbar – ein missglückter Treibertest kostet Sie also nur zwanzig Minuten. Reverse-DNS können Sie bearbeiten, IPv6 ist enthalten und IPv4 ist nun als Katalogzeile verfügbar, nicht mehr als Verhandlungsadresse.

  • Menschen, zu jeder Stunde

    Telefonischer Support , Live-Chat und Ticket-System sind in jedem Paket enthalten. Defekte Komponenten werden innerhalb von vier Stunden nach Meldung per Telefon oder Chat ausgetauscht. Die Reaktionszeiten und die Gutschriftsmodalitäten sind schriftlich festgehalten.

  • Fünf Räume, um es unterzubringen

    New York, Miami, San Francisco, Amsterdam und Bukarest – der Standort des Rechners bestimmt die Latenzzeit zum jeweiligen Anrufer und welches Datenschutzregime gilt. Rechenzentren sind Gebäude.

Wie bald es existiert

Zwischen einer halben Stunde und drei Wochen, wobei die genaue Dauer vom Zustand der Karte abhängt.

Nicht eine einzelne Nummer, denn es war nie nur eine Nummer. Eine bereits in ein Gerät eingelegte und angeschlossene Karte ist eine Übergabe. Eine Karte, die erst gekauft werden muss, ist eine Bestellung. Nur wenn Ihnen vor der Bezahlung mitgeteilt wird, welche der beiden Optionen Sie benötigen, ist diese Information wirklich relevant.

  1. ca. 30 Minuten

    Die Karte befindet sich bereits in einem Lesegerät im Regal.

    Nichts wird montiert und nichts bewegt. Die Maschine wird mit einem Image versehen und übergeben. Die Liste der aktuell vorhandenen Server lautet „Instant Servers“ .

  2. 4–24 Stunden

    Eine Karte, die wir in der Hand halten, wird eingesetzt, oder ein im Rack befindlicher Automat wird umgestellt.

    Der Standardfall für alle Komponenten auf dieser Seite: Das Bauteil befindet sich in unserem Lager; ein Techniker baut es ein, konfiguriert das Array und installiert das Betriebssystem. Ein Gerät aus unserem Lager, das den Spezifikationen nahekommt, aber nicht exakt übereinstimmt – beispielsweise mit zusätzlichem Arbeitsspeicher, ausgetauschtem Laufwerk oder einem nach Ihren Wünschen konfigurierten Array – wird im Prinzip genauso behandelt, nur eben direkt vor Ort, ohne dass das Gerät aus dem Rack entfernt werden muss.

  3. 5–10 Werktage

    Die Karte muss gekauft werden in

    Einige Artikel auf der Liste sind nicht lagernd. Wir bestellen sie und fertigen sie dann an. Die Seite „Auftragsfertigung“ enthält alle Spezifikationen dieser Art.

  4. 10–15 Werktage

    Die Karte ist selten.

    Aktuelle Beschleuniger werden zugeteilt, und der Liefertermin wird vom Distributor festgelegt, nicht von uns. Wir nennen Ihnen den genauen Liefertermin, bevor Sie sich festlegen. Wenn Hardware für einen einzelnen Kunden angeschafft wird, bitten wir um eine Vorauszahlung von drei Monaten, da wir die Geräte nicht weitervermieten können, falls der Kunde in der zweiten Woche kündigt.

Jeder Bearbeitungsschritt beginnt, sobald die Bestellung die Zahlungs- und Betrugsprüfung bestanden hat. Für diesen Schritt können wir keine Garantie übernehmen: Die meisten Bestellungen werden innerhalb weniger Stunden bearbeitet, bei der ersten Bestellung eines neuen Kontos kann es jedoch länger dauern. Wir akzeptieren Kartenzahlung, PayPal, ACH-Überweisung und Banküberweisung sowie Kryptowährungen – letztere werden bei größeren Bestellungen in der Regel am schnellsten bearbeitet.

Gefragt vor

Die zwölf Fragen, die diese Seite beantworten soll.

Diese Fragen basieren auf den tatsächlichen Anfragen im Chat und über Tickets, ungefähr in der Reihenfolge ihres Auftretens. Die erste Frage hat uns bereits Bestellungen gekostet, daher steht sie auch hier an erster Stelle.

Ist die GPU dediziert oder wird sie gemeinsam genutzt?
Dediziert. Ein physischer Rechner, ein Benutzerkonto und die Grafikkarte wird direkt an Ihr Betriebssystem durchgereicht. Kein Hypervisor, keine MIG-Partition, kein vGPU-Profil, kein Time-Slicing-Scheduler und keine fremde Auslastung der Karte. Was Sie am ersten Nachmittag messen, behalten Sie.
Kann ich mehr als eine Karte in einem Automaten verwenden?
Ja, und es handelt sich um eine individuelle Konfiguration, die wir Ihnen anbieten, nicht um eine Standardlösung. Die benötigte Anzahl hängt vom Gehäuse, der Breite der Grafikkarte und dem Stromverbrauch ab. Für eine genaue Antwort benötigen wir daher die genaue Grafikkarte. Fragen Sie einfach nach, und wir nennen Ihnen das Gehäuse, die benötigte Anzahl und die Lieferzeit. Einige Kunden verwenden zwei Grafikkarten, und der häufigste Grund dafür ist der höhere Speicherbedarf, nicht die höhere Geschwindigkeit – zwei 48-GB-Karten unterstützen ein Modell, das mit einer 80-GB-Karte nicht auskommt. Wenn Sie mehrere Grafikkarten oder Geräte verwenden, finden Sie auf der entsprechenden Seite weitere Informationen zu dieser Frage, einschließlich der Änderungen, wenn die zweite Karte in einem zweiten Gerät verbaut wird.
Welchen Treiber und welche CUDA-Version benötige ich?
Egal, was Sie installieren. Das ist der Vorteil von Bare-Metal-Systemen: Die Maschine kommt mit einem sauberen Betriebssystem und Root-Zugriff. Sie legen den Treiber, die CUDA- oder ROCm-Version und den Framework-Build fest, die auf die Version passen, mit der Ihr Code getestet wurde – und es werden keine automatischen Updates im Hintergrund installiert. Falls Sie den Treiber vor der Übergabe installiert haben möchten, geben Sie dies bitte bei der Bestellung an und nennen Sie die gewünschte Version. Benötigen Sie eine bestimmte CUDA-Version, die von einer bestimmten Grafikkarte unterstützt wird? Fragen Sie vor der Bezahlung nach, damit wir dies prüfen können, anstatt nur Vermutungen anzustellen.
Was ist, wenn die Karte, die ich möchte, heute nicht im Regal steht?
Dann wird das Gerät entweder eingebaut oder bestellt, und Sie erfahren vor der Bezahlung, was zutrifft. Eine Karte, die wir vorrätig haben, ist innerhalb von vier bis vierundzwanzig Stunden verfügbar. Eine Karte, die wir erst kaufen müssen, benötigt fünf bis zehn Werktage, und ein aktueller Beschleuniger der nächsten Generation kann zehn bis fünfzehn Werktage dauern. Auf dieser Seite wird bewusst kein Lagerbestand angezeigt, da eine Karte ein Bauteil ist, das wir einbauen, und kein Produkt, das ständig im Umlauf ist. Wenn Sie jedoch heute noch ein Gerät benötigen, finden Sie unter „Sofortserver“ die Liste der aktuell verfügbaren Geräte.
Kann ich die Karte später hinzufügen oder ändern?
Ja, auf dem vorhandenen Rechner – keine Migration, keine Neuinstallation, keine neue Adresse. Es handelt sich um einen geplanten Rack-Besuch mit kurzer Ausfallzeit, während der der Rechner nicht verfügbar ist. Die monatliche Gebühr ändert sich um die Differenz zwischen den beiden Karten. Arbeitsspeicher, Festplatten und Portgeschwindigkeit werden auf die gleiche Weise aufgerüstet.
Was passiert, wenn eine Karte ausfällt?
Das Gerät wird ersetzt, und die Vereinbarung sieht eine Frist von vier Stunden ab Ihrer Meldung per Telefon oder Live-Chat vor. Danach erhalten Sie eine Gutschrift gemäß einem veröffentlichten Zeitplan, nicht auf Anfrage. Der Support hat den Zeitplan und die Telefonnummer schriftlich erhalten.
Wird die Bandbreite gemessen? Wie hoch sind die Kosten für ausgehende Verbindungen?
Bei jeder von uns angebotenen Portgeschwindigkeit ist der ausgehende Datenverkehr kostenlos und wird nicht gemessen. Es gibt kein Übertragungslimit, das überschritten werden kann, und es fallen keine zusätzlichen Gebühren auf der Rechnung an. Bei GPU-Anwendungen sind dies üblicherweise die größten versteckten Kosten: Ein Trainingslauf, der einen Datensatz abruft und Checkpoints sendet, oder ein Inferenz-Endpunkt, der realen Datenverkehr verarbeitet, überträgt große Datenmengen, und der ausgehende Datenverkehr wird auf einem Hyperscaler pro Gigabyte abgerechnet. Unbegrenzte Bandbreite ist die nächsthöhere Stufe über der inkludierten Portgeschwindigkeit.
Wie verhält sich das im Vergleich zur stundenweisen Anmietung einer GPU?
Die Berechnung erfolgt rein rechnerisch. Eine Stundenkarte ist günstiger, wenn die Auslastung sprunghaft ist und tatsächlich abbricht – also einige hundert Stunden im Monat oder weniger. Ab etwa zwei Dritteln des Monats ist der Unterschied deutlich spürbar. Und das noch vor Datenübertragung, vor Speicherung, die zwischen den Ausführungen erhalten bleiben muss, und vor Wartezeiten auf freie Kapazität. Monatlich bedeutet hier auch, dass im nächsten Monat dieselbe Maschine, dieselben Festplatten und dieselbe Adresse genutzt werden. Das ist im Produktivbetrieb wichtiger, als man denkt.
Kann ich Blockchain-Mining betreiben oder Blockchain- und dezentrale Rechenknoten ausführen?
Ja. Beides sind hier übliche Arbeitslasten und waren es schon immer, und einige der Grafikkarten auf dieser Seite wurden genau dafür angeschafft. Die Seite „Mining-Server“ ist speziell für Mining-Anwendungen gedacht und enthält alle Komponenten, die dafür sinnvoll sind.
Wie bezahle ich, und gibt es einen Vertrag?
Zahlung per Karte, PayPal, ACH, Banküberweisung oder Kryptowährung. Kein Vertrag: Die Standardlaufzeit beträgt einen Monat. Bei drei, sechs oder zwölf Monaten Laufzeit erhalten Sie einen Rabatt. Der Preis erhöht sich bei Verlängerung nicht. Kryptowährungszahlungen umfassen alle akzeptierten Coins. Bei größeren Erstbestellungen werden Überweisungen oder Zahlungen mit Stablecoins in der Regel schneller abgewickelt als Kartenzahlungen. Dies sollten Sie wissen, bevor eine Betrugsprüfung die Produktion verzögert.
Kann ich eine Rückerstattung erhalten, wenn es nicht das ist, was ich brauchte?
Innerhalb von drei Kalendertagen nach der ersten Aktivierung, sobald alle Schritte zur Fehlerbehebung abgeschlossen sind, gilt die Rückerstattungsrichtlinie. Genau deshalb gibt es die oben genannten Abschnitte zu Kartengröße und Busgeneration: Es ist für uns beide günstiger, wenn Sie gleich die richtige Karte kaufen, und wir würden Ihnen lieber eine kleinere Karte empfehlen, als Ihnen eine Rückgabe zu verkaufen.
Besitzen Sie die neueste Karte?
Manchmal ist es die falsche Frage. Die neueste Komponente ist knapp und schwer zu bekommen, läuft auf einer Plattform, die nicht die Busgeneration bietet, für die sie entwickelt wurde, und der Preis geht davon aus, dass man jede einzelne Komponente benötigt. Die meisten GPU-Aufgaben bestehen hier nicht im Training eines hochmodernen Modells, sondern in der Unterstützung eines bereits vorhandenen Modells, im Video-Encoding, im Rendern von Frames oder in der Desktop-Ansteuerung. Für all diese Aufgaben ist die passende Grafikkarte in der Regel zwei Generationen älter und kostet nur ein Viertel des Preises. Beschreiben Sie uns Ihre Aufgabe. Wenn die Antwort tatsächlich die neueste Komponente ist, werden wir das sagen und Ihnen auch die Kosten und die voraussichtliche Verfügbarkeit mitteilen.

Wohin als Nächstes?

Die Seiten zu beiden Seiten dieser Seite.

Diese Seite behandelt eine Frage: Welche Karten passen zu uns und was kosten sie? Alle damit zusammenhängenden Informationen haben eigene Seiten, und diese Seite listet sie alle in der Reihenfolge auf, in der Besucher diese Seite aufrufen.

Sie sind sich immer noch nicht sicher, welche Karte die richtige ist? , und jemand, der bereits Erfahrung mit solchen Karten hat, wird Ihnen antworten – auch dann, wenn die Antwort eine günstigere Karte ist als die, für die Sie eigentlich gedacht haben.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
56 add-in cards, in 3 classes: 14 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.