Which AMD Instinct accelerators can I actually order?

Two: the Instinct MI210 and the Instinct MI50. Those are the AMD accelerators in our order catalogue, and the configurator will not offer you anything else from the Instinct line. The MI210 goes on three of our server lines and the MI50 on two. We do not fit the MI250, the MI250X or the MI300A, and never have.

What is the difference between the MI210 and the MI50?

Generation and memory. The MI210 is AMD's CDNA 2 architecture with 104 compute units and 64 GB of HBM2e at up to 1.6 TB/s, in a dual-slot PCIe card drawing up to 300 W over a PCIe Gen 4 host link, with up to three Infinity Fabric links for card-to-card traffic. The MI50 is the earlier GCN 5.1 generation with 60 compute units and 16 GB. Both are supported ROCm targets, so the same HIP and PyTorch code runs on either.

How much card memory does the model I want to run need?

The weights alone are parameters multiplied by bytes per parameter: roughly 16 GB for a 7-8 billion parameter model at 16-bit, 28 GB for 13-14 billion, 68 GB for 30-34 billion. The KV cache and the runtime go on top of that, which is why a 16 GB card does not comfortably serve a model whose weights are 16 GB. The MI210's 64 GB covers a 30-billion model quantised to 8-bit with room to work in.

How long does it take to deploy an AMD Instinct GPU server?

Where the machine is already racked it is typically activated about 30 minutes after payment clears. Where it is not, it is built to order and the lead time depends on the parts. Ask before you pay if the date matters. Every server includes instant OS reload, so you can iterate without re-opening a ticket.

What software and frameworks run on these cards?

ROCm, AMD's open-source GPU compute platform. Both parts are supported ROCm targets, gfx90a on the MI210 and gfx906 on the MI50, which covers PyTorch, TensorFlow, JAX and ONNX Runtime, together with the BLAS, FFT, RNG and deep-learning primitive libraries. HIP ports existing CUDA source across rather than requiring a rewrite. Because you have root on bare metal you choose the ROCm and kernel versions yourself, and can run the whole thing in Docker or under Kubernetes.

AMD Instinct-Beschleuniger

AMD Instinct auf einem Rechner, den sonst niemand benutzt.

In unseren dedizierten Servern kommen zwei AMD-Beschleuniger zum Einsatz: der Instinct MI210 und der Instinct MI50. Die Karte wird direkt an Ihr Betriebssystem durchgereicht – an Ihre ROCm-Konfiguration, Ihren Kernel, Ihre Prozesse – ohne dazwischenliegenden Hypervisor.

Konfigurieren eines MI210-Servers

MI210: 104 CDNA 2 Recheneinheiten, 64 GB HBM2e. MI50: 60 GCN 5.1 Recheneinheiten, 16 GB. Ein Mieter pro Maschine. Nicht aufgeteilt, nicht zeitgeteilt.

Jede von uns verbaute Grafikkarte – ob AMD oder NVIDIA, aktuelle oder längst nicht mehr produzierte Modelle – ist mit ihrem jeweiligen Monatspreis im GPU-Katalog aufgeführt.

Verwandeln Sie Ihre GPUs in passive monatliche Einnahmen

Besitzen Sie ungenutzte Server- oder Desktop-GPU-Setups? Bieten Sie diese noch heute auf dem Primcast-Marktplatz an und verdienen Sie regelmäßige monatliche Mieteinnahmen von KI-Teams, Entwicklern und Unternehmen, die Rechenleistung in Produktionsqualität benötigen.

Zum Marktplatz

Was ein AMD Instinct-Server hier eigentlich ist

Ein physischer Server, der an ein Konto vermietet wird, verfügt über einen AMD-Grafikkartenbeschleuniger in einem PCIe-Steckplatz und ein darüber liegendes Root-Betriebssystem. Die Grafikkarte wird als separate Position in der Rechnung aufgeführt und nicht als Produktkategorie, sodass der Preis des Servers durch die angeschlossenen Komponenten nicht steigt.

Die Karte gehört dir.

Keine Partitionierung, keine vGPU, kein Scheduler, der Ihre Ausführungszeit festlegt. Der Beschleuniger wird direkt an Ihren Kernel übergeben, sodass Sie Ihre eigene ROCm-Version festlegen und Ihre eigenen Module laden können, ohne uns zu fragen.

ROCm, HIP und die üblichen Rahmenwerke

Beide Komponenten unterstützen ROCm-Ziele – gfx90a für den MI210, gfx906 für den MI50 –, auf denen PyTorch, TensorFlow, JAX und ONNX Runtime unter AMD basieren. HIP portiert den CUDA-Quellcode, anstatt ihn neu schreiben zu müssen.

Der Preis ist nicht im Preis der Maschine enthalten.

Der Beschleuniger und der Server haben jeweils einen eigenen monatlichen Verbrauchswert; diese beiden Werte werden addiert. Die Grafikkarte kann ausgetauscht werden, ohne den Server zu wechseln. Beide Werte finden Sie für jede Grafikkarte im Katalog auf der GPU-Seite .

Die beiden AMD Instinct-Beschleuniger, die wir eingebaut haben

Beide sind ab heute über denselben Konfigurator auf verschiedenen Serverlinien bestellbar. Die folgenden Angaben stammen von AMD selbst.

AMD Instinct MI210

Die CDNA-2-Generation in einer standardmäßigen PCIe-Karte mit voller Höhe und Länge und zwei Steckplätzen – 104 Recheneinheiten, 64 GB HBM2e mit bis zu 1,6 TB/s und bis zu drei Infinity Fabric-Verbindungen für direkten Karten-zu-Karten-Datenverkehr. Passive Kühlung mit 300 W über eine PCIe-Gen-4-Hostverbindung. Diese Karte ist die richtige Wahl, wenn es nur darauf ankommt, ob das Modell in den Arbeitsspeicher passt.

AMD Instinct MI50

Die ältere Vega-Generation: GCN 5.1-Chip, 60 Recheneinheiten und 16 GB On-Package-Speicher. Diese Karte wird nicht mehr gemietet, weshalb sie anderswo nicht nur günstig, sondern auch nicht mehr erhältlich ist. Sie wird weiterhin als ROCm-Ziel unterstützt und kann daher denselben HIP- und PyTorch-Code wie die MI210 zu einem Bruchteil der monatlichen Kosten ausführen. Sie ist die sinnvolle Möglichkeit, eine ROCm-Toolchain zum Laufen zu bringen, bevor man sich für die größere Karte entscheidet.

Matrixdurchsatz auf dem MI210

AMD veröffentlicht für den MI210 bei einem maximalen Boost-Takt von 1.700 MHz eine Spitzenleistung von 181,0 TFLOPS bei FP16- und BF16-Matrixberechnungen sowie 22,6 TFLOPS bei Vektorberechnungen mit FP64- und FP32-Funktionen.

Speicher ist die Einschränkung

64 GB speichern die Gewichte eines Modells mit 30 Milliarden Parametern (8-Bit) oder eines Modells mit 13 Milliarden Parametern (16-Bit), wobei noch Platz für den KV-Cache verbleibt. Die GPU-Seite führt diese Berechnungen für jede Modellgröße durch.

Was der Gastgeber der Karte gibt

Die Host-Lane-Generierung ist eine Information, die kaum jemand veröffentlicht und die darüber entscheidet, ob eine Grafikkarte ihre geplante Bandbreite erreicht. Wir veröffentlichen unsere Informationen neben jeder Grafikkarte auf der GPU-Seite .

Nichts zählt die Bytes

Gewichte rein, Checkpoints raus, Datensätze rein. Der Port ist nicht getaktet, sodass ein Trainingslauf, der einen Korpus streamt, am Monatsende nicht als Bandbreitenrechnung anfällt.

HPE Enterprise-Server mit AMD Instinct™-Technologie

HPE Enterprise

Ihr dedizierter Server mit AMD INSTINCT™ GPU wird von HPE Enterprise-Servern unterstützt und gewährleistet so eine stabile Leistung auch bei anspruchsvollsten Workloads.

Hardware-Upgrades

Erweitern Sie Ihre Serverinfrastruktur unkompliziert um Ressourcen oder zusätzliche Server. Die meisten Upgrades werden innerhalb von 24 Stunden verarbeitet.

24/7-Support

Unsere Experten für dedizierte Server stehen Ihnen rund um die Uhr per Live-Chat und E-Mail zur Verfügung.

Den MI210 im Vergleich zu den NVIDIA-Karten, die wir ebenfalls anpassen

Vier Beschleuniger aus demselben Bestellkatalog – hier werden also Teile verglichen, die tatsächlich zusammen bestellt werden können. Die Monatszahlen in der letzten Zeile werden beim Laden der Seite aus diesem Katalog ausgelesen.

	MI210	L40S	A100	H100
GPU-Architektur	cDNA 2	Ada Lovelace	NVIDIA Ampere	Trichter
GPU-Speicher	64 GB HBM2e	48 GB GDDR6 mit ECC	80 GB HBM2e	80 GB HBM3
GPU-Speicherbandbreite	Bis zu 1,6 TB/s	864 GB/s	1935 GB/s	3352 GB/s
FP32	22,6 TFLOPS	91,6 TFLOPS	19,5 TFLOPS	51 TFLOPS
TF32 Tensor Core	—	366 TFLOPS	312 TFLOPS	756 TFLOPS
FP16/BF16 Matrix	181 TFLOPS	733 TFLOPS	624 TFLOPS	1513 TFLOPS
Leistung	Bis zu 300 W	Bis zu 350 W	Bis zu 400 W	Bis zu 350 W
	Laden...	Laden...	Laden...	Laden...

TF32 ist ein Tensor-Core-Format von NVIDIA. CDNA 2 implementiert es nicht, und AMD veröffentlicht keine Daten dazu. Daher enthält die Spalte MI210 keine Angabe, sondern lediglich einen Wert eines anderen Herstellers. Die Zeilen für NVIDIA-Tensor-Cores enthalten die veröffentlichten Daten, allerdings mit Lücken. Alle anderen von uns verwendeten Karten, einschließlich der MI50, sind im GPU-Katalog aufgeführt.

Häufig gestellte Fragen zu AMD Instinct GPU-Servern

Häufig gestellte Fragen zur Bereitstellung und Verwaltung von AMD Instinct-Beschleunigern auf Bare-Metal-Systemen für KI-, HPC- und Machine-Learning-Workloads.

Welche AMD Instinct-Beschleuniger kann ich tatsächlich bestellen?

Zwei: der Instinct MI210 und der Instinct MI50. Das sind die AMD-Beschleuniger in unserem Bestellkatalog, und der Konfigurator bietet Ihnen keine weiteren Produkte der Instinct-Reihe an. Der MI210 ist in drei unserer Serverlinien verbaut, der MI50 in zwei. Den MI250, den MI250X und den MI300A verbauen wir nicht und haben dies auch nie getan.

Worin besteht der Unterschied zwischen dem MI210 und dem MI50?

Generation und Speicher. Die MI210 basiert auf AMDs CDNA-2-Architektur mit 104 Recheneinheiten und 64 GB HBM2e-Speicher mit bis zu 1,6 TB/s. Sie ist als Dual-Slot-PCIe-Karte ausgeführt und verbraucht über eine PCIe-Gen-4-Hostverbindung bis zu 300 W. Bis zu drei Infinity-Fabric-Verbindungen ermöglichen den Datenverkehr zwischen den Karten. Die MI50 gehört zur älteren GCN-5.1-Generation mit 60 Recheneinheiten und 16 GB Speicher. Beide werden von ROCm unterstützt, sodass derselbe HIP- und PyTorch-Code auf beiden Karten ausgeführt werden kann – die MI210 bietet lediglich die vierfache Speicherkapazität.

Wie viel Speicherkarte benötigt das Modell, das ich verwenden möchte?

Die Gewichte allein ergeben sich aus den Parametern multipliziert mit der Speichermenge in Bytes pro Parameter: etwa 16 GB für ein Modell mit 7–8 Milliarden Parametern bei 16 Bit, 28 GB für 13–14 Milliarden und 68 GB für 30–34 Milliarden. Der KV-Cache und die Laufzeitumgebung kommen noch hinzu, weshalb eine 16-GB-Karte für ein Modell mit 16 GB an Gewichten nicht optimal geeignet ist. Die 64 GB der MI210 decken ein 30-Milliarden-Parameter-Modell ab, das auf 8 Bit quantisiert ist, und bieten noch ausreichend Spielraum. Die vollständige Tabelle finden Sie auf der GPU-Seite .

Wie lange dauert die Bereitstellung eines AMD Instinct GPU-Servers?

Wenn die Maschine bereits im Rack installiert ist, wird sie in der Regel etwa 30 Minuten nach Zahlungseingang aktiviert. Andernfalls wird sie auftragsbezogen gefertigt, und die Lieferzeit hängt von den benötigten Komponenten ab. Fragen Sie vor der Zahlung nach, wenn der Liefertermin wichtig ist – auf der Seite „Instant Servers“ finden Sie die aktuell im Rack verfügbaren Server. Jeder Server beinhaltet ein sofortiges Betriebssystem-Reload, sodass Sie Iterationen durchführen können, ohne ein neues Ticket eröffnen zu müssen.

Welche Software und Frameworks laufen auf diesen Karten?

ROCm ist AMDs Open-Source-GPU-Computing-Plattform. Beide Komponenten unterstützen ROCm-Ziele – gfx90a auf dem MI210 und gfx906 auf dem MI50 – und decken PyTorch, TensorFlow, JAX und die ONNX-Runtime sowie die Bibliotheken für BLAS, FFT, RNG und Deep Learning ab. HIP portiert bestehenden CUDA-Quellcode, anstatt ihn neu schreiben zu müssen. Da Sie Root-Zugriff auf die Hardware haben, können Sie die ROCm- und Kernel-Versionen selbst auswählen und die gesamte Plattform in Docker oder unter Kubernetes ausführen.