Eine Ryzen-AI-Maschine bedient ein kleines Modell aus ihrem eigenen Systemspeicher. Eine dedizierte GPU rechtfertigt ihren Preis an einigen klar umrissenen Punkten. Diese Seite zieht die Trennlinie zwischen beiden, klar und deutlich.
Bevor man eine Karte bepreist, lohnt es sich klarzustellen, was eine komplette Ryzen-AI-Maschine ohne Karte leistet — denn für viele Inferenzaufgaben ist diese Liste bereits die ganze Arbeit.
Gewichte, die nicht mehr hineinpassen, laufen nicht langsam — sie laden gar nicht. Jenseits dessen, was der Systemspeicher fasst, ist die Antwort eine Karte, die zuerst nach Speicher gewählt wird, und wie viel Speicher ein Modell braucht, wird auf der LLM-Seite durchgerechnet.
Viele Menschen gleichzeitig zu bedienen, ist genau das, wofür Speicherbandbreite und Batching einer Karte gemacht sind. Das ist der Punkt, an dem eine Warteschlange auf einer kleinen Maschine zum Argument für eine dedizierte Karte wird.
Training hält Gewichte, Gradienten und Optimiererzustand gleichzeitig im Speicher — ein Vielfaches dessen, was das Bedienen benötigt. Das ist Karten-Territorium, und manchmal mehr als eine Karte.
Wenn die Antwortgeschwindigkeit das ist, was Ihre Kunden erleben, ist der schnellere Speicher der Karte die ehrliche Lösung. Eine kleine Maschine ist für Aufgaben, die in Sekunden denken.
