Größenrechner · Sprachmodelle auf Bare Metal · seit 2004
Von oben ausgefüllt, so wie die Entscheidung fällt: Das Modell bestimmt die Gewichte, die Präzision skaliert sie, der Spielraum deckt Laufzeit und Konversation ab, und die Summe benennt die Karte. Nichts anderes im Bestellformular verändert das Ergebnis — eine Karte, der zwei Gigabyte fehlen, läuft nicht langsamer, sie lädt gar nicht erst.
Rechner ausfüllen Warum ein Fit trotzdem scheitern kann Was ich darauf installiere
Rechner
70B: 38 GB × 1.5 = 57 GB
Smallest card on the schedule that clears it (3 larger ones also do):
Instinct MI21064 GB HBM2eThe link opens the machine it goes in. What it costs is on /gpu — not on this sheet.
Zeile 1 × Zeile 2 sind die Gewichte; Zeile 3 ist die auf der Website veröffentlichte Viertel-bis-Hälfte-Spielraumregel als Rechenoperation — ein Viertel mehr für einen Nutzer gleichzeitig auf llama.cpp oder Ollama, die Hälfte mehr für Serving-Traffic mit kontinuierlichem Batching auf vLLM oder TGI. Das Urteil benennt die kleinste Karte im Bestellkatalog, die die Summe schafft, und verlinkt auf die Maschine, in die sie gehört. Was diese Maschine kostet, steht bewusst nicht auf diesem Blatt: Alle Zahlen stehen auf /gpu, bei der exakten Maschine, zu der sie gehören.
Abb. 1
Parameter multipliziert mit Bytes pro Parameter, und das ist die gesamte Rechnung. Sechzehn-Bit-Gewichte sind je zwei Bytes, Acht-Bit-Gewichte eines, Vier-Bit-Gewichte ein halbes. Quantisierung macht aus einer Maschine, die ein Modell nicht fassen kann, eine, die es kann; sie kostet Qualität, und wie viel, hängt weit mehr vom Modell und der Methode ab als allein von der Bitzahl. Wenn Genauigkeit der Zweck der Übung ist, testen Sie beides, bevor Sie sich auf Hardware festlegen — der Unterschied ist jetzt billiger herauszufinden als nach der Lieferung.
Diese Zahlen sind die Gewichte und sonst nichts. Sie sind der Boden, nicht die Anforderung — Abb. 2 ist der Teil, der die Leute erwischt.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Abb. 2 · interaktiv
Die häufigste Art, wie ein GPU-Kauf schiefgeht, jedes Mal auf dieselbe Weise: Das Modell ist achtunddreißig Gigabyte groß, die Karte hat vierzig, es lädt — und hält ungefähr eine kurze Konversation. Die Gewichte sind dort drin nicht allein. Verschieben Sie die Last und beobachten Sie, was die Konversation macht.
Ein Nutzer, kurzer Kontext: Der knappe Multiplikator (×1,25) deckt das ab.
Abb. 3
Lesen Sie nach unten zu Ihrem Modell, quer zur Präzision. Jede Zelle benennt die kleinste Karte auf der Teileliste, die diese Gewichte mit Platz zum Servieren fasst, und verlinkt auf die Maschine, in die sie gehört. Wo nichts sie allein schafft, sagt die Zelle das, statt eine Lücke zu lassen.
| If you want to run | at 16-bit | at 8-bit | at 4-bit |
|---|---|---|---|
| 7-8 billion parameters | TESLA P40 / QUADRO P600024 GB16 GB of weights | TITAN V12 GB HBM28 GB of weights | TESLA P48 GB GDDR55 GB of weights |
| 13-14 billion parameters | RTX A600048 GB GDDR6 ECC28 GB of weights | TESLA P40 / QUADRO P600024 GB14 GB of weights | TITAN V12 GB HBM28 GB of weights |
| 30-34 billion parameters | More than one cardNothing we fit holds it alone68 GB of weights | Instinct MI21064 GB HBM2e34 GB of weights | Tesla V100 32GB32 GB HBM219 GB of weights |
| 70 billion parameters | More than one cardNothing we fit holds it alone140 GB of weights | More than one cardNothing we fit holds it alone70 GB of weights | Instinct MI21064 GB HBM2e38 GB of weights |
Liste A
Größte zuerst — dieses Blatt beantwortet „Was ist das Größte, das ich betreiben kann“, das Gegenteil von GPU-Dedicated-Server, die denselben Katalog nach der billigsten kompletten Maschine sortieren, weil sie „Was kostet das“ beantworten. Eine Karte, deren Speicher der Hersteller nicht veröffentlicht, wird weggelassen statt geraten.
Mehrere Teile erscheinen auf mehr als einem Gehäuse, manchmal zu unterschiedlichen Preisen, und die Busgeneration der darunterliegenden Maschine verändert, was eine moderne Karte tatsächlich leisten kann — beides steht bei GPU-Dedicated-Server. Was gerade gerackt und einsatzbereit ist, ist wieder eine andere Frage, die Instant-Server beantworten.
Referenz
Die Open-Weight-Familien, die die Leute hierherbringen, mit der veröffentlichten Parameterzahl, die sagt, welche Zeile von Abb. 1 gilt. Die Parameterzahlen stammen von den Herausgebern selbst; nichts anderes an einem Modell ist für die Fit-Frage relevant. Ein Modell, das nicht auf dieser Liste steht, wird genauso dimensioniert — Parameter × Bytes pro Parameter plus Spielraum. Neue Familien erscheinen monatlich; die Rechenregeln ändern sich nicht.
Anmerkung 1 · Mixture-of-Experts
Ein „30B mit 3B aktiv“-Modell braucht den Speicher eines 30B-Modells und läuft eher mit der Geschwindigkeit eines 3B-Modells: Jeder Experte muss resident sein, weil verschiedene Token verschiedene aufwecken. Dimensionieren Sie immer nach der Gesamtparameterzahl.
| Familie | Größen | Zeile |
|---|---|---|
| Llama 3.1 / 3.3 Meta | 8B · 70B | 7–8B, und 70B für die Version 3.3 |
| Qwen3 Alibaba | 8B · 14B · 32B | Die ersten drei Zeilen |
| DeepSeek-R1 destilliert | 7B – 70B | Eine pro Zeile — wählen Sie den Destillat, den Ihre Karte fasst |
| Mistral Small 3 Mistral AI | 24B | Zwischen Zeile 2 und 3; dimensionieren Sie nach der Rechnung, nicht nach dem Etikett |
| Gemma 3 Google | 12B · 27B | Zeile 2 und knapp unter Zeile 3 |
| Phi-4 Microsoft | 14B | Zeile 2 |
| gpt-oss OpenAI | 20B · 120B | Nativ mit 4-Bit veröffentlicht: eine 16-GB-Karte und eine 80-GB-Karte |
Installationshinweise
Die Maschine kommt mit einem sauberen Betriebssystem und Root. Kein Inferenzdienst eines Anbieters vor Ihrem Modell, keine verwaltete Laufzeit, die sich in der Woche vor einer Frist selbst aktualisiert. vLLM und Ollama antworten beide auf einem OpenAI-kompatiblen Endpunkt — Code, der gegen einen API-Anbieter geschrieben wurde, zeigt auf Ihre eigene Maschine, indem Sie eine Basis-URL ändern. Pinnen Sie den Treiber, die CUDA- oder ROCm-Version und das Framework auf die Versionen, gegen die Ihr Code getestet wurde; nichts bewegt sich unter Ihnen. Wenn der Treiber vor der Übergabe installiert sein soll, sagen Sie es bei der Bestellung und nennen Sie die Version.
Standortbedingungen
Gewichte, Prompts, abgerufene Dokumente und jeder generierte Token bleiben auf Hardware, in die sich nur Sie einloggen können. Amsterdam oder Bukarest, und die Daten liegen in der EU; New York, Miami oder San Francisco, und sie liegen in den USA. Für Workloads, die einem Datenschutzbeauftragten antworten, ist dieser Satz der gesamte Business Case.
Eine Per-Token-API berechnet jeden Token, und ein Agent oder eine Batch-Pipeline erzeugt den ganzen Tag Token. Eine dedizierte Maschine kostet jeden Monat denselben Betrag, bei jedem Volumen, mit unbegrenzter Bandbreite darunter — Gewichte rein und Token raus kosten nichts über den Port hinaus. Welcher Betrag es ist, füllt /gpu aus, nicht dieses Blatt.
Das Modell, das Sie pinnen, antwortet in sechs Monaten unverändert. Keine Obergrenze für Anfragen pro Minute, keine Warteschlange zu jemandes Stoßzeit, keine Abschaltankündigung. Der Handel ist ehrlich: Upgrades sind Ihre Sache, nach Ihrem Zeitplan.
Retrieval will ein Embedding-Modell, einen Vektorspeicher und schnelle Festplatten; Agenten wollen Raum, um Werkzeuge auszuführen. NVMe für den Speicher, Prozessorkerne für die Pipeline, die Karte für die Token — eine Maschine trägt all das.
Anmerkung 2 · Leistungswerte
Mit Absicht. Jede solche Zahl hängt vom Modell, der Quantisierung, der Laufzeit und ihrer Version, der Batchgröße, der Promptlänge, der Antwortlänge und der Parallelität ab — ändern Sie eine davon, und sie verschiebt sich um ein Vielfaches. Eine Schlagzeilenzahl, die all das nicht mitführt, ist eine Zahl, die gut aussehen soll, und wir würden darauf festgenagelt. Was sie bestimmt: Das Lesen des Prompts ist rechengebunden und passiert einmal pro Anfrage; das Erzeugen der Antwort ist speicherbandbreitengebunden, weil jeder Token das Lesen der Gewichte erfordert; Batching amortisiert dieses Lesen über gleichzeitige Anfragen, bis der Key-Value-Cache keinen Platz mehr hat. Wieder Spielraum.
Nennen Sie uns das Modell, die beabsichtigte Quantisierung, die Kontextlänge und ungefähr, wie viele gleichzeitige Anfragen. Wenn wir etwas Vergleichbares betrieben haben, sagen wir, was wir gesehen haben und worauf. Wenn nicht, sagen wir das auch.
Jede Stunde, jeden Tag — Telefon, Chat und Tickets. Support hat die Antwortzeiten schriftlich.
Anmerkung 3 · Fine-Tuning
Serving braucht die Gewichte. Training braucht die Gewichte, die Gradienten und den Optimiererzustand für jeden aktualisierten Parameter, alles gleichzeitig resident, plus die für den Rückwärtsdurchlauf gehaltenen Aktivierungen — ein Modell, das bequem auf einer Karte serviert, kann um ein Vielfaches zu groß sein, um darauf vollständig feinabgestimmt zu werden. Parametereffiziente Methoden aktualisieren einen kleinen Teil der Parameter und brauchen einen entsprechend kleinen Teil des zusätzlichen Speichers, weshalb das meiste Fine-Tuning hier eine davon verwendet. Die Trainingsschleife streamt außerdem kontinuierlich Batches über die Prozessor-zu-Karte-Verbindung, sodass die PCIe-Generation der darunterliegenden Maschine dort eine echte Einschränkung ist, anders als beim Serving — welche Plattform einer Karte welche Verbindung gibt, steht bei GPU-Dedicated-Server. Nennen Sie uns Modell, Methode, Sequenzlänge und Datensatzgröße, und wir dimensionieren es, statt Sie es nach der Lieferung herausfinden zu lassen; mehr als eine Karte ist das Blatt von Multi-GPU und Multi-Node.
Angrenzende Blätter
Dieses Blatt besitzt eine Frage: Was es braucht, um ein Modell zu betreiben. Alles Angrenzende hat seine eigene Seite, und das hier sind alle.
Aufgeworfene Fragen
Entnommen aus dem, was uns im Chat und in Tickets tatsächlich gefragt wird, ungefähr in der Reihenfolge, in der es gefragt wird. Die ersten drei entscheiden darüber, ob ein Kauf funktioniert.
For the record
Card memory is the manufacturers’ published figure; which cards exist is read from the order catalogue when this page was served. No monthly price appears here on purpose — GPU dedicated servers holds every one, against the exact machine it belongs to.
