Workload · Hosting eines Sprachmodells
LLM-Hosting bei Primcast ist ein ganzer Server mit dedizierter GPU, auf dem das von Ihnen gewählte Modell mit der von Ihnen gewählten Laufzeitumgebung läuft – jeden Monat zum gleichen Preis. Wählen Sie Modellgröße und Präzision im Arbeitsblatt, und es nennt Ihnen die kleinste GPU, die das Modell mit Reserven für den Betrieb aufnimmt.
Wenn der Speicher nicht stimmt, zählt nichts anderes mehr: Ein Modell, das zwei Gigabyte zu groß für seine GPU ist, startet entweder gar nicht oder kriecht auf dem Prozessor dahin. Deshalb steht das Arbeitsblatt an erster Stelle.
70B: 38 GB × 1.5 = 57 GB
Fits on one GPU. The smallest that clears it (3 larger also do):
Instinct MI21064 GB HBM2eThe link opens the machine it goes in. Its price is on GPU dedicated servers.
01 GPU-Speicher
Multiplizieren Sie die Parameterzahl mit den Bytes, die jeder Parameter belegt. Bei 16-bit sind das zwei Bytes, bei 8-bit eines, bei 4-bit ein halbes. Ein 70B-Modell hat bei 16-bit etwa 140 GB an Gewichten und bei 4-bit etwa 38 GB.
Die Quantisierung auf weniger Bits ist es, die ein großes Modell auf eine kleinere GPU passen lässt. Sie kostet etwas Qualität, und wie viel, hängt mehr vom Modell und der Methode ab als von der Bitzahl. Wenn Ihnen Genauigkeit wichtig ist, testen Sie beide Versionen, bevor Sie sich für Hardware entscheiden.
Rechnen Sie damit, dass der tatsächliche Download etwas mehr wiegt als diese Summe, denn gängige 4-bit-Formate lassen einige Schichten in höherer Präzision. Der Standard-Download von Ollama für Llama 3.1 70B in 4-bit kommt auf 43 GB statt 38. Sobald Sie die Datei gewählt haben, bemessen Sie die Größe nach ihrem tatsächlichen Gewicht.
Das sind allein die Gewichte. Behandeln Sie sie als Untergrenze, niemals als Anforderung: Der nächste Abschnitt ist der Teil, der die Leute erwischt.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Die Parameterzahl stammt vom Herausgeber und ist alles, was die Passfrage braucht. Ein Modell, das in dieser Liste fehlt, wird auf dieselbe Weise bemessen, und jeden Monat kommen neue hinzu, ohne die Rechnung zu ändern.
MoEMixture of Experts
Ein Modell, das als „30B mit 3B aktiv“ beschrieben wird, braucht den Speicher eines 30B-Modells und läuft annähernd mit der Geschwindigkeit eines 3B-Modells. Jeder Experte muss geladen bleiben, denn jeder Token kann einen anderen aufwecken. Bemessen Sie die Größe immer nach der Gesamtzahl.
| Modell | Parameter | Größenzeile |
|---|---|---|
| Llama 3.1 / 3.3 Meta | 8B · 70B | 7–8B und 70B |
| Llama 4 Scout Meta | 109B total · 17B active | Über der 70B-Zeile: Größe ab 109B |
| Qwen3 Alibaba | 8B · 14B · 32B | Die ersten drei Zeilen |
| Qwen3 30B-A3B Alibaba | 30B total · 3B active | 30–34B, bemessen nach der Gesamtzahl |
| DeepSeek-R1 destilliert | 7B – 70B | Eine pro Zeile: Wählen Sie die, die Ihre GPU fasst |
| Mistral Small 3.2 Mistral AI | 24B | Zwischen Zeile zwei und drei: Rechnen Sie selbst |
| Gemma 3 Google | 12B · 27B | 13–14B und knapp unter 30–34B |
| Phi-4 Microsoft | 14B | 13–14B |
| gpt-oss OpenAI | 20B · 120B | In 4-bit ausgeliefert: eine 16 GB-GPU und eine 80 GB-GPU |
02 Spielraum
Weil die Gewichte den GPU-Speicher mit der Laufzeitumgebung und der Konversation teilen. Die übliche Geschichte: Das Modell ist 38 GB groß, die GPU hat 40, es lädt, und es schafft ungefähr einen kurzen Chat, bevor Anfragen sich zu stauen beginnen. Bewegen Sie den Regler und beobachten Sie, wie die Konversation wächst.
Ein Nutzer, kurzer Kontext: Der Multiplikator ×1,25 deckt das ab.
03 GPU-Server für LLM
Finden Sie Ihr Modell links und Ihre Präzision oben. Jede Zelle nennt die kleinste GPU, die wir einbauen und die diese Gewichte mit Reserven für den Betrieb fasst, und verlinkt auf die Maschine, in die sie gehört. Wo keine einzelne GPU ausreicht, sagt die Zelle das.
| If you want to run | at 16-bit | at 8-bit | at 4-bit |
|---|---|---|---|
| 7-8 billion parameters | TESLA P40 / QUADRO P600024 GB16 GB of weights | TITAN V12 GB HBM28 GB of weights | TESLA P48 GB GDDR55 GB of weights |
| 13-14 billion parameters | RTX A600048 GB GDDR6 ECC28 GB of weights | TESLA P40 / QUADRO P600024 GB14 GB of weights | TITAN V12 GB HBM28 GB of weights |
| 30-34 billion parameters | More than one GPUNothing we fit holds it alone68 GB of weights | Instinct MI21064 GB HBM2e34 GB of weights | Tesla V100 32GB32 GB HBM219 GB of weights |
| 70 billion parameters | More than one GPUNothing we fit holds it alone140 GB of weights | More than one GPUNothing we fit holds it alone70 GB of weights | Instinct MI21064 GB HBM2e38 GB of weights |
04 Die GPUs
Wir bauen 56 GPUs mit veröffentlichter Speicherangabe ein, und die größte fasst 96 GB. Diese Liste beginnt oben, denn die Frage hier lautet: „Was ist das größte Modell, das ich betreiben kann?“ GPU-Dedicated-Server listet dieselben GPUs von der günstigsten Maschine aufwärts, mit Preisen. Eine GPU, deren Hersteller keinen Speicher veröffentlicht, wird weggelassen statt geschätzt.
Manche GPUs gibt es in mehr als einem Gehäuse, und die PCIe-Generation der darunterliegenden Maschine verändert, was eine moderne GPU leisten kann. Beides steht auf GPU-Dedicated-Server. Wenn Sie nicht auf einen Build warten möchten, sehen Sie sich die fertigen Maschinen auf Instant-Server an.
05 Selbst gehostetes LLM
Sie erhalten den Server mit frischem Betriebssystem und Root. Es gibt keinen Inferenzdienst von uns, der vor Ihrem Modell sitzt, und nichts aktualisiert sich in der Woche vor Ihrer Deadline von selbst. Halten Sie GPU-Treiber, CUDA oder ROCm und Ihr Framework exakt auf den Versionen, mit denen Sie getestet haben. Wenn der Treiber vor der Übergabe installiert sein soll, sagen Sie das bei der Bestellung und nennen Sie die Version.
vLLM und Ollama antworten beide auf einem OpenAI-kompatiblen Endpunkt, sodass Code, der für eine gehostete API geschrieben wurde, auf Ihren eigenen Server zeigt, indem Sie eine Basis-URL ändern.
Kontinuierliches Batching und Paged Attention lassen eine GPU viele Anfragen gleichzeitig beantworten. Das ist der Unterschied zwischen einer Demo und einem Dienst. Sie setzt eine einigermaßen moderne GPU voraus.
Seine quantisierten Formate sind der Grund, warum ein großes Modell überhaupt auf eine kleine GPU passt, und es kann die Arbeit zwischen Prozessor und GPU aufteilen, wenn die Gewichte nicht ganz hineinpassen.
Produktionsserver derselben Familie, mit unterschiedlichen Stärken bei strukturierter Ausgabe, Präfix-Wiederverwendung und dem Betrieb mehrerer Modelle. Sie laufen hier unverändert.
Der kürzeste Weg von einer leeren Maschine zu einem Modell, das auf einem Port antwortet. Zehn Minuten damit zeigen Ihnen, ob Ihre Größenbemessung richtig war.
06 Server für Ihr LLM mieten
Eine gehostete API ist ein einfacher Einstieg. Das sind die vier Gründe, warum Menschen ihr Modell auf eine eigene Maschine umziehen.
Gewichte, Prompts, abgerufene Dokumente und jeder generierte Token bleiben auf einer Maschine, in die sich nur Sie einloggen können. Sie wählen auch die Rechtsordnung: Amsterdam oder Bukarest hält die Daten in der EU, San Francisco, Miami oder New York hält sie in den USA. Welche GPUs jede Stadt führt, steht auf der Bestellseite.
Eine API berechnet jeden Token, und ein Agent oder ein Batch-Job produziert den ganzen Tag Tokens. Ihr eigener Server kostet jeden Monat dasselbe, egal wie ausgelastet er ist, und auch der Port wird nicht gemessen – Gewichte hereinzuholen und Antworten hinauszuschicken, schlägt also nicht auf die Rechnung. Die monatlichen Zahlen stehen auf GPU-Dedicated-Server.
Das Modell, das Sie heute festsetzen, antwortet in sechs Monaten auf dieselbe Weise. Keine Obergrenze bei Anfragen pro Minute, keine Warteschlange zu jemandes Stoßzeit, keine Abkündigung. Der faire Ausgleich ist, dass Upgrades Ihre Sache sind – dann, wenn es Ihnen passt.
Retrieval braucht ein Embedding-Modell, einen Vektorspeicher und schnelle Festplatten. Agenten brauchen Raum, um ihre Tools auszuführen. NVMe für den Speicher, Prozessorkerne für die Pipeline und die GPU für die Tokens: Eine Maschine trägt all das.
07 Geschwindigkeit
Das hängt von zu vielen Dingen ab für eine ehrliche einzelne Zahl, deshalb veröffentlichen wir keine Tokens-pro-Sekunde-Angabe. Das Modell, die Quantisierung, die Laufzeitumgebung und ihre Version, die Batch-Größe, die Längen von Prompt und Antwort und die Zahl gleichzeitiger Nutzer können den Wert jeweils um ein Mehrfaches verschieben.
Was sie antreibt: Das Lesen Ihres Prompts ist durch die Rechenleistung der GPU begrenzt und passiert einmal pro Anfrage. Das Schreiben der Antwort ist durch die Speicherbandbreite begrenzt, denn jeder neue Token liest die Gewichte erneut. Batching verteilt dieses Lesen auf viele Anfragen, bis der Key-Value-Cache keinen Platz mehr hat. Wieder der Spielraum.
Nennen Sie uns das Modell, die Quantisierung, die Kontextlänge und ungefähr, wie viele Anfragen gleichzeitig eintreffen. Wenn wir etwas Ähnliches betrieben haben, sagen wir Ihnen, was wir gesehen haben und auf welcher GPU. Wenn nicht, sagen wir Ihnen auch das.
Der Live-Chat bringt Ihnen innerhalb von Sekunden eine Antwort von einer KI, die in Ihr Konto und Ihren Server schaut, und von einem Kollegen, wann immer Sie danach fragen. Reaktionszeiten stehen auf der Support-Seite.
08 LLM-Trainingsserver
Ausliefern braucht die Gewichte. Training braucht die Gewichte, die Gradienten und den Optimierer-Zustand für jeden Parameter, den es aktualisiert – alles gleichzeitig geladen – plus die Aktivierungen, die für den Rückwärtsdurchlauf gehalten werden. Ein Modell, das bequem auf einer GPU ausliefert, kann um ein Mehrfaches zu groß sein, um darauf vollständig feingetunt zu werden.
Parametereffiziente Methoden wie LoRA aktualisieren einen kleinen Anteil der Parameter und brauchen einen entsprechend kleinen Anteil des zusätzlichen Speichers, weshalb das meiste Feintuning auf unseren Maschinen eine davon nutzt. Training streamt außerdem ständig Batches über die Verbindung zwischen Prozessor und GPU, daher spielt die PCIe-Generation der Maschine hier eine Rolle, die sie beim Ausliefern nicht hat. GPU-Dedicated-Server zeigt, welche Plattform jeder GPU welche Verbindung gibt.
Senden Sie uns das Modell, die Methode, die Sequenzlänge und die Datensatzgröße, und wir bemessen es gemeinsam mit Ihnen. Für mehr als eine GPU siehe Multi-GPU- und Cluster-Server.
+ Vom Marktplatz
Besitzer listen diese GPU-Maschinen auf unserem Marktplatz und legen ihre eigenen monatlichen Preise fest. Eine als über unser Schwesterunternehmen Server Room gelistete Maschine wird auf serverroom.net gemietet.
09 In short
10 Fragen
Gesammelt aus Live-Chat und Tickets. Die ersten vier entscheiden, ob eine Bestellung funktioniert.
LLM-Hosting bedeutet, ein großes Sprachmodell auf einem Server zu betreiben, den Sie kontrollieren, statt die API eines anderen Anbieters aufzurufen. Bei uns heißt das: Sie mieten einen kompletten physischen Server mit eigener dedizierter GPU, Root-Zugriff und einem frischen Betriebssystem und installieren dann das Modell und die Laufzeitumgebung, die Sie möchten. Es ist produktionsreif im schlichten Sinn: Die GPU gehört allein Ihnen, und die Versionen bestimmen Sie.
Nehmen Sie die Parameterzahl und multiplizieren Sie sie mit den Bytes pro Parameter: 2 bei 16-Bit, 1 bei 8-Bit und 0,5 bei 4-Bit. Ein 7–8B-Modell hat etwa 16 GB Gewichte bei 16-Bit, 8 GB bei 8-Bit und 5 GB bei 4-Bit. Ein 70B-Modell liegt bei etwa 140 GB, 70 GB und 38 GB. Das sind nur die Gewichte, planen Sie also 25 bis 50 Prozent obendrauf für Laufzeit, Aktivierungen und den Cache, der die Konversation hält.
Bei 4-Bit sind die Gewichte etwa 38 GB groß, Sie brauchen also mit Spielraum zum Ausliefern eine GPU mit 64 GB oder mehr: eine GPU, eine Maschine. Bei 8-Bit sind die Gewichte 70 GB groß, das schaffen nur unsere größten Einzel-GPUs, und auch nur für einen Nutzer gleichzeitig – planen Sie also mehr als eine GPU ein, wenn Sie Traffic bedienen. Bei 16-Bit passt es auf keine einzelne GPU, die wir einbauen, und es wird ein Multi-GPU-Aufbau, den wir anbieten. Die Tabelle oben nennt die genauen GPUs, und die Preise stehen auf GPU dedicated servers.
Weil die Gewichte nicht allein im GPU-Speicher liegen. Die Laufzeit und ihre Puffer sind ebenfalls dort, und jeder Token einer Konversation hinterlässt einen Eintrag im Key-Value-Cache, damit er nicht neu berechnet wird. Dieser Cache wächst mit der Kontextlänge und noch einmal mit jeder gleichzeitig bedienten Anfrage, sodass ein Modell, das gerade so hineinpasst, ungefähr eine kurze Konversation hält. Dimensionieren Sie die GPU auf das Eineinviertel- bis Eineinhalbfache der Gewichte.
Jede. Sie erhalten Root auf einem sauberen Betriebssystem, ohne dass ein Inferenzdienst von uns im Weg steht. vLLM ist die übliche Wahl für echten Traffic, llama.cpp für knappen Speicher oder ältere GPUs, und TGI und SGLang laufen unverändert. Ollama ist der schnellste Weg zu einem Modell, das auf einem Port antwortet. vLLM und Ollama bieten beide einen OpenAI-kompatiblen Endpunkt, sodass bestehender Client-Code nur eine neue Basis-URL braucht.
Das hängt davon ab, wie viel Sie ihn nutzen. Eine API berechnet pro Token und kostet im Leerlauf nichts; Ihr eigener Server kostet jeden Monat dasselbe und im Betrieb nichts extra. Stetiger Traffic, Agenten, die den ganzen Tag laufen, Batch-Jobs und alles mit Datenschutzauflagen fahren auf der eigenen Maschine meist besser, während ein Modell, das zehnmal am Tag aufgerufen wird, das nicht tut. Die monatlichen Zahlen für diese Rechnung stehen auf GPU dedicated servers.
Wir veröffentlichen keine Zahl, denn Modell, Quantisierung, Laufzeitversion, Batch-Größe, Prompt- und Antwortlängen und die Zahl gleichzeitiger Nutzer können sie jeweils um ein Mehrfaches verändern. Das Lesen des Prompts ist durch die Rechenleistung begrenzt, das Schreiben der Antwort durch die Speicherbandbreite, und Batching verteilt die Kosten auf Anfragen, bis der Cache voll ist. Nennen Sie uns Modell, Quantisierung und erwartete Nutzer, und wir teilen mit, was wir tatsächlich gesehen haben.
Dann ist es ein Multi-GPU-Aufbau, den wir anbieten statt über einen Checkout zu verkaufen, denn wie viele GPUs passen, hängt von ihrer Breite und dem Leistungsbudget des Gehäuses ab. Zwei GPUs ergeben die Summe ihres Speichers nur, wenn die Laufzeit das Modell über beide verteilt, was jede ernsthafte Laufzeit mit etwas Geschwindigkeitseinbuße kann. Unsere Multi-GPU-Seite zeigt, wie das aussieht, und der DGX Spark bietet 128 GB gemeinsamen Speicher in einer Maschine.
Ja, und planen Sie deutlich mehr Speicher ein als beim Ausliefern desselben Modells. Training hält die Gewichte, die Gradienten und den Optimierer-Zustand für jeden aktualisierten Parameter plus die Aktivierungen für den Rückwärtsdurchlauf, sodass ein Modell, das auf einer GPU problemlos ausgeliefert wird, für vollständiges Fine-Tuning dort um ein Mehrfaches zu groß sein kann. Parametereffiziente Methoden wie LoRA brauchen nur einen Bruchteil dieses zusätzlichen Speichers, weshalb das meiste Fine-Tuning auf unseren Maschinen eine davon nutzt.
Ja. Die AMD-Instinct-GPUs gehören zu den GPUs mit dem größten Speicher, die wir einbauen, und sind oft der beste Wert pro Gigabyte, aber Ihre Software muss ROCm statt CUDA unterstützen. Die meisten aktuellen Inferenz-Laufzeiten tun das, und manche Tools darum herum noch nicht. Nennen Sie uns Ihre Laufzeit vor der Bestellung, und wir prüfen sie für Sie.
11 Weiter
Wählen Sie die GPU, die das Arbeitsblatt genannt hat, suchen Sie eine Stadt aus und bestellen Sie. Kein langfristiger Vertrag, und wenn Ihre Zahlen knapp sind, dimensionieren wir zuerst gemeinsam mit Ihnen.