Workload · Găzduirea unui model de limbaj
Găzduirea LLM la Primcast înseamnă un server întreg cu un GPU dedicat, care rulează modelul ales de tine pe runtime-ul ales de tine, la același preț în fiecare lună. Alege dimensiunea și precizia modelului în foaia de calcul, iar aceasta îți indică cel mai mic GPU care îl poate găzdui, cu spațiu suplimentar pentru servire.
Dacă greșești memoria, nimic altceva nu mai contează: un model cu doi gigaocteți prea mare pentru GPU-ul său fie refuză să pornească, fie se târăște pe procesor. De aceea foaia de calcul este primul pas.
70B: 38 GB × 1.5 = 57 GB
Fits on one GPU. The smallest that clears it (3 larger also do):
Instinct MI21064 GB HBM2eThe link opens the machine it goes in. Its price is on GPU dedicated servers.
01 Memorie GPU
Înmulțește numărul de parametri cu octeții pe care îi ocupă fiecare parametru. La 16-bit sunt doi octeți, la 8-bit unul, la 4-bit jumătate de octet. Un model de 70B înseamnă aproximativ 140 GB de greutăți la 16-bit și aproximativ 38 GB la 4-bit.
Cuantizarea la mai puțini biți este ceea ce permite unui model mare să încapă pe un GPU mai mic. Costă ceva calitate, iar cât de mult depinde mai mult de model și de metodă decât de numărul de biți. Dacă acuratețea contează pentru tine, testează ambele versiuni înainte de a alege hardware-ul.
Așteaptă-te ca descărcarea reală să cântărească puțin mai mult decât această sumă, deoarece formatele populare de 4-bit lasă unele straturi la precizie mai mare. Descărcarea implicită a Llama 3.1 70B de la Ollama la 4-bit ajunge la 43 GB, nu 38. Odată ce ai ales fișierul, dimensionează în funcție de greutatea sa reală.
Acestea sunt doar greutățile. Tratează-le ca pe un minim, niciodată ca pe o cerință: secțiunea următoare este partea care îi surprinde pe oameni.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Numărul de parametri este cel declarat de editor și este tot ce contează pentru problema încadrării. Un model care lipsește din această listă se dimensionează la fel, iar altele noi apar în fiecare lună fără să schimbe aritmetica.
MoEAmestec de experți
Un model descris ca „30B cu 3B activi” are nevoie de memoria unui model de 30B și rulează mai aproape de viteza unuia de 3B. Fiecare expert trebuie să rămână încărcat, deoarece fiecare token poate activa unul diferit. Dimensionează întotdeauna de la total.
| Model | Parametri | Rând de dimensionare |
|---|---|---|
| Llama 3.1 / 3.3 Meta | 8B · 70B | 7–8B și 70B |
| Llama 4 Scout Meta | 109B total · 17B activi | Peste rândul 70B: dimensionează de la 109B |
| Qwen3 Alibaba | 8B · 14B · 32B | Primele trei rânduri |
| Qwen3 30B-A3B Alibaba | 30B total · 3B activi | 30–34B, dimensionat de la total |
| DeepSeek-R1 distilat | 7B – 70B | Unul pe rând: alege-l pe cel pe care îl poate găzdui GPU-ul tău |
| Mistral Small 3.2 Mistral AI | 24B | Între rândurile doi și trei: fă aritmetica |
| Gemma 3 Google | 12B · 27B | 13–14B și chiar sub 30–34B |
| Phi-4 Microsoft | 14B | 13–14B |
| gpt-oss OpenAI | 20B · 120B | Livrat la 4-bit: un GPU de 16 GB și un GPU de 80 GB |
02 Spațiu de siguranță
Pentru că greutățile împart memoria GPU cu runtime-ul și cu conversația. Povestea obișnuită: modelul are 38 GB, GPU-ul are 40, se încarcă și reușește aproximativ un chat scurt înainte ca cererile să înceapă să se pună în coadă. Mișcă glisorul și urmărește cum crește conversația.
Un utilizator, context scurt: multiplicatorul ×1.25 acoperă acest caz.
03 Server GPU pentru LLM
Găsește-ți modelul în stânga și precizia în partea de sus. Fiecare celulă numește cel mai mic GPU pe care îl instalăm și care poate găzdui acele greutăți cu spațiu pentru servire, plus un link către mașina în care intră. Acolo unde niciun GPU singur nu este suficient, celula o spune.
| If you want to run | at 16-bit | at 8-bit | at 4-bit |
|---|---|---|---|
| 7-8 billion parameters | TESLA P40 / QUADRO P600024 GB16 GB of weights | TITAN V12 GB HBM28 GB of weights | TESLA P48 GB GDDR55 GB of weights |
| 13-14 billion parameters | RTX A600048 GB GDDR6 ECC28 GB of weights | TESLA P40 / QUADRO P600024 GB14 GB of weights | TITAN V12 GB HBM28 GB of weights |
| 30-34 billion parameters | More than one GPUNothing we fit holds it alone68 GB of weights | Instinct MI21064 GB HBM2e34 GB of weights | Tesla V100 32GB32 GB HBM219 GB of weights |
| 70 billion parameters | More than one GPUNothing we fit holds it alone140 GB of weights | More than one GPUNothing we fit holds it alone70 GB of weights | Instinct MI21064 GB HBM2e38 GB of weights |
04 GPU-urile
Instalăm 56 GPU-uri cu o cifră de memorie publicată, iar cel mai mare are 96 GB. Această listă începe de sus pentru că întrebarea aici este „care este cel mai mare model pe care îl pot rula”. Servere dedicate GPU listează aceleași GPU-uri de la cea mai ieftină mașină în sus, cu prețuri. Un GPU al cărui producător nu publică memoria este omis, nu ghicit.
Unele GPU-uri vin în mai mult de un șasiu, iar generația PCIe a mașinii de dedesubt schimbă ce poate face un GPU modern. Ambele sunt pe servere dedicate GPU. Dacă preferi să nu aștepți o configurație, vezi mașinile finalizate pe servere instant.
05 LLM auto-găzduit
Primești serverul cu un sistem de operare proaspăt și acces root. Nu există niciun serviciu de inferență de-al nostru în fața modelului tău și nimic nu se actualizează singur cu o săptămână înainte de termenul tău. Păstrează driverul GPU, CUDA sau ROCm și framework-ul tău exact pe versiunile cu care ai testat. Dacă vrei driverul instalat înainte de predare, spune-o în comandă și menționează versiunea.
vLLM și Ollama răspund ambele pe un endpoint compatibil OpenAI, așa că codul scris pentru un API găzduit poate indica serverul tău schimbând un singur URL de bază.
Batching-ul continuu și atenția paginată permit unui singur GPU să răspundă la multe cereri simultan. Aceasta este diferența dintre un demo și un serviciu. Are nevoie de un GPU rezonabil de modern.
Formatele sale cuantizate sunt motivul pentru care un model mare încape pe un GPU mic, și poate împărți munca între procesor și GPU atunci când greutățile nu încap chiar.
Servere de producție din aceeași familie, cu puncte forte diferite în jurul ieșirii structurate, reutilizării prefixelor și servirii mai multor modele. Rulează aici neschimbate.
Cea mai scurtă cale de la o mașină goală la un model care răspunde pe un port. Zece minute cu el îți spun dacă dimensionarea ta a fost corectă.
06 Închiriază un server pentru LLM-ul tău
Un API găzduit este ușor de început. Acestea sunt cele patru motive pentru care oamenii își mută modelul pe o mașină proprie.
Greutățile, prompturile, documentele recuperate și fiecare token generat rămân pe o mașină la care doar tu te poți autentifica. Alegi și jurisdicția: Amsterdam sau București păstrează datele în UE, San Francisco, Miami sau New York le păstrează în SUA. Ce GPU-uri are fiecare oraș este pe pagina de comandă.
Un API facturează fiecare token, iar un agent sau un job batch produce tokeni toată ziua. Serverul tău costă la fel în fiecare lună, oricât de ocupat ar fi, și nimic nu contorizează portul, așa că aducerea greutăților și trimiterea răspunsurilor nu adaugă nimic la factură. Cifrele lunare sunt pe servere dedicate GPU.
Modelul pe care îl fixezi astăzi răspunde la fel peste șase luni. Fără plafon de cereri pe minut, fără coadă la ora aglomerată a altcuiva, fără notificare de retragere. Schimbul corect este că upgrade-urile sunt ale tale de făcut, când îți convine.
Recuperarea are nevoie de un model de embedding, un vector store și discuri rapide. Agenții au nevoie de loc pentru a-și rula uneltele. NVMe pentru stocare, nuclee de procesor pentru pipeline și GPU pentru tokeni: o singură mașină le duce pe toate.
07 Viteză
Depinde de prea multe lucruri pentru un singur număr onest, așa că nu publicăm o cifră de tokeni pe secundă. Modelul, cuantizarea, runtime-ul și versiunea lui, dimensiunea lotului, lungimile promptului și răspunsului și numărul de utilizatori simultan pot fiecare să o modifice de mai multe ori.
Ce o determină: citirea promptului tău este limitată de aritmetica GPU-ului și are loc o dată pe cerere. Scrierea răspunsului este limitată de lățimea de bandă a memoriei, pentru că fiecare token nou citește din nou greutățile. Batching-ul împarte acea citire pe multe cereri, până când cache-ul cheie-valoare rămâne fără loc. Din nou spațiul de siguranță.
Spune-ne modelul, cuantizarea, lungimea contextului și aproximativ câte cereri sosesc simultan. Dacă am rulat ceva similar, îți spunem ce am văzut și pe ce GPU. Dacă nu, îți spunem și asta.
Chatul live îți aduce un răspuns în câteva secunde de la un AI care se uită în contul tău și pe serverul tău, și de la un coleg ori de câte ori ceri. Timpii de răspuns sunt pe pagina de suport.
08 Servere de antrenament LLM
Servirea are nevoie de greutăți. Antrenamentul are nevoie de greutăți, gradienți și starea optimizatorului pentru fiecare parametru pe care îl actualizează, toate încărcate simultan, plus activările păstrate pentru trecerea înapoi. Un model care servește confortabil pe un GPU poate fi de câteva ori prea mare pentru a fi fine-tuned complet pe el.
Metodele eficiente în parametri, cum ar fi LoRA, actualizează o mică parte din parametri și au nevoie de o mică parte corespunzătoare din memoria suplimentară, motiv pentru care majoritatea fine-tuning-ului pe mașinile noastre folosește una. Antrenamentul, de asemenea, transmite continuu loturi prin legătura dintre procesor și GPU, așa că generația PCIe a mașinii contează aici într-un mod în care nu contează pentru servire. Servere dedicate GPU arată ce platformă oferă fiecărui GPU ce legătură.
Trimite-ne modelul, metoda, lungimea secvenței și dimensiunea setului de date și îl vom dimensiona împreună cu tine. Pentru mai mult de un GPU, vezi servere multi-GPU și cluster.
+ De pe piață
Proprietarii listează aceste mașini GPU pe piața noastră și își stabilesc propriile prețuri lunare. Una marcată ca listată prin compania noastră soră, Server Room, este închiriată pe serverroom.net.
09 In short
10 Întrebări
Adunate din chatul live și din tichete. Primele patru decid dacă o comandă funcționează.
Găzduirea LLM înseamnă să rulezi un model de limbaj mare pe un server pe care îl controlezi, în loc să apelezi API-ul altcuiva. La noi, asta înseamnă că închiriezi un server fizic întreg, cu propriul GPU dedicat, acces root și un sistem de operare proaspăt, apoi instalezi modelul și runtime-ul dorit. Este de nivel de producție în sensul simplu: GPU-ul este doar al tău, iar versiunile le alegi tu.
Ia numărul de parametri și înmulțește-l cu octeții per parametru, adică 2 pentru 16 biți, 1 pentru 8 biți și 0,5 pentru 4 biți. Un model de 7–8B înseamnă aproximativ 16 GB de ponderi la 16 biți, 8 GB la 8 biți și 5 GB la 4 biți. Un model de 70B înseamnă aproximativ 140 GB, 70 GB și 38 GB. Acestea sunt doar ponderile, așa că planifică încă 25 până la 50 la sută în plus pentru runtime, activări și cache-ul care păstrează conversația.
La 4 biți, ponderile sunt de aproximativ 38 GB, așa că, pentru a avea loc să servești, ai nevoie de un GPU cu 64 GB sau mai mult: un GPU, o mașină. La 8 biți, ponderile sunt de 70 GB, pe care doar cele mai mari GPU-uri individuale ale noastre le pot ține, și doar pentru un utilizator odată, așa că planifică mai mult de un GPU dacă servești trafic. La 16 biți, niciun GPU individual pe care îl montăm nu îl poate ține și devine o construcție multi-GPU pe care o cotăm. Tabelul de mai sus numește GPU-urile exacte, iar prețurile sunt pe servere dedicate GPU.
Pentru că ponderile nu sunt singure în memoria GPU. Runtime-ul și bufferele sale stau și ele acolo, iar fiecare token dintr-o conversație lasă o intrare în cache-ul cheie-valoare, ca să nu fie recalculat. Acel cache crește cu lungimea contextului și din nou cu fiecare cerere servită în același timp, așa că un model care abia încape ține aproximativ o conversație scurtă. Dimensionează GPU-ul la o dată și un sfert până la o dată și jumătate din ponderi.
Orice. Primești root pe un sistem de operare curat, fără niciun serviciu de inferență de-al nostru în cale. vLLM este alegerea obișnuită pentru a servi trafic real, llama.cpp pentru memorie strânsă sau GPU-uri mai vechi, iar TGI și SGLang rulează neschimbate. Ollama este cea mai rapidă cale către un model care răspunde pe un port. vLLM și Ollama oferă ambele un endpoint compatibil OpenAI, așa că codul client existent are nevoie doar de un nou URL de bază.
Depinde cât de mult îl folosești. Un API taxează per token și nu costă nimic când este inactiv; serverul tău costă la fel în fiecare lună și nimic în plus când este ocupat. Traficul constant, agenții care rulează toată ziua, joburile batch și orice cu reguli de confidențialitate tind să iasă în avantaj pe propria mașină, în timp ce un model apelat de zece ori pe zi nu. Cifrele lunare pentru acea sumă sunt pe servere dedicate GPU.
Nu publicăm o cifră, pentru că modelul, cuantizarea, versiunea runtime-ului, dimensiunea lotului, lungimile promptului și răspunsului și numărul de utilizatori simultani pot schimba fiecare rezultatul de mai multe ori. Citirea promptului este limitată de aritmetică, iar scrierea răspunsului de lățimea de bandă a memoriei, iar procesarea în lot împarte costul între cereri până când cache-ul se umple. Spune-ne modelul, cuantizarea și utilizatorii așteptați și îți vom împărtăși ce am văzut efectiv.
Atunci este o construcție multi-GPU, pe care o cotăm în loc să o vindem dintr-un checkout, pentru că numărul de GPU-uri care încap depinde de lățimea lor și de bugetul de putere al șasiului. Două GPU-uri îți dau suma memoriei lor doar dacă runtime-ul împarte modelul între ambele, ceea ce orice runtime serios poate face cu un anumit cost de viteză. Pagina noastră multi-GPU arată cum arată asta, iar DGX Spark oferă 128 GB de memorie partajată într-o singură mașină.
Da, și planifică mult mai multă memorie decât pentru servirea aceluiași model. Antrenarea păstrează ponderile, gradienții și starea optimizatorului pentru fiecare parametru actualizat, plus activările pentru trecerea înapoi, așa că un model care servește ușor pe un GPU poate fi de câteva ori prea mare pentru a fi fine-tuned complet acolo. Metodele eficiente în parametri, precum LoRA, au nevoie doar de o fracțiune din acea memorie suplimentară, motiv pentru care majoritatea fine-tuning-urilor pe mașinile noastre folosesc una.
Da. GPU-urile AMD Instinct sunt printre GPU-urile cu cea mai mare memorie pe care le montăm și adesea cea mai bună valoare per gigabyte, dar software-ul tău trebuie să suporte ROCm în loc de CUDA. Majoritatea runtime-urilor actuale de inferență o fac, iar unele unelte din jurul lor încă nu. Spune-ne runtime-ul înainte de a comanda și îl vom verifica pentru tine.
11 În continuare
Alege GPU-ul indicat de foaia de calcul, alege un oraș și comandă. Fără contract pe termen lung, iar dacă cifrele tale sunt apropiate, îl vom dimensiona împreună cu tine mai întâi.