Charge de travail · Héberger un modèle de langage
L’hébergement LLM chez Primcast, c’est un serveur entier avec un GPU dédié, qui exécute le modèle de votre choix sur le runtime de votre choix, au même prix chaque mois. Choisissez la taille et la précision de votre modèle sur la feuille de calcul et elle indique le plus petit GPU capable de le contenir avec de la marge pour servir.
Si vous vous trompez sur la mémoire, rien d’autre ne compte : un modèle trop grand de deux gigaoctets pour son GPU refuse de démarrer ou rampe sur le processeur. C’est pourquoi la feuille de calcul vient en premier.
70B: 38 GB × 1.5 = 57 GB
Fits on one GPU. The smallest that clears it (3 larger also do):
Instinct MI21064 GB HBM2eThe link opens the machine it goes in. Its price is on GPU dedicated servers.
01 Mémoire GPU
Multipliez le nombre de paramètres par les octets que chaque paramètre occupe. En 16 bits, cela fait deux octets, en 8 bits un, en 4 bits un demi-octet. Un modèle de 70B représente environ 140 Go de poids en 16 bits et environ 38 Go en 4 bits.
La quantification sur moins de bits est ce qui permet à un grand modèle de tenir sur un GPU plus petit. Cela coûte un peu de qualité, et combien dépend davantage du modèle et de la méthode que du nombre de bits. Si la précision compte pour vous, testez les deux versions avant de choisir le matériel.
Attendez-vous à ce que le téléchargement réel pèse un peu plus que cette somme, car les formats 4 bits populaires laissent certaines couches à une précision supérieure. Le téléchargement par défaut d’Ollama de Llama 3.1 70B en 4 bits atteint 43 Go plutôt que 38. Une fois le fichier choisi, dimensionnez à partir de son poids réel.
Ce sont les poids seuls. Considérez-les comme le plancher, jamais comme l’exigence : la section suivante est celle qui piège les gens.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Le nombre de paramètres est celui de l’éditeur et c’est tout ce que la question de l’ajustement exige. Un modèle absent de cette liste se dimensionne de la même façon, et de nouveaux arrivent chaque mois sans changer l’arithmétique.
MoEMélange d’experts
Un modèle décrit comme « 30B avec 3B actifs » a besoin de la mémoire d’un modèle de 30B et tourne à une vitesse plus proche de celle d’un modèle de 3B. Chaque expert doit rester chargé, car chaque jeton peut en réveiller un différent. Dimensionnez toujours à partir du total.
| Modèle | Paramètres | Ligne de dimensionnement |
|---|---|---|
| Llama 3.1 / 3.3 Meta | 8B · 70B | 7–8B, et 70B |
| Llama 4 Scout Meta | 109B total · 17B actifs | Au-dessus de la ligne 70B : dimensionnez à partir de 109B |
| Qwen3 Alibaba | 8B · 14B · 32B | Les trois premières lignes |
| Qwen3 30B-A3B Alibaba | 30B total · 3B actifs | 30–34B, dimensionné à partir du total |
| DeepSeek-R1 distillé | 7B – 70B | Un par ligne : choisissez celui que votre GPU contient |
| Mistral Small 3.2 Mistral AI | 24B | Entre les lignes deux et trois : faites l’arithmétique |
| Gemma 3 Google | 12B · 27B | 13–14B, et juste sous 30–34B |
| Phi-4 Microsoft | 14B | 13–14B |
| gpt-oss OpenAI | 20B · 120B | Livré en 4 bits : un GPU de 16 Go, et un GPU de 80 Go |
02 Marge de manœuvre
Parce que les poids partagent la mémoire GPU avec le runtime et avec la conversation. L’histoire habituelle : le modèle fait 38 Go, le GPU en a 40, il se charge, et il gère environ une courte conversation avant que les requêtes ne commencent à s’accumuler. Déplacez le curseur et regardez la conversation grandir.
Un utilisateur, contexte court : le multiplicateur ×1,25 couvre cela.
03 Serveur GPU pour LLM
Trouvez votre modèle à gauche et votre précision en haut. Chaque cellule nomme le plus petit GPU que nous installons et qui contient ces poids avec de la marge pour servir, et renvoie vers la machine dans laquelle il se trouve. Là où aucun GPU seul ne suffit, la cellule le dit.
| If you want to run | at 16-bit | at 8-bit | at 4-bit |
|---|---|---|---|
| 7-8 billion parameters | TESLA P40 / QUADRO P600024 GB16 GB of weights | TITAN V12 GB HBM28 GB of weights | TESLA P48 GB GDDR55 GB of weights |
| 13-14 billion parameters | RTX A600048 GB GDDR6 ECC28 GB of weights | TESLA P40 / QUADRO P600024 GB14 GB of weights | TITAN V12 GB HBM28 GB of weights |
| 30-34 billion parameters | More than one GPUNothing we fit holds it alone68 GB of weights | Instinct MI21064 GB HBM2e34 GB of weights | Tesla V100 32GB32 GB HBM219 GB of weights |
| 70 billion parameters | More than one GPUNothing we fit holds it alone140 GB of weights | More than one GPUNothing we fit holds it alone70 GB of weights | Instinct MI21064 GB HBM2e38 GB of weights |
04 Les GPU
Nous installons 56 GPU avec un chiffre de mémoire publié, et le plus grand contient 96 GB. Cette liste commence par le haut parce que la question ici est « quel est le plus grand modèle que je peux exécuter ». Serveurs dédiés GPU liste les mêmes GPU depuis la machine la moins chère, avec les prix. Un GPU dont le fabricant ne publie pas sa mémoire est laissé de côté plutôt que deviné.
Certains GPU existent dans plus d’un châssis, et la génération PCIe de la machine sous-jacente change ce qu’un GPU moderne peut faire. Les deux figurent sur serveurs dédiés GPU. Si vous préférez ne pas attendre une configuration, voyez les machines terminées sur serveurs instantanés.
05 LLM auto-hébergé
Vous recevez le serveur avec un système d’exploitation frais et un accès root. Il n’y a aucun service d’inférence de notre part devant votre modèle et rien ne se met à jour tout seul la semaine avant votre échéance. Gardez le pilote GPU, CUDA ou ROCm et votre framework exactement sur les versions avec lesquelles vous avez testé. Si vous voulez le pilote installé avant la remise, dites-le sur la commande et indiquez la version.
vLLM et Ollama répondent tous deux sur un point de terminaison compatible OpenAI, donc le code écrit pour une API hébergée pointe vers votre propre serveur en changeant une seule URL de base.
Le traitement par lots continu et l’attention paginée permettent à un GPU de répondre à de nombreuses requêtes à la fois. C’est la différence entre une démo et un service. Il lui faut un GPU raisonnablement moderne.
Ses formats quantifiés sont la raison pour laquelle un grand modèle tient sur un petit GPU, et il peut répartir le travail entre le processeur et le GPU quand les poids ne tiennent pas tout à fait.
Des serveurs de production de la même famille, avec des points forts différents autour de la sortie structurée, de la réutilisation de préfixes et du service de plusieurs modèles. Ils tournent ici sans modification.
Le chemin le plus court d’une machine vide à un modèle qui répond sur un port. Dix minutes avec lui vous disent si votre dimensionnement était correct.
06 Louez un serveur pour votre LLM
Une API hébergée est facile pour commencer. Voici les quatre raisons pour lesquelles les gens déplacent leur modèle sur une machine à eux.
Les poids, les invites, les documents récupérés et chaque jeton généré restent sur une machine à laquelle vous seul pouvez vous connecter. Vous choisissez aussi la juridiction : Amsterdam ou Bucarest garde les données dans l’UE, San Francisco, Miami ou New York les garde aux États-Unis. Les GPU que chaque ville propose figurent sur la page de commande.
Une API facture chaque jeton, et un agent ou un traitement par lots produit des jetons toute la journée. Votre propre serveur coûte la même chose chaque mois, quelle que soit son activité, et rien ne mesure le port non plus, donc faire entrer les poids et sortir les réponses n’ajoute rien à la facture. Les chiffres mensuels sont sur serveurs dédiés GPU.
Le modèle que vous épinglez aujourd’hui répond de la même façon dans six mois. Pas de plafond de requêtes par minute, pas de file d’attente aux heures chargées de quelqu’un d’autre, pas d’avis de retrait. Le juste compromis est que les mises à niveau sont à vous de les faire, quand cela vous arrange.
La récupération a besoin d’un modèle d’incorporation, d’un magasin de vecteurs et de disques rapides. Les agents ont besoin de place pour exécuter leurs outils. Du NVMe pour le magasin, des cœurs de processeur pour le pipeline et le GPU pour les jetons : une seule machine porte tout cela.
07 Vitesse
Cela dépend de trop de choses pour un seul chiffre honnête, donc nous ne publions pas de chiffre de jetons par seconde. Le modèle, la quantification, le runtime et sa version, la taille du lot, les longueurs d’invite et de réponse et le nombre d’utilisateurs à la fois peuvent chacun le faire varier de plusieurs fois.
Ce qui le détermine : la lecture de votre invite est limitée par l’arithmétique du GPU et se produit une fois par requête. L’écriture de la réponse est limitée par la bande passante mémoire, car chaque nouveau jeton relit les poids. Le traitement par lots répartit cette lecture sur de nombreuses requêtes, jusqu’à ce que le cache clé-valeur n’ait plus de place. Encore la marge de manœuvre.
Dites-nous le modèle, la quantification, la longueur de contexte et à peu près combien de requêtes arrivent à la fois. Si nous avons exécuté quelque chose de similaire, nous dirons ce que nous avons vu et sur quel GPU. Si ce n’est pas le cas, nous le dirons aussi.
Le chat en direct vous donne une réponse en quelques secondes de la part d’une IA qui consulte votre compte et votre serveur, et d’un collègue chaque fois que vous le demandez. Les temps de réponse figurent sur la page d’assistance.
08 Serveurs d’entraînement LLM
Le service a besoin des poids. L’entraînement a besoin des poids, des gradients et de l’état de l’optimiseur pour chaque paramètre qu’il met à jour, tous chargés en même temps, plus les activations conservées pour la passe arrière. Un modèle qui se sert confortablement sur un GPU peut être plusieurs fois trop grand pour y être entièrement réglé finement.
Les méthodes à efficacité de paramètres comme LoRA mettent à jour une petite part des paramètres et ont besoin d’une petite part correspondante de la mémoire supplémentaire, ce qui explique pourquoi la plupart des réglages fins sur nos machines en utilisent une. L’entraînement fait aussi circuler des lots en continu sur le lien entre le processeur et le GPU, donc la génération PCIe de la machine compte ici d’une manière qui n’existe pas pour le service. Serveurs dédiés GPU montre quelle plateforme donne à chaque GPU quel lien.
Envoyez-nous le modèle, la méthode, la longueur de séquence et la taille du jeu de données et nous le dimensionnerons avec vous. Pour plus d’un GPU, voyez serveurs multi-GPU et en grappe.
+ De la place de marché
Les propriétaires listent ces machines GPU sur notre place de marché et fixent leurs propres prix mensuels. Une machine marquée comme listée par notre société sœur, Server Room, est louée sur serverroom.net.
09 In short
10 Questions
Recueillies depuis le chat en direct et les tickets. Les quatre premières déterminent si une commande aboutit.
Héberger un LLM signifie faire tourner un grand modèle de langage sur un serveur que vous contrôlez, au lieu d’appeler l’API de quelqu’un d’autre. Chez nous, cela veut dire louer un serveur physique entier avec son propre GPU dédié, un accès root et un système d’exploitation fraîchement installé, puis installer le modèle et le runtime de votre choix. C’est du niveau production au sens simple : le GPU est à vous seul et les versions sont à vous de les choisir.
Prenez le nombre de paramètres et multipliez-le par les octets par paramètre, soit 2 pour 16 bits, 1 pour 8 bits et 0,5 pour 4 bits. Un modèle de 7–8B représente environ 16 Go de poids en 16 bits, 8 Go en 8 bits et 5 Go en 4 bits. Un modèle de 70B représente environ 140 Go, 70 Go et 38 Go. Ce ne sont que les poids, alors prévoyez 25 à 50 pour cent de plus par-dessus pour le runtime, les activations et le cache qui conserve la conversation.
En 4 bits, les poids font environ 38 Go, donc avec de la marge pour servir, il vous faut un GPU de 64 Go ou plus : un GPU, une machine. En 8 bits, les poids font 70 Go, ce que seuls nos plus grands GPU individuels contiennent, et seulement pour un utilisateur à la fois, alors prévoyez plus d’un GPU si vous servez du trafic. En 16 bits, aucun GPU individuel que nous montons ne le contient et cela devient une configuration multi-GPU que nous chiffrons. Le tableau ci-dessus nomme les GPU exacts, et les prix sont sur GPU dedicated servers.
Parce que les poids ne sont pas seuls dans la mémoire du GPU. Le runtime et ses tampons y sont aussi, et chaque jeton d’une conversation laisse une entrée dans le cache clé-valeur pour ne pas être recalculé. Ce cache grandit avec la longueur du contexte et encore à chaque requête servie en même temps, donc un modèle qui tient tout juste contient environ une courte conversation. Dimensionnez le GPU à une fois et quart à une fois et demie les poids.
N’importe lequel. Vous avez root sur un système d’exploitation propre, sans service d’inférence de notre part dans le chemin. vLLM est le choix habituel pour servir du vrai trafic, llama.cpp pour une mémoire limitée ou des GPU plus anciens, et TGI et SGLang tournent sans modification. Ollama est le moyen le plus rapide d’avoir un modèle qui répond sur un port. vLLM et Ollama offrent tous deux un point de terminaison compatible OpenAI, donc le code client existant n’a besoin que d’une nouvelle URL de base.
Cela dépend de votre usage. Une API facture au jeton et ne coûte rien au repos ; votre propre serveur coûte la même chose chaque mois et rien de plus quand il est occupé. Un trafic régulier, des agents qui tournent toute la journée, des tâches par lots et tout ce qui a des règles de confidentialité ont tendance à être plus avantageux sur leur propre machine, tandis qu’un modèle appelé dix fois par jour ne l’est pas. Les chiffres mensuels pour cette somme sont sur GPU dedicated servers.
Nous ne publions pas de chiffre, car le modèle, la quantification, la version du runtime, la taille du lot, les longueurs de l’invite et de la réponse et le nombre d’utilisateurs simultanés peuvent chacun le faire varier plusieurs fois. La lecture de l’invite est limitée par l’arithmétique et l’écriture de la réponse par la bande passante mémoire, et le traitement par lots répartit le coût entre les requêtes jusqu’à ce que le cache se remplisse. Dites-nous votre modèle, votre quantification et les utilisateurs attendus et nous partagerons ce que nous avons réellement observé.
Alors c’est une configuration multi-GPU, que nous chiffrons plutôt que de vendre depuis un panier, car le nombre de GPU qui tiennent dépend de leur largeur et du budget d’alimentation du châssis. Deux GPU ne vous donnent la somme de leur mémoire que si le runtime répartit le modèle entre les deux, ce que tout runtime sérieux peut faire à un certain coût en vitesse. Notre page multi-GPU montre à quoi cela ressemble, et le DGX Spark offre 128 Go de mémoire partagée dans une seule machine.
Oui, et prévoyez beaucoup plus de mémoire que pour servir le même modèle. L’entraînement conserve les poids, les gradients et l’état de l’optimiseur pour chaque paramètre mis à jour, plus les activations pour la passe arrière, donc un modèle qui se sert facilement sur un GPU peut être plusieurs fois trop gros pour y être entièrement fine-tuné. Les méthodes économes en paramètres comme LoRA n’ont besoin que d’une fraction de cette mémoire supplémentaire, c’est pourquoi la plupart des fine-tunings sur nos machines en utilisent une.
Oui. Les GPU AMD Instinct sont parmi les GPU à plus grande mémoire que nous montons et souvent le meilleur rapport qualité-prix par gigaoctet, mais votre logiciel doit prendre en charge ROCm plutôt que CUDA. La plupart des runtimes d’inférence actuels le font, et certains outils autour d’eux ne le font toujours pas. Dites-nous votre runtime avant de commander et nous le vérifierons pour vous.
11 Suivant
Choisissez le GPU que la feuille de calcul a nommé, choisissez une ville et commandez. Pas de contrat à long terme, et si vos chiffres sont proches, nous dimensionnerons avec vous d’abord.