Modèles de langages sur serveur nu · Primcast LLC · depuis 2004
Les visiteurs arrivent sur cette page en pensant que le choix se résume à trouver l'accélérateur le plus rapide. Ce n'est pas le cas. Les poids des données tiennent dans la mémoire de la carte ou non ; une carte avec deux gigaoctets de moins ne sera pas plus lente, elle ne pourra tout simplement pas se charger. Cette page suit donc l'ordre réel du processus de décision : la taille du modèle, la précision d'exécution, l'espace nécessaire pour la communication, et enfin, la carte la plus adaptée. Les prix sont affichés sur la page suivante, intentionnellement.
Quelle carte gère mon modèle Ce que j'y installe
Un seul utilisateur par machine. La carte est transmise à votre système d'exploitation, et vous pouvez choisir et définir les versions de l'environnement d'exécution, du pilote et du framework.
Étape 1
Le calcul se résume au produit des paramètres par leur taille en octets. Un poids sur 16 bits occupe deux octets, sur 8 bits un octet et sur 4 bits un demi-octet. Un modèle à sept milliards de paramètres sur 16 bits représente 14 gigaoctets de poids ; le même modèle sur 4 bits en occupe entre trois et quatre.
La quantification permet à une machine incapable de contenir un modèle d'en devenir capable. Elle a un coût en termes de qualité, et ce coût dépend bien plus du modèle et de la méthode que du seul nombre de bits. Un modèle 4 bits bien quantifié est généralement plus proche de sa pleine précision qu'on ne le pense, tandis qu'un modèle 8 bits mal quantifié peut être pire. Si la précision est l'objectif, testez les deux versions avant de choisir le matériel ; il est moins coûteux de détecter la différence maintenant qu'après la livraison.
Ces chiffres correspondent aux poids, et rien d'autre. Ils représentent le minimum, pas l'exigence. La section suivante est celle qui induit souvent en erreur.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Étape deux
Voici l'erreur la plus fréquente lors de l'achat d'une carte graphique, et elle se produit toujours de la même manière : quelqu'un lit que son modèle a une capacité de trente-huit gigaoctets, achète une carte de quarante gigaoctets, l'installe avec succès, et découvre ensuite qu'elle peut contenir à peu près une courte conversation.
Le chargement d'un modèle n'est pas la seule chose qui occupe la carte. L'environnement d'exécution lui-même, ses tampons et les activations de tout ce qui est calculé résident tous dans la même mémoire que les poids.
Chaque jeton déjà utilisé dans une conversation laisse une trace dans le cache clé-valeur afin d'éviter son recalcul. Ce cache s'agrandit avec la longueur du contexte et à chaque requête simultanée. Un contexte long ou un point de terminaison très sollicité peuvent nécessiter autant de mémoire qu'un modèle simple.
Prévoyez au moins un quart de mémoire supplémentaire par rapport aux poids, et encore la moitié si le contexte est long ou si le terminal est occupé. C'est la règle que le tableau de la section suivante applique : chaque carte qu'il mentionne contient une capacité une fois et demie supérieure aux poids.
Indiquez-nous le modèle, la quantification, la longueur du contexte souhaitée et le nombre approximatif de requêtes simultanées. Nous préférons vous convaincre d'opter pour une carte plus performante dès maintenant, ou un modèle moins performant, plutôt que de recevoir une commande qui s'avère décevante dès la première semaine et qui donne lieu à une demande de remboursement.
Étape trois
Consultez la section correspondant à la taille de votre modèle et la section horizontale correspondant à la précision souhaitée. Chaque case indique la plus petite carte compatible avec ces poids, avec suffisamment d'espace pour d'autres pièces, et renvoie à la machine correspondante. Si le catalogue ne propose pas de solution adaptée, la case le précise.
| If you want to run | at 16-bit | at 8-bit | at 4-bit |
|---|---|---|---|
| 7-8 billion parameters | TESLA P40 / QUADRO P600024 GB16 GB of weights | TITAN V12 GB HBM28 GB of weights | TESLA P48 GB GDDR55 GB of weights |
| 13-14 billion parameters | RTX A600048 GB GDDR6 ECC28 GB of weights | TESLA P40 / QUADRO P600024 GB14 GB of weights | TITAN V12 GB HBM28 GB of weights |
| 30-34 billion parameters | More than one cardNothing we fit holds it alone68 GB of weights | Instinct MI21064 GB HBM2e34 GB of weights | Tesla V100 32GB32 GB HBM219 GB of weights |
| 70 billion parameters | More than one cardNothing we fit holds it alone140 GB of weights | More than one cardNothing we fit holds it alone70 GB of weights | Instinct MI21064 GB HBM2e38 GB of weights |
Lorsque la réponse est « plus d'une carte », il s'agit d'une configuration spécifique et non d'une option de paiement. La page dédiée aux configurations multi-GPU et multi-nœuds explique en détail leur fonctionnement et leurs limitations. Le coût mensuel de chaque carte et du serveur associé est celui des serveurs dédiés GPU ; chaque valeur est liée à la machine concernée, c'est pourquoi cette page ne les répète pas.
De mémoire, du plus grand au plus petit
Le même catalogue que la page des prix des GPU, trié dans l'ordre inverse : cette page commence par la machine complète la moins chère, car elle répond à la question « quel est le prix ? », et celle-ci commence par la carte graphique la plus performante, car elle répond à la question « quelle est la configuration maximale que je peux utiliser ? ». Une carte dont le fabricant ne communique pas la mémoire est omise plutôt que d'être affichée avec une case vide, car une ligne non comparable est inutile pour une comparaison.
Plusieurs de ces cartes graphiques sont disponibles sur différents châssis, parfois à des prix variés, et la génération du bus de la machine sous-jacente influe sur les performances réelles d'une carte graphique moderne — ces deux éléments étant présents sur les serveurs dédiés GPU . La question de savoir ce qui est actuellement installé et opérationnel est une autre affaire, à laquelle répondent les serveurs instantanés .
Ce que vous installez dessus
La machine est livrée avec un système d'exploitation et un accès root vierges. Aucun service d'inférence fournisseur n'est requis, aucun environnement d'exécution géré ne se met à jour automatiquement la semaine précédant une échéance, et aucune API n'est présente devant votre modèle. Vous installez ce dont vous avez besoin et vous choisissez la version avec laquelle votre code a été testé.
La solution habituelle pour gérer un trafic réel lors de la simulation d'une démo. Le traitement par lots continu et la gestion de l'attention par pagination permettent à une seule carte de répondre à plusieurs requêtes simultanément au lieu d'une seule à la fois, ce qui constitue généralement la différence entre une démo et un service. Une carte relativement récente est requise.
Réponse habituelle lorsque la mémoire est limitée ou que la carte est ancienne. Ses formats quantifiés permettent à un modèle volumineux de tenir sur une petite carte, et elle exploite pleinement le processeur et la carte lorsque les poids ne correspondent pas exactement. Plus lente par requête, mais beaucoup plus tolérante.
Serveurs de production de la même famille que vLLM, avec des atouts différents concernant la sortie structurée, la réutilisation des préfixes et la gestion de plusieurs modèles. Si vous en avez déjà un dans votre infrastructure, il fonctionnera ici sans modification.
Le chemin le plus court entre une machine vide et un modèle répondant sur un port. À privilégier même si vous aboutissez ailleurs, car cela vous indiquera en une dizaine de minutes si votre dimensionnement était correct.
Quel que soit votre choix, vous pouvez figer le pilote, la version CUDA ou ROCm et la version du framework, et aucune mise à jour ne sera effectuée automatiquement. Si vous préférez que le pilote soit installé avant le transfert, veuillez le préciser dans la commande et indiquer la version.
À quelle vitesse cela va-t-il se passer ?
Chaque valeur de ce type dépend du modèle, de la quantification, de l'environnement d'exécution et de sa version, de la taille du lot, de la longueur de l'invite, de la longueur de la réponse et du nombre de requêtes en cours. Modifiez l'un de ces paramètres et la valeur est multipliée. Une valeur affichée qui ne tient pas compte de tous ces éléments est choisie pour son aspect esthétique, et c'est sur la base de cette valeur que nous serons cités.
Nous allons vous expliquer ce qui le régit, afin que vous puissiez raisonner concernant votre propre cas :
Veuillez nous indiquer le modèle, la quantification prévue, la longueur du contexte et le nombre approximatif de requêtes simultanées attendues. Si nous avons déjà effectué des tests comparables, nous vous ferons part de nos observations et du contexte. Dans le cas contraire, nous vous le préciserons également.
C'est une meilleure base pour un achat qu'un graphique de référence, et cela prend environ une minute.
L'assistance standard est disponible par téléphone, chat et tickets, tous les jours de l'année. Les délais de réponse sont indiqués par écrit.
Au-delà du service
Tout ce qui précède dimensionne un modèle pour l'inférence : poids en entrée, jetons en sortie. L'entraînement ou l'ajustement fin de ce même modèle pose un problème de mémoire différent, et la différence est loin d'être négligeable.
Le déploiement nécessite les poids. L'entraînement requiert les poids, les gradients et l'état de l'optimiseur pour chaque paramètre mis à jour, le tout simultanément, ainsi que les activations nécessaires pour remonter le réseau. Un modèle fonctionnant correctement sur une seule carte peut être beaucoup trop volumineux pour être entièrement optimisé sur cette même carte.
Les méthodes économes en paramètres — adaptateurs, mises à jour de faible rang et leurs variantes quantifiées — mettent à jour une petite partie des paramètres et nécessitent donc une quantité réduite de mémoire supplémentaire. Pour la plupart des tâches de réglage fin, c'est le choix le plus pratique et celui qui s'adapte au matériel dont vous pouvez vous permettre l'entretien.
Le modèle, la méthode, la longueur de la séquence et la taille de l'ensemble de données sont essentiels. Nous ne publierons pas de coefficient multiplicateur ici, car le coefficient réel dépend de ces quatre éléments, et une valeur arbitraire sous-dimensionnant votre machine serait contre-productive. Si la réponse est « plus d'une carte », les configurations multi-GPU et multi-nœuds détaillent la configuration requise.
Une boucle d'entraînement transmet des lots de données en continu via la liaison entre le processeur et la carte, de sorte que la génération PCIe de la machine sous-jacente constitue une contrainte réelle et non une simple spécification. L'inférence sur un modèle résident n'y est que très peu sensible. La correspondance entre les cartes et les liaisons est publiée sur les serveurs dédiés GPU et comparée entre les plateformes sur des environnements multi-GPU et multi-nœuds .
Où aller ensuite
Cette page répond à une seule question : comment exécuter un modèle ? Tout ce qui est adjacent a sa propre page, et celle-ci les regroupe toutes.
Demandé avant
Ces questions proviennent des demandes que nous recevons par chat et via les tickets, plus ou moins dans l'ordre où elles apparaissent. Les deux premières déterminent la validité d'un achat.
For the record
Card memory is the manufacturers’ published figure; which cards exist is read from the order catalogue when this page was served. No monthly price appears here on purpose — GPU dedicated servers holds every one, against the exact machine it belongs to.
