Modelos de lenguaje en hardware físico · Primcast LLC · desde 2004
La gente llega a esta página creyendo que la decisión se reduce a qué acelerador es el más rápido. No es así. Los pesos caben en la memoria de la tarjeta o no; una tarjeta con dos gigabytes menos no funciona más lento, simplemente no se carga. Por lo tanto, esta página sigue el orden en que se toma la decisión: qué tamaño tiene el modelo, con qué precisión se ejecutará, cuánto espacio necesita la conversación y solo entonces se determina qué tarjeta cumple con los requisitos. Los precios se encuentran en la página siguiente, deliberadamente.
¿Qué tarjeta gráfica utiliza mi modelo? Lo que le instalo
Un inquilino por máquina. La tarjeta se transfiere a su sistema operativo, y usted puede elegir y fijar las versiones del entorno de ejecución, el controlador y el marco de trabajo.
Paso uno
Los parámetros se multiplican por los bytes que ocupa cada parámetro, y ese es todo el cálculo. Los pesos de dieciséis bits ocupan dos bytes cada uno, los de ocho bits uno, y los de cuatro bits medio. Un modelo de siete mil millones de parámetros a dieciséis bits ocupa catorce gigabytes de pesos; el mismo modelo a cuatro bits ocupa entre tres y cuatro.
La cuantización transforma una máquina que no puede procesar un modelo en una que sí puede. Requiere calidad, y la magnitud de esta pérdida depende mucho más del modelo y del método empleado que del número de bits en sí. Un modelo de cuatro bits bien cuantizado suele estar más cerca de su versión de precisión completa de lo que se espera, mientras que uno de ocho bits mal cuantizado puede ser aún peor. Si la precisión es el objetivo principal, conviene probar ambos antes de comprometerse con el hardware; es más económico descubrir la diferencia ahora que después de la entrega.
Estas cifras son los pesos y nada más. Son el mínimo, no el requisito. La siguiente sección es la que suele causar confusión.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Paso dos
Esta es la forma más común en que una compra de GPU sale mal, y siempre sale mal de la misma manera: alguien lee que su modelo es de treinta y ocho gigabytes, compra una tarjeta de cuarenta gigabytes, la instala correctamente y luego descubre que solo puede soportar una conversación corta.
La carga de un modelo no es lo único que ocupa la tarjeta. El entorno de ejecución, sus búferes y las activaciones de lo que se esté calculando residen en la misma memoria que los pesos.
Cada token presente en una conversación deja información en la caché de clave-valor para evitar tener que recalcularla. Esta caché crece con la duración del contexto y, de nuevo, con cada solicitud que se procesa simultáneamente. Un contexto extenso o un punto final con mucha actividad pueden requerir tanta memoria como un modelo pequeño.
Presupuesta al menos un cuarto más de memoria de tarjeta que los pesos, y la mitad más si el contexto es largo o el punto final está ocupado. Esa es la regla que aplica la tabla de la siguiente sección: cada tarjeta que menciona almacena los pesos una vez y media.
Indíquenos el modelo, la cuantización, la longitud del contexto que necesita y aproximadamente cuántas solicitudes simultáneas. Preferimos convencerle de que adquiera una tarjeta de mayor capacidad ahora, o un modelo más pequeño, a aceptar un pedido que le decepcione en la primera semana y que luego solicite un reembolso.
Paso tres
Lea la información hasta encontrar el tamaño de su modelo y la precisión deseada. Cada celda indica la tarjeta más pequeña compatible que admite esos pesos con espacio suficiente, y enlaza con la máquina en la que se instala. Si el catálogo no incluye ninguna tarjeta que cumpla esta función por sí sola, la celda lo indica en lugar de dejarla en blanco.
| If you want to run | at 16-bit | at 8-bit | at 4-bit |
|---|---|---|---|
| 7-8 billion parameters | TESLA P40 / QUADRO P600024 GB16 GB of weights | TITAN V12 GB HBM28 GB of weights | TESLA P48 GB GDDR55 GB of weights |
| 13-14 billion parameters | RTX A600048 GB GDDR6 ECC28 GB of weights | TESLA P40 / QUADRO P600024 GB14 GB of weights | TITAN V12 GB HBM28 GB of weights |
| 30-34 billion parameters | More than one cardNothing we fit holds it alone68 GB of weights | Instinct MI21064 GB HBM2e34 GB of weights | Tesla V100 32GB32 GB HBM219 GB of weights |
| 70 billion parameters | More than one cardNothing we fit holds it alone140 GB of weights | More than one cardNothing we fit holds it alone70 GB of weights | Instinct MI21064 GB HBM2e38 GB of weights |
Cuando la respuesta es "más de una tarjeta", se trata de una configuración que ofrecemos como presupuesto, no como una opción de compra. La página sobre configuraciones multi-GPU y multi-nodo explica cómo se ve y qué limitaciones presenta. El costo mensual de cada una de estas tarjetas, así como el costo de la máquina que las soporta, corresponde a servidores dedicados con GPU . Cada cifra se asocia a la máquina específica a la que pertenece, por lo que esta página no repite ninguna.
De memoria, el más grande primero
El mismo catálogo que muestra los precios de las GPU, ordenados en orden inverso: esa página comienza con el equipo completo más económico porque responde a la pregunta "¿cuánto cuesta?", y esta comienza con la tarjeta más potente porque responde a la pregunta "¿cuál es el equipo más potente que puedo ejecutar?". Una tarjeta cuya memoria el fabricante no publica se omite aquí en lugar de mostrarse con un espacio en blanco, porque una fila que no se puede comparar no sirve para una comparación.
Varias de estas tarjetas aparecen en más de un chasis, a veces a precios diferentes, y la generación del bus de la máquina subyacente cambia lo que una tarjeta moderna puede hacer realmente; ambos aspectos se aplican a servidores dedicados a GPU . Lo que está instalado y listo en este preciso instante es otra cuestión, respondida por los servidores instantáneos .
Lo que instales en él
La máquina viene con un sistema operativo y un directorio raíz limpios. No hay ningún servicio de inferencia del proveedor que deba utilizar, ningún entorno de ejecución gestionado que se actualice automáticamente la semana antes de una fecha límite, ni ninguna API que se interponga entre usted y su propio modelo. Usted instala lo que necesita y lo vincula a la versión con la que se probó su código.
La respuesta habitual para ofrecer un modelo a tráfico real. El procesamiento por lotes continuo y la atención paginada permiten que una tarjeta responda a muchas solicitudes a la vez en lugar de una por una, lo que suele ser la diferencia entre una demo y un servicio. Se requiere una tarjeta relativamente moderna.
La respuesta habitual cuando la memoria es escasa o la tarjeta es antigua. Sus formatos cuantizados son la razón por la que un modelo grande cabe en una tarjeta pequeña, y puede usar el procesador y la tarjeta juntos sin problemas cuando los pesos no coinciden del todo. Más lento por solicitud, mucho más tolerante.
Servidores de producción de la misma familia que vLLM, con diferentes ventajas en cuanto a salida estructurada, reutilización de prefijos y servicio multimodelo. Si ya dispone de uno en su infraestructura, funcionará aquí sin modificaciones.
La ruta más corta desde una máquina vacía hasta un modelo que responde en un puerto. Vale la pena empezar por ahí aunque termines en otro sitio, porque te dirá en unos diez minutos si el dimensionamiento fue el correcto.
Elijas la opción que elijas, el controlador, la versión de CUDA o ROCm y la compilación del framework son responsabilidad tuya y no se realizarán actualizaciones automáticas. Si prefieres que el controlador se instale antes de la entrega, indícalo en el pedido y especifica la versión.
¿Qué tan rápido será?
Cada cifra depende del modelo, la cuantización, el tiempo de ejecución y su versión, el tamaño del lote, la longitud de la solicitud, la longitud de la respuesta y la cantidad de solicitudes en curso. Si se modifica cualquiera de estos factores, la cifra varía considerablemente. Una cifra principal que no incluya todos estos elementos es una cifra elegida para dar una buena imagen, y seríamos citados con ella.
Lo que te diremos es qué lo rige, para que puedas razonar sobre tu propio caso:
Indíquenos el modelo, la cuantización que pretende, la longitud del contexto y aproximadamente cuántas solicitudes concurrentes espera. Si hemos realizado pruebas similares, le indicaremos los resultados y en qué contexto. Si no, también lo mencionaremos.
Es una base mejor para realizar una compra que un gráfico de referencia, y solo lleva un minuto.
El horario habitual de atención al cliente incluye todas las opciones: teléfono, chat y sistema de tickets, todos los días del año. El equipo de soporte dispone de los tiempos de respuesta por escrito.
Más allá de servir
Todo lo anterior dimensiona un modelo para la inferencia: pesos de entrada, tokens de salida. Entrenar o ajustar el mismo modelo supone un problema de memoria diferente, y la diferencia no es pequeña.
Para el funcionamiento se necesitan los pesos. Para el entrenamiento se necesitan los pesos, los gradientes y el estado propio del optimizador para cada parámetro que actualiza, todo almacenado simultáneamente, además de las activaciones que debe conservar para retroceder a través de la red. Un modelo que funciona correctamente en una tarjeta puede ser varias veces demasiado grande para ajustarlo completamente en la misma tarjeta.
Los métodos eficientes en parámetros —adaptadores, actualizaciones de bajo rango y sus variantes cuantificadas— actualizan una pequeña fracción de los parámetros y requieren una fracción igualmente pequeña de la memoria adicional. Para la mayoría de las tareas que se denominan ajuste fino, esta es la opción más práctica y la que se adapta al hardware que uno puede permitirse conservar.
El modelo, el método, la longitud de la secuencia y el tamaño del conjunto de datos. No publicaremos un multiplicador aquí, ya que el valor real depende de los cuatro, y una cifra inventada que subestime la capacidad de tu máquina es peor para ambos que una conversación. Si la respuesta es más de una tarjeta, la configuración multi-GPU y multinodo explica cómo se ve esa configuración.
Un bucle de entrenamiento transmite lotes continuamente a través del enlace entre el procesador y la tarjeta, por lo que la generación PCIe de la máquina subyacente es una restricción real más que una especificación. La inferencia en un modelo residente apenas la afecta. Qué plataforma proporciona a una tarjeta qué enlace se publica en servidores dedicados a GPU y se compara entre plataformas en entornos multi-GPU y multi-nodo .
¿Adónde ir después?
Esta página se centra en una sola pregunta: ¿qué se necesita para ejecutar un modelo? Todo lo que está al lado tiene su propia página, y esta página las incluye todas.
Preguntado anteriormente
Recopilado de las preguntas que nos hacen los usuarios en el chat y en los tickets, aproximadamente en el orden en que las formulan. Las dos primeras son las que determinan si una compra se realiza correctamente.
For the record
Card memory is the manufacturers’ published figure; which cards exist is read from the order catalogue when this page was served. No monthly price appears here on purpose — GPU dedicated servers holds every one, against the exact machine it belongs to.
