Una máquina Ryzen AI sirve un modelo pequeño desde su propia memoria del sistema. Una GPU dedicada justifica su precio en unos pocos momentos bien definidos. Esta página es la línea divisoria entre ambas, expuesta con claridad.
Antes de poner precio a una tarjeta, conviene tener claro lo que hace una máquina Ryzen AI completa sin ella — porque para mucha inferencia, esta lista es todo el trabajo.
Los pesos que ya no caben no se ejecutan con lentitud — no se cargan. Más allá de lo que contiene la memoria del sistema, la respuesta es una tarjeta elegida primero por su memoria, y cuánta necesita un modelo se analiza en la página de LLM.
Servir a muchas personas a la vez es para lo que sirven el ancho de banda de memoria y el procesamiento por lotes de una tarjeta. Ese es el punto en el que una cola en una máquina pequeña se convierte en un argumento a favor de una tarjeta dedicada.
El entrenamiento mantiene los pesos, los gradientes y el estado del optimizador en memoria a la vez — varias veces lo que necesita el servicio. Eso es territorio de tarjeta, y a veces más de una tarjeta.
Cuando el ritmo de respuesta es lo que experimenta su cliente, la memoria más rápida de la tarjeta es la solución honesta. Una máquina pequeña es para trabajos que piensan en segundos.
