Une machine Ryzen AI sert un petit modèle depuis sa propre mémoire système. Un GPU dédié justifie son prix à quelques moments bien précis. Cette page trace la ligne de partage entre les deux, en toute clarté.
Avant de chiffrer une carte, il vaut la peine d’être clair sur ce qu’une machine Ryzen AI complète fait sans elle — car pour beaucoup d’inférence, cette liste constitue tout le travail.
Des poids qui ne tiennent plus ne tournent pas lentement — ils ne se chargent pas. Au-delà de ce que la mémoire système peut contenir, la réponse est une carte choisie d’abord pour sa mémoire, et la quantité dont un modèle a besoin est détaillée sur la page LLM.
Servir de nombreuses personnes à la fois, c’est précisément à cela que servent la bande passante mémoire et le traitement par lots d’une carte. C’est le moment où une file d’attente sur une petite machine devient un argument pour une carte dédiée.
L’entraînement conserve en mémoire à la fois les poids, les gradients et l’état de l’optimiseur — plusieurs fois ce que le service exige. C’est le territoire des cartes, et parfois plus d’une carte.
Quand la vitesse de réponse est ce que votre client ressent, la mémoire plus rapide de la carte est la solution honnête. Une petite machine est faite pour les tâches qui se comptent en secondes.
