Uma máquina Ryzen AI serve um modelo pequeno a partir da própria memória do sistema. Uma GPU dedicada justifica seu preço em alguns momentos bem definidos. Esta página é a linha divisória entre as duas, dita com clareza.
Antes de colocar preço em uma placa, vale deixar claro o que uma máquina Ryzen AI completa faz sem uma — porque, para muita inferência, esta lista é o trabalho inteiro.
Pesos que não cabem mais não ficam lentos — eles não carregam. Passado o que a memória do sistema comporta, a resposta é uma placa escolhida primeiro pela memória, e quanto um modelo precisa é detalhado na página de LLM.
Servir muitas pessoas ao mesmo tempo é para o que servem a largura de banda de memória e o batching de uma placa. É nesse ponto que uma fila em uma máquina pequena vira um caso para uma placa dedicada.
O treinamento mantém os pesos, os gradientes e o estado do otimizador na memória ao mesmo tempo — várias vezes o que o serving precisa. Isso é território de placa e, às vezes, mais de uma placa.
Quando o ritmo da resposta é o que seu cliente experimenta, a memória mais rápida da placa é a correção honesta. Uma máquina pequena é para trabalhos que pensam em segundos.
