Una macchina Ryzen AI serve un modello piccolo dalla propria memoria di sistema. Una GPU dedicata giustifica il suo prezzo in pochi momenti ben definiti. Questa pagina è la linea di demarcazione tra le due, spiegata con chiarezza.
Prima di valutare il prezzo di una scheda, vale la pena chiarire cosa fa un’intera macchina Ryzen AI senza scheda — perché per molta inferenza, questa lista è tutto il lavoro.
I pesi che non entrano più non girano lentamente — non si caricano proprio. Oltre ciò che la memoria di sistema contiene, la risposta è una scheda scelta prima per la memoria, e quanta ne serve a un modello è spiegato nella pagina LLM.
Servire molte persone contemporaneamente è ciò per cui servono la larghezza di banda della memoria e il batching di una scheda. È il punto in cui una coda su una macchina piccola diventa un motivo per una scheda dedicata.
L’addestramento tiene in memoria insieme pesi, gradienti e stato dell’ottimizzatore — diverse volte ciò che serve per l’inferenza. È territorio da scheda, e a volte più di una scheda.
Quando la velocità di risposta è ciò che sperimenta il tuo cliente, la memoria più veloce della scheda è la soluzione onesta. Una macchina piccola è per lavori che ragionano in secondi.
