Maszyna Ryzen AI obsługuje mały model z własnej pamięci systemowej. Dedykowany GPU zarabia na swoją cenę w kilku jasno określonych momentach. Ta strona to granica między nimi, przedstawiona wprost.
Zanim wycenisz kartę, warto jasno powiedzieć, co cała maszyna Ryzen AI robi bez niej — bo dla wielu zadań wnioskowania ta lista to cała robota.
Wagi, które już się nie mieszczą, nie działają wolno — w ogóle się nie ładują. Poza tym, co mieści pamięć systemowa, odpowiedzią jest karta dobrana najpierw według pamięci, a ile pamięci potrzebuje model, rozpisano na stronie LLM.
Obsługa wielu osób naraz to zadanie dla przepustowości pamięci karty i przetwarzania wsadowego. To moment, w którym kolejka na małej maszynie staje się argumentem za dedykowaną kartą.
Trenowanie trzyma w pamięci jednocześnie wagi, gradienty i stan optymalizatora — kilka razy więcej, niż potrzebuje serwowanie. To terytorium kart, a czasem więcej niż jednej karty.
Gdy tempo odpowiedzi jest tym, czego doświadcza twój klient, szybsza pamięć karty to uczciwe rozwiązanie. Mała maszyna jest do zadań, które myślą w sekundach.
