Can a server really run a language model without a graphics card?

Yes, within limits worth stating up front: a small quantised model generates from system memory at reading pace, which suits one user, an internal tool or a batch queue - and does not suit a crowd. How much memory a given model needs, and why one that fits can still fail to serve, is exactly what https://primcast.com/llm works through.

Does the NPU run my model?

It can, through AMD's own Ryzen AI toolchain - but most of the open-model runtimes people actually deploy use the processor and the integrated Radeon instead, and we would rather say so here than let a spec sheet imply otherwise. The NPU is on the die either way, and nothing stops you targeting it.

When is a dedicated GPU worth it instead?

When the model gets bigger than the memory, when several people need answers at once, or when you are fine-tuning rather than serving. https://primcast.com/ryzenai/dedicated-gpu walks that decision, and https://primcast.com/gpu prices every card against the exact machine it goes in.

Is any of it shared with other customers?

No. You rent the whole machine: processor, graphics, NPU, memory, disk and port belong to one customer at a time, with no hypervisor underneath. That is much of what the monthly figure buys.

Serwery dedykowane Ryzen AI | Wnioskowanie bez GPU

Małe modele działają dobrze na maszynie Ryzen AI. I o to chodzi.

Nie każde obciążenie zasługuje na kartę graficzną. Skwantowany model o skromnych rozmiarach odpowiada z pamięci systemowej na całej maszynie tylko dla Ciebie — Twoje środowisko uruchomieniowe, Twoje wersje, root na sprzęcie — bez płacenia za krzem, który zadanie pozostawiłoby bezczynnym.

Zamień swoje GPU w pasywny miesięczny przychód.

Masz nieużywane serwerowe lub desktopowe zestawy GPU? Wystaw je już dziś na marketplace Primcast i zarabiaj stały miesięczny czynsz od zespołów AI, deweloperów i przedsiębiorstw potrzebujących mocy obliczeniowej klasy produkcyjnej.

Przejdź do Marketplace

Kiedy pominięcie karty to właściwa decyzja

Za każdym razem ten sam wzorzec: model jest mały, ruch skromny, a dane muszą pozostać na maszynie, która nie należy do nikogo innego.

Prywatny asystent na dokumentach wewnętrznych

Prywatny pomocnik na prywatnych danych

Mały skwantowany model czytający Twoje własne dokumenty dla garstki współpracowników. Korpus nigdy nie trafia na współdzielony endpoint, a miesięczny koszt to maszyna, nie licznik.

Szkice, streszczenia, przebiegi wsadowe

Nocne streszczenia, tagowanie, przepisywanie — praca, która czeka w kolejce. Liczy się tam koszt zadania, nie milisekundy na token, a to obciążenie, na którym karta graficzna marnuje się najbardziej.

Narzędzia, które cicho wywołują model

Kierowanie zgłoszeń, segregacja logów, ekstrakcja do bazy danych: mały model za wewnętrznym endpointem, włączony cały dzień, za stałą stawkę, którą dział finansów może przeczytać.

Sprawdzanie NPU w praktyce

Uruchamianie łańcucha narzędzi XDNA AMD na prawdziwym krzemie, wynajmowanym miesięcznie, zanim ktokolwiek podpisze zamówienie na całą flotę. To, co nie daje się przenieść, wychodzi na jaw tutaj, i to tanio.

Kompromis, powiedziany wprost

Te maszyny to uczciwa wartość dla właściwego obciążenia i zły zakup dla niewłaściwego. Oto granica między jednym a drugim.

Pamięć to przestronna część

Model żyje w pamięci własnej maszyny, mierzonej w dziesiątkach gigabajtów, a nie w przydziale karty. To, co się mieści, rzadko bywa problemem na tej stronie.

Przepustowość to wąska część

Każdy wygenerowany token ponownie odczytuje wagi, a pamięć systemowa czyta wolniej niż pamięć karty. Jednemu użytkownikowi na małym modelu to nie przeszkodzi; kolejce użytkowników owszem. Nie publikujemy żadnej liczby prędkości — ani tutaj, ani nigdzie — i zamiast tego mówimy to.

Karta jest o jedną stronę dalej

Wyrośnij z tego, a nic nie przepada: ile pamięci potrzebuje Twój model jest rozpracowane na stronie LLM, każda montowana przez nas karta ma cenę przy swojej maszynie, a DGX Spark to ten sam pomysł w najwyższej półce, ze 128 GB, które GPU może adresować.

Pytania przed zamówieniem

Cztery szczere odpowiedzi — te same, których nasi inżynierowie udzielają na czacie.

Czy serwer naprawdę może uruchomić model językowy bez karty graficznej?

Tak, w granicach, które warto podać od razu: mały skwantowany model generuje z pamięci systemowej w tempie odczytu, co pasuje do jednego użytkownika, wewnętrznego narzędzia lub kolejki wsadowej — i nie pasuje do tłumu. Ile pamięci potrzebuje dany model i dlaczego ten, który się mieści, wciąż może nie obsłużyć ruchu, dokładnie rozpracowuje nasza strona LLM.

Czy NPU uruchomi mój model?

Może, przez własny łańcuch narzędzi Ryzen AI AMD — ale większość środowisk uruchomieniowych dla modeli otwartych, które ludzie faktycznie wdrażają, używa zamiast tego procesora i zintegrowanego Radeona, i wolimy powiedzieć to tutaj, niż pozwolić, by specyfikacja sugerowała co innego. NPU i tak jest w układzie i nic nie stoi na przeszkodzie, by go wykorzystać.

Kiedy zamiast tego opłaca się dedykowane GPU?

Gdy model robi się większy niż pamięć, gdy kilka osób potrzebuje odpowiedzi naraz albo gdy dostrajasz, zamiast serwować. Ryzen AI czy dedykowane GPU przeprowadza przez tę decyzję, a strona GPU wycenia każdą kartę przy dokładnej maszynie, do której trafia.

Czy cokolwiek jest współdzielone z innymi klientami?

Nie. Wynajmujesz całą maszynę: procesor, grafika, NPU, pamięć, dysk i port należą w danym momencie do jednego klienta, bez hipernadzorcy pod spodem. To duża część tego, za co płaci miesięczna kwota.