Ryzen AI GPU dedicat

Ai nevoie de placa grafică?

O mașină Ryzen AI servește un model mic din propria memorie de sistem. Un GPU dedicat își justifică prețul în câteva momente bine definite. Această pagină este linia de demarcație dintre cele două, expusă clar.

Ce acoperă deja mașina mică

Înainte de a pune preț pe o placă, merită să fie clar ce face o întreagă mașină Ryzen AI fără una — pentru că, pentru multă inferență, această listă este întreaga treabă.

  • Un model mic cuantizat, servit din memoria de sistem
  • Un singur chiriaș pe metal, acces root complet
  • Propriul tău runtime, fixat pe propriile versiuni
  • Stocare NVMe pentru corpusuri și checkpoint-uri
  • Un port gigabit și o adresă IPv4 incluse

Modelul a depășit memoria

Greutățile care nu mai încap nu rulează lent — nu se încarcă deloc. Dincolo de ce ține memoria de sistem, răspunsul este o placă aleasă întâi după memorie, iar câtă memorie are nevoie un model este explicat pe pagina LLM.

Utilizatorii s-au înmulțit

Servirea multor oameni deodată este scopul pentru care există lățimea de bandă a memoriei și batching-ul unei plăci. Acesta este punctul în care o coadă pe o mașină mică devine un argument pentru o placă dedicată.

Ai început fine-tuning

Antrenarea ține greutățile, gradienții și starea optimizatorului în memorie deodată — de câteva ori mai mult decât are nevoie servirea. Acesta este teritoriul plăcilor și, uneori, mai mult de o placă.

Milisecundele au devenit produsul

Când ritmul răspunsului este ceea ce experimentează clientul tău, memoria mai rapidă a plăcii este soluția cinstită. O mașină mică este pentru sarcini care gândesc în secunde.

Întrebări frecvente

Cum se compară mașinile Ryzen AI cu serverele GPU?
Aceeași treabă, memorie diferită. O mașină Ryzen AI ține modelul în memoria de sistem — încăpătoare pentru preț, mai lentă la citire — iar un server GPU îl ține în memoria plăcii, mai rară și mult mai rapidă. Mărimea modelului și traficul aleg între ele; insigna de pe cutie nu.
Mă puteți ajuta să mut o sarcină de lucru dintr-o parte în alta?
Da. Adu containerele, modelele și datele și întreabă inginerii noștri pe chat înainte de a comanda — mutarea între cele două forme este rutină în ambele direcții și mai ușor de planificat înainte de prima factură decât după ea.
De ce nu există prețuri pe această pagină?
Pentru că ele stau acolo unde nu pot deriva: mașinile Ryzen AI au prețuri live pe pagina lor, iar fiecare placă pe care o montăm are preț pe pagina GPU, raportat la mașina exactă în care intră. O cifră repetată aici ar fi doar o a doua copie care așteaptă să se învechească.