Model belleği aştı
Artık sığmayan ağırlıklar yavaş çalışmaz — hiç yüklenmez. Sistem belleğinin tutabildiğinin ötesinde cevap, önce belleğe göre seçilen bir karttır ve bir modelin ne kadar ihtiyaç duyduğu LLM sayfasında ele alınmıştır.
Bir Ryzen AI makinesi, küçük bir modeli kendi sistem belleğinden sunar. Özel bir GPU, fiyatını birkaç iyi tanımlanmış anda hak eder. Bu sayfa, ikisi arasındaki ayrım çizgisini açıkça ortaya koyar.
Bir kartı fiyatlandırmadan önce, bütün bir Ryzen AI makinesinin kartsız neler yaptığını netleştirmekte fayda var — çünkü birçok çıkarım işi için bu liste işin tamamıdır.
Artık sığmayan ağırlıklar yavaş çalışmaz — hiç yüklenmez. Sistem belleğinin tutabildiğinin ötesinde cevap, önce belleğe göre seçilen bir karttır ve bir modelin ne kadar ihtiyaç duyduğu LLM sayfasında ele alınmıştır.
Aynı anda birçok kişiye hizmet vermek, bir kartın bellek bant genişliğinin ve toplu işlemenin işidir. Küçük bir makinedeki kuyruğun özel bir kart gerekçesine dönüştüğü nokta budur.
Eğitim; ağırlıkları, gradyanları ve optimize edici durumunu aynı anda bellekte tutar — sunumun gerektirdiğinin birkaç katı. Bu kart bölgesidir ve bazen birden fazla karttır.
Yanıt hızı müşterinizin deneyimlediği şey olduğunda, kartın daha hızlı belleği dürüst çözümdür. Küçük bir makine, saniyelerle düşünen işler içindir.