Çalıştırmak istediğiniz modele göre boyutlandırılmış özel GPU üzerinde LLM barındırma

LLM barındırma, başka birinin API’sini çağırmak yerine büyük bir dil modelini kontrol ettiğiniz bir sunucuda çalıştırmak demektir. Bizde bu, kendi özel GPU’suna, root erişimine ve temiz bir işletim sistemine sahip komple bir fiziksel sunucu kiralayıp istediğiniz modeli ve çalışma zamanını kurmanız anlamına gelir. Düz anlamıyla üretim sınıfıdır: GPU yalnızca sizindir ve sürümleri seçmek size kalmıştır.

Parametre sayısını alın ve parametre başına bayt ile çarpın; bu değer 16-bit için 2, 8-bit için 1 ve 4-bit için 0,5’tir. 7–8B’lik bir model, 16-bit’te yaklaşık 16 GB, 8-bit’te 8 GB ve 4-bit’te 5 GB ağırlık tutar. 70B’lik bir model ise yaklaşık 140 GB, 70 GB ve 38 GB tutar. Bu yalnızca ağırlıklardır; çalışma zamanı, aktivasyonlar ve konuşmayı tutan önbellek için üzerine yüzde 25 ila 50 daha planlayın.

4-bit’te ağırlıklar yaklaşık 38 GB’tır; bu yüzden hizmet verecek alanla birlikte 64 GB veya daha fazla belleğe sahip bir GPU gerekir: tek GPU, tek makine. 8-bit’te ağırlıklar 70 GB’tır; bunu yalnızca en büyük tek GPU’larımız tutar ve aynı anda yalnızca bir kullanıcı için; trafik sunacaksanız birden fazla GPU planlayın. 16-bit’te taktığımız hiçbir tek GPU bunu tutmaz ve fiyat verdiğimiz çoklu GPU yapısına dönüşür. Yukarıdaki tablo tam GPU’ları adlandırır ve fiyatlar GPU özel sunucuları sayfasındadır.

Çünkü GPU belleğinde yalnızca ağırlıklar yok. Çalışma zamanı ve arabellekleri de oradadır ve bir konuşmanın her token’ı, yeniden hesaplanmaması için anahtar-değer önbelleğinde bir girdi bırakır. Bu önbellek bağlam uzunluğuyla ve aynı anda sunulan her istekle büyür; bu yüzden zar zor sığan bir model yaklaşık tek bir kısa konuşmayı tutar. GPU’yu ağırlıkların bir buçuk katı ile bir buçuk katı arasında boyutlandırın.

Hepsini. Temiz bir işletim sisteminde root yetkiniz var ve arada bizim hiçbir çıkarım hizmetimiz yok. Gerçek trafiği sunmak için genellikle vLLM, dar bellek veya eski GPU’lar için llama.cpp tercih edilir; TGI ve SGLang değiştirilmeden çalışır. Ollama, bir portta yanıt veren bir modele ulaşmanın en hızlı yoludur. Hem vLLM hem Ollama OpenAI uyumlu bir uç nokta sunar; böylece mevcut istemci kodu yalnızca yeni bir temel URL’ye ihtiyaç duyar.

Ne kadar kullandığınıza bağlıdır. Bir API token başına ücret alır ve boştayken hiçbir maliyeti yoktur; kendi sunucunuz ise her ay aynı maliyete sahiptir ve yoğunken daha fazlası yoktur. Sürekli trafik, tüm gün çalışan aracılar, toplu işler ve gizlilik kuralları olan her şey kendi makinesinde genellikle öne çıkar; günde on kez çağrılan bir model ise çıkmaz. Bu hesabın aylık rakamları GPU özel sunucuları sayfasındadır.

Bir rakam yayınlamıyoruz çünkü model, nicemleme, çalışma zamanı sürümü, yığın boyutu, istem ve yanıt uzunlukları ve aynı anda kullanıcı sayısı bunu birkaç kat değiştirebilir. İstemi okumak aritmetikle, yanıtı yazmak bellek bant genişliğiyle sınırlıdır ve yığınlama, önbellek dolana kadar maliyeti isteklere yayar. Modelinizi, nicemlemenizi ve beklenen kullanıcı sayınızı söyleyin; gerçekte gördüklerimizi paylaşalım.

Hayır. Her fiziksel sunucunun tek bir müşterisi vardır ve işletim sisteminiz GPU’nun tamamını doğrudan görür. Sizinle GPU arasında sanal makine katmanı, MIG dilimleme, vGPU profili veya zaman paylaşımı yoktur; bu yüzden başka hiçbir iş onu paylaşmaz ve başka kimsenin yükü gecikmenizi değiştiremez.

O zaman çoklu GPU yapısı olur; bunu ödeme sayfasından satmak yerine fiyat veririz çünkü kaç GPU’nun sığacağı genişliklerine ve kasanın güç bütçesine bağlıdır. İki GPU, yalnızca çalışma zamanı modeli ikisine bölerse belleklerinin toplamını verir; ciddi her çalışma zamanı bunu hızda bir maliyetle yapabilir. Çoklu GPU sayfamız bunun nasıl göründüğünü gösterir ve DGX Spark tek makinede 128 GB paylaşımlı bellek sunar.

Evet ve aynı modeli sunmaktan çok daha fazla bellek planlayın. Eğitim; güncellediği her parametre için ağırlıkları, gradyanları ve optimize edici durumunu, ayrıca geri geçiş için aktivasyonları tutar; bu yüzden tek GPU’da kolayca sunulan bir model, orada tam ince ayar için birkaç kat fazla büyük olabilir. LoRA gibi parametre verimli yöntemler bu ekstra belleğin yalnızca küçük bir kısmına ihtiyaç duyar; makinelerimizdeki çoğu ince ayarın birini kullanmasının nedeni budur.

Evet. AMD Instinct GPU’ları taktığımız en büyük belleğe sahip GPU’lar arasındadır ve genellikle gigabayt başına en iyi değeri sunar; ancak yazılımınızın CUDA yerine ROCm’u desteklemesi gerekir. Güncel çıkarım çalışma zamanlarının çoğu destekler, çevrelerindeki bazı araçlar hâlâ desteklemez. Siparişten önce çalışma zamanınızı söyleyin, sizin için kontrol edelim.