AMD Instinct hızlandırıcılar

AMD Instinct başka kimsenin olmadığı bir makinede

Özel sunucularımıza iki AMD hızlandırıcı takılır: Instinct MI210 ve Instinct MI50. Kart, kendi işletim sisteminize doğrudan geçirilir — kendi ROCm derlemeniz, kendi çekirdeğiniz, kendi süreçleriniz ve arada hiçbir hipervizör olmadan.

MI210 sunucusu yapılandır

MI210: 104 CDNA 2 hesaplama birimi, 64 GB HBM2e. MI50: 60 GCN 5.1 hesaplama birimi, 16 GB. Makine başına tek kiracı. Dilimlenmez, zaman paylaşımlı değildir.

Takığımız her kart — AMD ve NVIDIA, güncel ve üretimden uzun süre önce kalkmış — GPU kataloğunda kendi aylık fiyatıyla listelenir.

GPU'larınızı pasif aylık gelire dönüştürün

Atıl sunucu veya masaüstü GPU kurulumlarınız mı var? Bugün Primcast pazar yerinde listeleyin ve üretim düzeyinde hesaplama ihtiyacı olan yapay zeka ekiplerinden, geliştiricilerden ve kuruluşlardan düzenli aylık kira kazanın.

Pazar Yerine Git

Buradaki bir AMD Instinct sunucusu aslında nedir

Tek bir hesaba kiralanan fiziksel bir sunucu; PCIe yuvasında bir AMD hızlandırıcı ve üzerindeki işletim sisteminde root yetkisi bulunur. Kart, bir ürün kademesi değil faturada bir satırdır; bu yüzden altındaki makine, içine takılan şey yüzünden daha pahalı hale gelmez.

Kart sizindir

Bölüm yok, vGPU yok, sıranızın ne zaman geldiğine karar veren zamanlayıcı yok. Hızlandırıcı doğrudan çekirdeğinize teslim edilir; böylece kendi ROCm sürümünüzü sabitler ve bize sormadan kendi modüllerinizi yüklersiniz.

ROCm, HIP ve alışılmış çerçeveler

Her iki parça da desteklenen ROCm hedefleridir — MI210 için gfx90a, MI50 için gfx906 — ve PyTorch, TensorFlow, JAX ile ONNX Runtime'ın AMD üzerinde derlendiği hedefler bunlardır. HIP, CUDA kaynağını yeniden yazmayı gerektirmeden taşır.

Makineden ayrı fiyatlandırılır

Hızlandırıcının kendi aylık tutarı, sunucunun da başka bir tutarı vardır ve ikisini toplarsınız. Sunucuyu değiştirmeden kartı değiştirin. Katalogdaki her kart için her iki tutar da GPU sayfasında yer alır.

Takığımız iki AMD Instinct hızlandırıcı

Her ikisi de bugün aynı yapılandırıcıdan, farklı sunucu hatlarında sipariş edilebilir. Aşağıdaki rakamlar AMD'nin kendi yayınladığı rakamlardır.

AMD Instinct MI210

Standart tam yükseklikte, tam uzunlukta, çift yuvalı bir PCIe kartında CDNA 2 nesli — 104 hesaplama birimi, 1,6 TB/s'ye kadar 64 GB HBM2e ve karttan karta doğrudan trafik için üç adede kadar Infinity Fabric bağlantısı. PCIe Gen 4 ana bağlantı üzerinden 300 W'ta pasif soğutmalı. Asıl soru modelin belleğe sığıp sığmadığı olduğunda istenecek kart budur.

AMD Instinct MI50

Daha eski Vega nesli parça: GCN 5.1 silikonu, 60 hesaplama birimi ve 16 GB paket üstü bellek. Artık kimse bu kartı kiralamıyor; bu da onu burada yalnızca ucuz değil, başka yerde elde edilemez kılıyor — ve hâlâ desteklenen bir ROCm hedefi olduğundan, büyük karta geçmeden önce bir ROCm araç zincirini çalışır hale getirmenin mantıklı yoludur; aylık tutarın çok daha küçük bir kısmına MI210 ile aynı HIP ve PyTorch kodunu çalıştırır.

MI210'da matris verimi

AMD, MI210 için 1.700 MHz tepe boost motor saatinde 181,0 TFLOPS tepe FP16 ve BF16 matris performansı, ayrıca 22,6 TFLOPS tepe FP64 ve FP32 vektör performansı yayınlar.

Bellek kısıttır

64 GB, 30 milyar parametreli bir modelin ağırlıklarını 8 bitte veya 13 milyar parametreli bir modeli 16 bitte, KV önbelleği için yer kalacak şekilde tutar. Bir modeli boyutlandırmak başlı başına bir sorudur ve LLM sayfası bu hesabı her hassasiyette işler.

Ana makinenin karta verdiği

Ana hat nesli neredeyse kimsenin yayınlamadığı ve bir kartın tasarım bant genişliğinde çalışıp çalışmayacağını belirleyen gerçektir. Biz kendi değerlerimizi her kartın yanında, GPU sayfasında yayınlıyoruz.

Baytları kimse saymaz

Ağırlıklar içeri, kontrol noktaları dışarı, veri kümeleri içeri. Bağlantı noktası tarifesizdir; bu yüzden bir derlemi akıtan bir eğitim çalışması, ay sonunda bant genişliği faturası olarak gelmez.

AMD Instinct™ kartları için kurumsal sınıf özel sunucular

HPE, Dell veya Supermicro

AMD Instinct™ kartınız, sipariş ettiğiniz hatta bağlı olarak bir HPE, Dell veya Supermicro sunucusuna takılır. MI210, sipariş üzerine kurulan bir AMD EPYC sunucusuna da takılabilir ve AMD dedicated server fiyatları bu işlemcilerin her birini çekirdek başına ücretlendirir.

Donanım yükseltmeleri

Sunucu altyapınıza kolayca kaynak veya ek sunucular ekleyin. Çoğu yükseltme 24 saat içinde işleme alınır.

7/24 destek

Özel sunucu uzmanları canlı sohbet ve e-posta yoluyla 7/24 yardımcı olmaya hazırdır.

MI210, takığımız NVIDIA kartlarına karşı

Aynı sipariş kataloğundan dört hızlandırıcı; yani bu karşılaştırma, gerçekten aynı sepete koyabileceğiniz parçaları karşılaştırır. Burada bilerek aylık tutar yok: GPU kataloğu bunları istek anında sipariş kataloğundan okur ve bu tabloya yazılan bir rakam zamanla sapabilir.

	MI210	L40S	A100	H100
GPU Mimarisi	CDNA 2	Ada Lovelace	NVIDIA Ampere	Hopper
GPU Belleği	64GB HBM2e	ECC'li 48GB GDDR6	80GB HBM2e	80GB HBM2e
GPU Bellek Bant Genişliği	1,6 TB/s'ye kadar	864 GB/s	1935 GB/s	2039 GB/s
FP32	22,6 TFLOPS	91,6 TFLOPS	19,5 TFLOPS	51 TFLOPS
TF32 Tensor Çekirdeği	—	366 TFLOPS	312 TFLOPS	756 TFLOPS
FP16/BF16 Matris	181 TFLOPS	733 TFLOPS	624 TFLOPS	1513 TFLOPS
Güç	300W'a kadar	350W'a kadar	300W'a kadar	350W'a kadar

TF32 bir NVIDIA tensor çekirdeği biçimidir. CDNA 2 bunu uygulamaz ve AMD bunun için bir rakam yayınlamaz; bu yüzden MI210 sütunu orada başka bir satıcıdan ödünç alınmış bir sayı yerine hiçbir şey göstermez. NVIDIA tensor çekirdeği satırları seyreklik içeren yayınlanmış rakamlardır. Takığımız diğer her kart, MI50 dahil, GPU kataloğunda fiyatlandırılmıştır.

AMD Instinct GPU sunucuları hakkında SSS

Yapay zeka, HPC ve makine öğrenimi iş yükleri için çıplak metal üzerinde AMD Instinct hızlandırıcıları dağıtma ve yönetme hakkında sık sorulan sorular.

Hangi AMD Instinct hızlandırıcıları gerçekten sipariş edebilirim?

İki tane: Instinct MI210 ve Instinct MI50. Bunlar sipariş kataloğumuzdaki AMD hızlandırıcılarıdır ve yapılandırıcı size Instinct serisinden başka bir şey önermez. MI210 üç sunucu hattımızda, MI50 ise iki hatta bulunur. MI250, MI250X veya MI300A takmıyoruz ve hiç takmadık.

MI210 ile MI50 arasındaki fark nedir?

Nesil ve bellek. MI210, 104 hesaplama birimi ve 1,6 TB/s'ye kadar 64 GB HBM2e içeren AMD'nin CDNA 2 mimarisidir; PCIe Gen 4 ana bağlantı üzerinden 300 W'a kadar çeken çift yuvalı bir PCIe kartında, karttan karta trafik için üç adede kadar Infinity Fabric bağlantısıyla gelir. MI50 ise 60 hesaplama birimi ve 16 GB ile daha eski GCN 5.1 neslidir. Her ikisi de desteklenen ROCm hedefleridir; bu yüzden aynı HIP ve PyTorch kodu ikisinde de çalışır — MI210 yalnızca bir modelin dört katını tutar.

Çalıştırmak istediğim modelin ne kadar kart belleğine ihtiyacı var?

Yalnızca ağırlıklar, parametre sayısı çarpı parametre başına bayttır: 16 bitte 7-8 milyar parametreli bir model için kabaca 16 GB, 13-14 milyar için 28 GB, 30-34 milyar için 68 GB. KV önbelleği ve çalışma zamanı bunun üzerine biner; bu yüzden 16 GB'lık bir kart, ağırlıkları 16 GB olan bir modeli rahatça sunmaz. MI210'un 64 GB'ı, 8 bite nicemlenmiş 30 milyar parametreli bir modeli çalışma payıyla karşılar. LLM boyutlandırma sayfası tüm tabloyu içerir — her model boyutunun ne kadar belleğe ihtiyaç duyduğu ve hangi kartın bunu karşıladığı.

Bir AMD Instinct GPU sunucusunu dağıtmak ne kadar sürer?

Makinenin zaten rafta olduğu durumlarda genellikle ödeme onaylandıktan yaklaşık 30 dakika sonra etkinleştirilir. Rafta olmadığı durumlarda siparişe göre üretilir ve teslim süresi parçalara bağlıdır. Tarih önemliyse ödemeden önce sorun — anında sunucular sayfası şu anda rafta duranları gösterir. Her sunucu anında işletim sistemi yeniden yüklemeyi içerir; böylece bir destek kaydı yeniden açmadan yineleyebilirsiniz.

Bu kartlarda hangi yazılımlar ve çerçeveler çalışır?

ROCm, AMD'nin açık kaynaklı GPU hesaplama platformu. Her iki parça da desteklenen ROCm hedefleridir — MI210'da gfx90a, MI50'de gfx906 — ve PyTorch, TensorFlow, JAX ile ONNX Runtime'ı, ayrıca BLAS, FFT, RNG ve derin öğrenme temel kütüphanelerini kapsar. HIP, mevcut CUDA kaynağını yeniden yazmayı gerektirmeden taşır. Çıplak metalde root yetkiniz olduğu için ROCm ve çekirdek sürümlerini kendiniz seçersiniz ve her şeyi Docker içinde veya Kubernetes altında çalıştırabilirsiniz.