Which AMD Instinct accelerators can I actually order?

Two: the Instinct MI210 and the Instinct MI50. Those are the AMD accelerators in our order catalogue, and the configurator will not offer you anything else from the Instinct line. The MI210 goes on three of our server lines and the MI50 on two. We do not fit the MI250, the MI250X or the MI300A, and never have.

What is the difference between the MI210 and the MI50?

Generation and memory. The MI210 is AMD's CDNA 2 architecture with 104 compute units and 64 GB of HBM2e at up to 1.6 TB/s, in a dual-slot PCIe card drawing up to 300 W over a PCIe Gen 4 host link, with up to three Infinity Fabric links for card-to-card traffic. The MI50 is the earlier GCN 5.1 generation with 60 compute units and 16 GB. Both are supported ROCm targets, so the same HIP and PyTorch code runs on either.

How much card memory does the model I want to run need?

The weights alone are parameters multiplied by bytes per parameter: roughly 16 GB for a 7-8 billion parameter model at 16-bit, 28 GB for 13-14 billion, 68 GB for 30-34 billion. The KV cache and the runtime go on top of that, which is why a 16 GB card does not comfortably serve a model whose weights are 16 GB. The MI210's 64 GB covers a 30-billion model quantised to 8-bit with room to work in.

How long does it take to deploy an AMD Instinct GPU server?

Where the machine is already racked it is typically activated about 30 minutes after payment clears. Where it is not, it is built to order and the lead time depends on the parts. Ask before you pay if the date matters. Every server includes instant OS reload, so you can iterate without re-opening a ticket.

What software and frameworks run on these cards?

ROCm, AMD's open-source GPU compute platform. Both parts are supported ROCm targets, gfx90a on the MI210 and gfx906 on the MI50, which covers PyTorch, TensorFlow, JAX and ONNX Runtime, together with the BLAS, FFT, RNG and deep-learning primitive libraries. HIP ports existing CUDA source across rather than requiring a rewrite. Because you have root on bare metal you choose the ROCm and kernel versions yourself, and can run the whole thing in Docker or under Kubernetes.

AMD Instinct hızlandırıcıları

AMD Instinct, başka kimsenin kullanmadığı bir makinede

Sunucularımıza iki adet AMD hızlandırıcı entegre ediyoruz: Instinct MI210 ve Instinct MI50. Kart, kendi işletim sisteminize (ROCm derlemenize, çekirdeğinize, işlemlerinize) doğrudan aktarılıyor; araya hiçbir hipervizör girmiyor.

Bir MI210 sunucusunu yapılandırın.

MI210: 104 CDNA 2 işlem birimi, 64 GB HBM2e. MI50: 60 adet GCN 5.1 işlem birimi, 16 GB. Makine başına bir kiracı. Bölünmüş değil, zaman paylaşımlı değil.

Taktığımız her ekran kartı (AMD ve NVIDIA, güncel ve üretimi durdurulmuş modeller) GPU kataloğunda kendi aylık fiyatıyla listelenmiştir.

GPU'larınızı aylık pasif gelir kaynağına dönüştürün.

Kullanılmayan sunucu veya masaüstü GPU kurulumlarınız mı var? Bunları bugün Primcast pazar yerinde listeleyin ve üretim kalitesinde işlem gücüne ihtiyaç duyan yapay zeka ekiplerinden, geliştiricilerden ve işletmelerden düzenli aylık kira geliri elde edin.

Pazaryerine Git

AMD Instinct sunucusunun tam olarak ne olduğunu gösteren bir örnek.

Bir hesaba kiralanmış fiziksel bir sunucu, PCIe yuvasında bir AMD hızlandırıcı ve bunun üzerinde kurulu işletim sistemiyle birlikte. Kart, fatura üzerinde bir ürün kademesi değil, bir kalem olarak yer alıyor; bu nedenle, alttaki makinenin fiyatı, içine ne takılı olduğuna bağlı olarak artmıyor.

Kart sizin.

Bölümleme yok, sanal GPU yok, sıranızın ne zaman geleceğine karar veren bir zamanlayıcı yok. Hızlandırıcı doğrudan çekirdeğinize veriliyor, böylece kendi ROCm sürümünüzü sabitleyebilir ve bizden izin almadan kendi modüllerinizi yükleyebilirsiniz.

ROCm, HIP ve olağan çerçeveler

Her iki parça da ROCm hedeflerini destekliyor — MI210 için gfx90a, MI50 için gfx906 — bu da AMD'de PyTorch, TensorFlow, JAX ve ONNX Runtime'ın derlendiği platformdur. HIP, yeniden yazma gerektirmek yerine CUDA kaynak kodunu doğrudan aktarıyor.

Makine hariç fiyatlandırılmıştır.

Hızlandırıcı kendi aylık rakamına sahip, sunucu da ayrı bir rakama sahip ve ikisini topluyorsunuz. Sunucuyu değiştirmeden kartı değiştirebilirsiniz. Katalogdaki her kart için her iki rakam da GPU sayfasında yer almaktadır.

Takmış olduğumuz iki adet AMD Instinct hızlandırıcı.

İkisi de bugün aynı yapılandırma aracından, farklı sunucu serilerinde sipariş edilebilir. Aşağıdaki rakamlar AMD'nin kendi yayınladığı rakamlardır.

AMD Instinct MI210

Standart tam boy, tam uzunlukta, çift yuvalı PCIe kartta CDNA 2 nesli — 104 işlem birimi, 1,6 TB/sn'ye kadar hızda 64 GB HBM2e ve doğrudan karttan karta trafik için üç adede kadar Infinity Fabric bağlantısı. PCIe Gen 4 ana bilgisayar bağlantısı üzerinden 300 W'ta pasif soğutma. Modelin belleğe sığıp sığmadığı sorusunun asıl gündemde olduğu durumlarda sorulması gereken model budur.

AMD Instinct MI50

Eski Vega nesli parçası: GCN 5.1 silikon, 60 işlem birimi ve 16 GB dahili bellek. Artık kimse bu kartı kiralamıyor, bu da onu sadece burada ucuz olmakla kalmayıp başka yerlerde de elde edilemez hale getiriyor - ve hala desteklenen bir ROCm hedefi olduğundan, MI210 ile aynı HIP ve PyTorch kodunu aylık maliyetin çok daha düşük bir kısmına çalıştırıyor. Büyük karta geçmeden önce ROCm araç zincirini çalıştırmanın mantıklı yolu bu.

MI210'daki matris verimi

AMD, MI210 işlemcisinin 1.700 MHz tepe artırma motor saat hızında 181,0 TFLOPS tepe FP16 ve BF16 matris performansı ile birlikte 22,6 TFLOPS tepe FP64 ve FP32 vektör performansı sergilediğini açıkladı.

Bellek bir kısıtlama unsurudur.

64 GB, 8 bitlik 30 milyar parametreli bir modelin ağırlıklarını veya 16 bitlik 13 milyar parametreli bir modelin ağırlıklarını saklar ve KV önbelleği için de yer kalır. GPU sayfası, her model boyutu için bu aritmetiği gerçekleştirir.

Ev sahibinin kartta verdiği şey

Ana işlemci şeridi oluşturma bilgisi, neredeyse hiç kimsenin yayınlamadığı ve bir kartın tasarım bant genişliğinde çalışıp çalışmayacağına karar veren bir gerçektir. Biz bu bilgiyi her kartın yanında, GPU sayfasında yayınlıyoruz.

Hiçbir şey baytları saymaz.

Ağırlıklar girildi, kontrol noktaları gönderildi, veri kümeleri alındı. Bağlantı noktası sınırsız olduğundan, bir veri kümesini aktaran bir eğitim çalışması ay sonunda bant genişliği faturası olarak gelmez.

AMD Instinct™ işlemcili HPE kurumsal sınıf özel sunucuları

HPE kurumsal

AMD INSTINCT™ GPU'lu özel sunucunuz, HPE Enterprise sunucuları tarafından desteklenmekte olup, en zorlu iş yükleri için istikrarlı performans sağlar.

Donanım yükseltmeleri

Sunucu altyapınıza kolayca kaynak veya ek sunucu ekleyin. Çoğu yükseltme işlemi 24 saat içinde tamamlanır.

7/24 destek

Alanında uzman sunucu ekibimiz, canlı sohbet ve e-posta yoluyla 7/24 destek sağlamak için hazır bulunmaktadır.

MI210'u NVIDIA kartlarıyla da karşılaştırdık.

Aynı sipariş kataloğundan dört hızlandırıcı, yani aslında aynı sepete koyabileceğiniz parçaları karşılaştırıyor. Son satırdaki aylık rakamlar, sayfa yüklendiğinde o katalogdan okunuyor.

	MI210	L40S	A100	H100
GPU Mimarisi	CDNA 2	Ada Lovelace	NVIDIA Ampere	Hazne
GPU Belleği	64GB HBM2e	48 GB GDDR6 ECC	80 GB HBM2e	80 GB HBM3
GPU Bellek Bant Genişliği	1,6 TB/s'ye kadar	864 GB/s	1935 GB/s	3352 GB/s
FP32	22,6 TFLOPS	91,6 TFLOPS	19,5 TFLOPS	51 TFLOPS
TF32 Tensor Çekirdeği	—	366 TFLOPS	312 TFLOPS	756 TFLOPS
FP16/BF16 Matrisi	181 TFLOPS	733 TFLOPS	624 TFLOPS	1513 TFLOPS
Güç	300W'a kadar	350W'a kadar	400W'a kadar	350W'a kadar
	Yükleniyor...	Yükleniyor...	Yükleniyor...	Yükleniyor...

TF32, NVIDIA'nın tensor-core formatıdır. CDNA 2 bunu uygulamamaktadır ve AMD bununla ilgili herhangi bir rakam yayınlamamaktadır, bu nedenle MI210 sütununda başka bir satıcıdan alınmış bir rakam yerine hiçbir şey gösterilmemektedir. NVIDIA tensor-core satırları, seyrek verilerle birlikte yayınlanmış rakamlardır. Takmış olduğumuz diğer tüm kartlar, MI50 dahil, GPU kataloğunda fiyatlandırılmıştır.

AMD Instinct GPU sunucuları hakkında SSS

Yapay zeka, yüksek performanslı bilgi işlem ve makine öğrenimi iş yükleri için AMD Instinct hızlandırıcılarını donanım üzerinde dağıtma ve yönetmeyle ilgili sık sorulan sorular.

Hangi AMD Instinct hızlandırıcılarını sipariş edebilirim?

İki tane: Instinct MI210 ve Instinct MI50. Bunlar sipariş kataloğumuzdaki AMD hızlandırıcılarıdır ve yapılandırma aracı size Instinct serisinden başka bir şey sunmayacaktır. MI210, sunucu serilerimizin üçünde, MI50 ise ikisinde kullanılmaktadır. MI250, MI250X veya MI300A'yı kullanmıyoruz ve hiçbir zaman kullanmadık.

MI210 ile MI50 arasındaki fark nedir?

Nesil ve bellek. MI210, AMD'nin 104 işlem birimi ve 1,6 TB/s'ye kadar hızda 64 GB HBM2e belleğe sahip, çift yuvalı bir PCIe kartında bulunan ve PCIe Gen 4 ana bilgisayar bağlantısı üzerinden 300 W'a kadar güç çeken, karttan karta trafik için üç adede kadar Infinity Fabric bağlantısına sahip CDNA 2 mimarisidir. MI50 ise 60 işlem birimi ve 16 GB belleğe sahip daha önceki GCN 5.1 neslidir. Her ikisi de desteklenen ROCm hedefleridir, bu nedenle aynı HIP ve PyTorch kodu her ikisinde de çalışır; MI210, modelin dört kat daha fazlasını barındırır.

Çalıştırmak istediğim model ne kadar hafıza kartına ihtiyaç duyuyor?

Ağırlıklar tek başına, parametre başına bayt sayısı ile çarpılan parametrelerdir: 16 bitlik 7-8 milyar parametreli bir model için yaklaşık 16 GB, 13-14 milyar için 28 GB, 30-34 milyar için 68 GB. KV önbelleği ve çalışma zamanı bunun üzerine eklenir; bu nedenle 16 GB'lık bir kart, ağırlıkları 16 GB olan bir modeli rahatlıkla karşılayamaz. MI210'un 64 GB'ı, 8 bit'e nicelleştirilmiş 30 milyar parametreli bir modeli, çalışmak için yeterli alanla birlikte kapsar. GPU sayfasında tüm tablo bulunmaktadır.

Bir AMD Instinct GPU sunucusunun kurulumu ne kadar sürer?

Makine zaten rafa monte edilmişse, ödeme onaylandıktan yaklaşık 30 dakika sonra etkinleştirilir. Rafa monte edilmemişse, sipariş üzerine üretilir ve teslim süresi parçalara bağlıdır. Tarih önemliyse ödeme yapmadan önce sorun — anlık sunucular sayfası, şu anda rafta bulunan makineleri gösterir. Her sunucu anlık işletim sistemi yeniden yükleme özelliğine sahiptir, böylece yeniden bilet açmadan yineleme yapabilirsiniz.

Bu kartlarda hangi yazılımlar ve çerçeveler çalışıyor?

ROCm, AMD'nin açık kaynaklı GPU hesaplama platformudur. Her iki parça da ROCm hedeflerini destekler — MI210'da gfx90a, MI50'de gfx906 — bu da PyTorch, TensorFlow, JAX ve ONNX Runtime'ın yanı sıra BLAS, FFT, RNG ve derin öğrenme temel kütüphanelerini kapsar. HIP, yeniden yazma gerektirmek yerine mevcut CUDA kaynak kodunu aktarır. Doğrudan donanım üzerinde root erişimine sahip olduğunuz için ROCm ve çekirdek sürümlerini kendiniz seçebilir ve tümünü Docker veya Kubernetes altında çalıştırabilirsiniz.