AMD Instinct hızlandırıcılar

AMD Instinct başka kimsenin olmadığı bir makinede

Özel sunucularımıza iki AMD hızlandırıcı takılır: Instinct MI210 ve Instinct MI50. Kart, kendi işletim sisteminize doğrudan geçirilir — kendi ROCm derlemeniz, kendi çekirdeğiniz, kendi süreçleriniz ve arada hiçbir hipervizör olmadan.

Bir MI210 sunucusu yapılandırın

MI210: 104 CDNA 2 hesaplama birimi, 64 GB HBM2e. MI50: 60 GCN 5.1 hesaplama birimi, 16 GB. Makine başına tek kiracı. Dilimlenmez, zaman paylaşımlı değildir.

Taktiğimiz her kart — AMD ve NVIDIA, güncel ve üretimi çoktan durmuş olanlar — GPU kataloğunda kendi aylık fiyatıyla listelenir.

GPU'larınızı pasif aylık gelire dönüştürün

Atıl sunucu veya masaüstü GPU kurulumlarınız mı var? Bugün Primcast pazar yerinde listeleyin ve üretim düzeyinde hesaplama gücüne ihtiyaç duyan yapay zeka ekiplerinden, geliştiricilerden ve kuruluşlardan düzenli aylık kira geliri elde edin.

Pazar Yerine Git

Buradaki bir AMD Instinct sunucusu aslında nedir

Tek bir hesaba kiralanan, PCIe yuvasında AMD hızlandırıcı bulunan ve üzerindeki işletim sisteminde root yetkisine sahip olduğunuz fiziksel bir sunucu. Kart, bir ürün katmanı değil faturada bir satırdır; bu nedenle altındaki makine, içine takılan şey yüzünden daha pahalı hale gelmez.

Kart sizindir

Bölüm yok, vGPU yok, sıranızın ne zaman geldiğine karar veren bir zamanlayıcı yok. Hızlandırıcı doğrudan çekirdeğinize teslim edilir; böylece kendi ROCm sürümünüzü sabitler ve bize sormadan kendi modüllerinizi yüklersiniz.

ROCm, HIP ve alışılmış çerçeveler

Her iki parça da desteklenen ROCm hedefleridir — MI210 için gfx90a, MI50 için gfx906 — PyTorch, TensorFlow, JAX ve ONNX Runtime'ın AMD üzerinde derlendiği hedefler bunlardır. HIP, CUDA kaynak kodunu yeniden yazma gerektirmeden taşır.

Makineden ayrı fiyatlandırılır

Hızlandırıcının kendi aylık rakamı, sunucunun da başka bir rakamı vardır ve ikisini toplarsınız. Sunucuyu değiştirmeden kartı değiştirin. Katalogdaki her kart için her iki rakam da GPU sayfasında yer alır.

Taktiğimiz iki AMD Instinct hızlandırıcı

Her ikisi de bugün aynı yapılandırıcıdan, farklı sunucu hatlarında sipariş edilebilir. Aşağıdaki rakamlar AMD'nin kendi yayınladığı rakamlardır.

AMD Instinct MI210

Standart tam yükseklikte, tam uzunlukta, çift yuvalı bir PCIe kartında CDNA 2 nesli — 104 hesaplama birimi, 1,6 TB/s'ye kadar hızda 64 GB HBM2e ve karttan karta doğrudan trafik için üç adede kadar Infinity Fabric bağlantısı. PCIe Gen 4 ana bağlantı üzerinden 300 W'ta pasif soğutmalı. Asıl soru modelin belleğe sığıp sığmadığı olduğunda istenecek kart budur.

AMD Instinct MI50

Daha eski Vega nesli parça: GCN 5.1 silikonu, 60 hesaplama birimi ve 16 GB paket üstü bellek. Artık kimse bu kartı kiralamıyor; bu da onu burada yalnızca ucuz olmaktan çok başka yerde bulunamaz kılıyor — ve hâlâ desteklenen bir ROCm hedefi olduğundan, MI210 ile aynı HIP ve PyTorch kodunu aylık rakamın çok daha küçük bir kısmına çalıştırır. Büyük karta geçmeden önce bir ROCm araç zincirini çalışır hale getirmenin mantıklı yoludur.

MI210'da matris verimi

AMD, MI210 için 1.700 MHz tepe boost motor saatinde 181,0 TFLOPS tepe FP16 ve BF16 matris performansı, ayrıca 22,6 TFLOPS tepe FP64 ve FP32 vektör performansı yayınlar.

Bellek kısıttır

64 GB, 30 milyar parametreli bir modelin ağırlıklarını 8 bitte veya 13 milyar parametreli bir modeli 16 bitte, KV önbelleği için yer kalacak şekilde tutar. Bir modeli boyutlandırmak başlı başına bir sorudur ve LLM sayfası bu hesabı her hassasiyette baştan sona işler.

Ana makinenin karta verdiği şey

Ana makine şerit nesli, neredeyse kimsenin yayınlamadığı ve bir kartın tasarım bant genişliğinde çalışıp çalışmadığına karar veren gerçektir. Biz kendi değerlerimizi her kartın yanında, GPU sayfasında yayınlıyoruz.

Baytları hiçbir şey saymaz

Ağırlıklar girer, kontrol noktaları çıkar, veri kümeleri girer. Bağlantı noktası tarifesizdir; bu nedenle bir derlemi akış olarak işleyen bir eğitim çalışması, ay sonunda bant genişliği faturası olarak gelmez.

AMD Instinct™ ile güçlendirilmiş HPE kurumsal sınıf özel sunucular

HPE kurumsal

AMD INSTINCT™ GPU özel sunucunuz, en zorlu iş yükleri için istikrarlı performans sağlayan HPE Enterprise sunucularıyla güçlendirilmiştir.

Donanım yükseltmeleri

Sunucu altyapınıza kolayca kaynak veya ek sunucular ekleyin. Çoğu yükseltme 24 saat içinde işleme alınır.

7/24 destek

Özel sunucu uzmanları, canlı sohbet ve e-posta yoluyla 7/24 yardımcı olmaya hazırdır.

MI210, taktığımız NVIDIA kartlarına karşı

Aynı sipariş kataloğundan dört hızlandırıcı; bu nedenle bu karşılaştırma, gerçekten aynı sepete koyabileceğiniz parçaları kıyaslar. Burada bilinçli olarak aylık rakam yok: GPU kataloğu bunları istek anında sipariş kataloğundan okur ve bu tabloya yazılan bir rakam eskiyebilir.

	MI210	L40S	A100	H100
GPU Mimarisi	CDNA 2	Ada Lovelace	NVIDIA Ampere	Hopper
GPU Belleği	64GB HBM2e	ECC'li 48GB GDDR6	80GB HBM2e	80GB HBM3
GPU Bellek Bant Genişliği	1,6 TB/s'ye kadar	864 GB/s	1935 GB/s	3352 GB/s
FP32	22,6 TFLOPS	91,6 TFLOPS	19,5 TFLOPS	51 TFLOPS
TF32 Tensor Çekirdeği	—	366 TFLOPS	312 TFLOPS	756 TFLOPS
FP16/BF16 Matris	181 TFLOPS	733 TFLOPS	624 TFLOPS	1513 TFLOPS
Güç	300W'a kadar	350W'a kadar	400W'a kadar	350W'a kadar

TF32, bir NVIDIA tensor çekirdeği biçimidir. CDNA 2 bunu uygulamaz ve AMD bunun için bir rakam yayınlamaz; bu nedenle MI210 sütunu orada başka bir satıcıdan ödünç alınmış bir sayı yerine hiçbir şey göstermez. NVIDIA tensor çekirdeği satırları, seyreklik içeren yayınlanmış rakamlardır. Taktığımız diğer her kart, MI50 dahil, GPU kataloğunda fiyatlandırılmıştır.

AMD Instinct GPU sunucuları hakkında SSS

Yapay zeka, HPC ve makine öğrenimi iş yükleri için çıplak metal üzerinde AMD Instinct hızlandırıcıları dağıtma ve yönetme hakkında sık sorulan sorular.

Hangi AMD Instinct hızlandırıcılarını gerçekten sipariş edebilirim?

İki tane: Instinct MI210 ve Instinct MI50. Bunlar sipariş kataloğumuzdaki AMD hızlandırıcılarıdır ve yapılandırıcı size Instinct serisinden başka bir şey önermez. MI210 üç sunucu hattımızda, MI50 ise iki hattımızda bulunur. MI250, MI250X veya MI300A takmıyoruz ve hiç takmadık.

MI210 ile MI50 arasındaki fark nedir?

Nesil ve bellek. MI210, 104 hesaplama birimi ve 1,6 TB/s'ye kadar hızda 64 GB HBM2e içeren AMD'nin CDNA 2 mimarisidir; PCIe Gen 4 ana bağlantı üzerinden 300 W'a kadar güç çeken çift yuvalı bir PCIe kartında, karttan karta trafik için üç adede kadar Infinity Fabric bağlantısıyla. MI50, 60 hesaplama birimi ve 16 GB ile daha eski GCN 5.1 neslidir. Her ikisi de desteklenen ROCm hedefleridir; bu nedenle aynı HIP ve PyTorch kodu her ikisinde de çalışır — MI210 yalnızca bir modelin dört katı kadarını tutar.

Çalıştırmak istediğim modelin ne kadar kart belleğine ihtiyacı var?

Yalnızca ağırlıklar, parametre sayısı çarpı parametre başına bayttır: 16 bitte 7-8 milyar parametreli bir model için yaklaşık 16 GB, 13-14 milyar için 28 GB, 30-34 milyar için 68 GB. KV önbelleği ve çalışma zamanı bunun üzerine biner; bu nedenle 16 GB'lık bir kart, ağırlıkları 16 GB olan bir modeli rahatça sunmaz. MI210'un 64 GB'ı, 8 bite nicemlenmiş 30 milyar parametreli bir modeli çalışma payıyla karşılar. LLM boyutlandırma sayfası tüm tabloyu içerir — her model boyutunun ne kadar belleğe ihtiyaç duyduğu ve hangi kartın bunu karşıladığı.

Bir AMD Instinct GPU sunucusunu dağıtmak ne kadar sürer?

Makinenin zaten rafa takılı olduğu durumlarda, ödeme onaylandıktan yaklaşık 30 dakika sonra etkinleştirilir. Takılı olmadığı durumlarda siparişe göre üretilir ve teslim süresi parçalara bağlıdır. Tarih önemliyse ödemeden önce sorun — anında sunucular sayfası, şu anda rafta duranlar içindir. Her sunucu anında işletim sistemi yeniden yüklemeyi içerir; böylece bir destek kaydı yeniden açmadan yineleyebilirsiniz.

Bu kartlarda hangi yazılımlar ve çerçeveler çalışır?

ROCm, AMD'nin açık kaynaklı GPU hesaplama platformu. Her iki parça da desteklenen ROCm hedefleridir — MI210'da gfx90a, MI50'de gfx906 — PyTorch, TensorFlow, JAX ve ONNX Runtime'ı, ayrıca BLAS, FFT, RNG ve derin öğrenme temel kütüphanelerini kapsar. HIP, mevcut CUDA kaynak kodunu yeniden yazma gerektirmeden taşır. Çıplak metal üzerinde root yetkiniz olduğundan ROCm ve çekirdek sürümlerini kendiniz seçersiniz ve tüm yapıyı Docker içinde veya Kubernetes altında çalıştırabilirsiniz.