RTX PRO 6000 Blackwell · 96 GB GDDR7 with ECC

RTX PRO 6000 aylık kiraladığınız bir sunucuda

Tek bir eklenti kartında doksan altı gigabayt hata düzeltmeli GDDR7, üzerinde başka kimsenin olmadığı komple bir fiziksel makinede. Taktığımız hiçbir kart daha fazlasını tutmuyor — hızlandırıcılar bile değil. Bu kapasiteyi elde etmek için vazgeçtiğiniz şey bellek okuma hızı ve NVLink; bu sayfa bunu her şeyden önce söylüyor.

96 GB, ECC Dört kodlayıcı, AV1 Geçirilir, dilimlenmez

GPU'larınızı pasif aylık gelire dönüştürün

Atıl sunucu veya masaüstü GPU kurulumlarınız mı var? Bugün Primcast pazarında listeleyin ve yapay zeka ekiplerinden, geliştiricilerden ve üretim düzeyinde işlem gücüne ihtiyaç duyan kuruluşlardan düzenli aylık kira geliri elde edin.

Pazar Yerine Git

Buradaki en büyük kart ve faturadaki yeri

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

H100 bir hızlandırıcıdır: bir modeli tutmak ve üzerinde aritmetik yapmak için vardır ve NVIDIA buna göre fiyatlandırır. RTX PRO 6000 ise hızlandırıcıdan daha fazla bellek verilmiş bir iş istasyonu kartıdır. Sorunuzun tamamı sığar mı ise, aşağıdaki tablodaki bellek sütununu ve para sütununu birbirine karşı okuyun — bu rafta aynı yönde ilerlemezler ve bu sayfanın var olma nedeni budur.

Taktığımız diğer büyük bellekli kartlara göre konumu

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Yukarıdaki her rakam, bu sayfa sunulduğu anda kasanın faturalandırdığı sipariş kataloğundan okunur. Bu sayfadaki hiçbir şey elle yazılmaz.

NVIDIA'nın yayınladığı şekliyle teknik özellikler

Blackwell, beşinci nesil Tensor çekirdekleri, dördüncü nesil RT çekirdekleri. Rakamlar NVIDIA’nın Workstation Edition için kendi ürün sayfasından alınmıştır ve bu sayfanın kaynağında belirtilmiştir.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

Neyde iyi, neyde değil

Dürüst versiyonu. Bu kadar pahalı bir kart, doğru kart olduğundan daha sık yanlış karttır ve aşağıdaki dört paragraf buna karar veren paragraflardır.

İyi olduğu şey: büyük bir şeyi bütün olarak tutmak

Doksan altı gigabayt, sekiz bit hassasiyette yetmiş milyar parametreli bir model için bağlam penceresine yer bırakacak kadar yeterlidir ve tam on altı bitte otuz milyar parametreli bir model için yeterlidir. Tek kart, tek adres alanı, parçalama yok ve senkron tutulacak ikinci bir makine yok.

İyi olduğu şey: hem grafik hem aritmetik olan işler

AV1 destekli dört donanım kodlayıcı ve dört kod çözücü, ayrıca dördüncü nesil ışın izleme çekirdekleri. Aynı kart üzerinde render alır, kod dönüştürür ve çıkarım yapar. Bu raftaki hızlandırıcılar ilk ikisinin hiçbirini yapmaz — hiç video kodlayıcıları yoktur.

Kötü olduğu şey: ölçekte bellek-bağımlı işler

GDDR7 hızlıdır, ancak yığılmış bellek değildir. A100 ve H100 ağırlıklarını bu karttan saniyede daha hızlı okur ve büyük partili token üretimi için tavan olan okuma hızıdır, aritmetik değil. Darboğazınız kapasite değil bant genişliğiyse, daha küçük hızlandırıcı kazanır.

Kötü olduğu şey: ikinci bir kartla birleştirme

Bu parçada NVLink yoktur. Bir makinede iki tane olması, yuva üzerinden konuşan iki ayrı 96 GB havuzudur, tek bir 192 GB havuzu değil. Tek bir adres alanında gerçekten 96 GB'tan fazlasına ihtiyacınız olduğunda, sizi oraya götürecek kart bu değildir.

Hangi makineye takılır ve orada hangi bağlantıyı alır

Bu kart bir PCIe Gen 5 parçasıdır ve çalıştırdığımız her platform Gen 3 veya Gen 4'tür, bu yüzden tasarlandığı tam veri yolunu asla alamaz. Bu bazı işler için önemlidir, diğer işler için hiç önemli değildir ve fark sessizlikten daha değerlidir.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Ağırlıklar karta yerleştikten sonra yuva boştadır ve nesil önemini yitirir — bu çoğu çıkarım, çoğu render ve tüm kod dönüştürme işlemidir. Her adımda yuvadan yeni bir parti akıtan bir eğitim döngüsü için önemlidir. Hangisi olduğunuzdan emin değilseniz sorun; cevap kartı değil, makineyi belirler.

96 GB'a gerçekte ne sığar

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

Kart gücü diğer tavandır ve gerçek bir tavandır: bu kartın Workstation Edition sürümü tek başına 600 W'a kadar çeker ve Max-Q sürümü aynı silikon ve aynı 96 GB'dır, 300 W'ta. Belirli bir kasanın ikisinden hangisini alacağı kasaya bağlıdır, bu yüzden sipariş verdikten sonra değil, önce sorun.

Bu tablo “bu karta ne sığar” sorusunu yanıtlar. Ters yöndeki soru — bir modelin ne kadar belleğe ihtiyacı olduğu ve hangi kartın bunu karşıladığı — kendi sayfasıdır.

İçine girdiği makineyle birlikte maliyeti

Kart faturada ayrı bir satırdır ve makine başka bir satırdır. Aşağıdaki her iki yarı da sipariş kataloğunun tek bir okumasından gelir, bu yüzden yanındaki fiyat ve teknik özellik her zaman birbirine aittir.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Bant genişliği her iki yönde de ölçülmez ve çıkış ücreti yoktur, bir IPv4 adresi dahildir, sözleşme yoktur ve bir ay varsayılan süredir. Taktığımız diğer tüm kartlar ve hepsinin aynı rakamları için fiyatlı tüm kataloğu okuyun. Sipariş üzerine üretilmek yerine bugün rafa kaldırılmış ve hazır makineler için /instant.

İnsanların bu kart hakkında gerçekten sorduğu sorular

Bu kart RTX 6000 Ada ile aynı mı?

Hayır ve isimler hatayı davet ediyor. RTX 6000 Ada Generation önceki profesyonel amiral gemisidir: Ada Lovelace mimarisinde ECC'li 48 GB GDDR6. RTX PRO 6000 Blackwell ise daha yeni silikonda 96 GB GDDR7 with ECC'ye, yani iki kat belleğe sahiptir. Her ikisini de takıyoruz ve yukarıdaki merdivende yan yana görünürler, böylece aralarındaki adım bir iddia değil, bir rakamdır.

96 GB, H100’ün 80 GB'ına karşı — peki H100 ne için?

Farklı şeyler için ödeme yapıyorsunuz. H100'ün parası yığılmış bellekte ve onunla gelen okuma hızında, ayrıca birkaç kartı tek bir adres alanında birleştirmek için NVLink'te. RTX PRO 6000'in parası kapasitede, ışın izlemede ve dört video kodlayıcıda. Soru model sığacak mı ise, bu kart daha fazla boşlukla yanıtlar. Soru büyük parti boyutunda saniyede kaç token ise, hızlandırıcı daha iyi yanıtlar ve yukarıdaki merdiven bunun maliyetini gösterir.

Kart başka biriyle paylaşılıyor mu?

Hayır. Fiziksel makine başına bir kiracı ve kart doğrudan kendi işletim sisteminize geçirilir — hipervizör yok, MIG bölümü yok, vGPU profili yok, zaman dilimleme yok. Kendi sürücünüzü ve CUDA sürümünüzü kurar ve sabitlersiniz ve altınızda hiçbir şey yükseltilmez. İlk öğleden sonra ölçtüğünüz şey, elinizde tuttuğunuz şeydir.

Bir makinede iki tane alabilir miyim?

Bu, işaretlediğiniz bir kutu değil, fiyat teklifi verdiğimiz bir yapıdır, çünkü cevap kasaya, kartın fiziksel genişliğine ve güç bütçesine bağlıdır — ve her biri 600 W'a kadar çıktığında, genellikle kararı veren güç bütçesidir. Sorun, cevap kasayı, sayıyı ve teslim süresini belirtir. Burada iki kartın iki ayrı bellek havuzu olduğunu unutmayın: bu parçada NVLink yoktur.

Ne kadar sürede alabilirim?

Kartın zaten takılı olup olmadığına, zaten rafımızda olup olmadığına veya satın alınması gerekip gerekmediğine bağlıdır — ve ödemeden önce hangisi olduğu size söylenir, sonra değil. /instant şu anda rafa kaldırılmış ve hazır makineleri listeler. Diğer her şey gerçek teslim süresiyle fiyatlandırılır.