Is the RTX PRO 6000 Blackwell the same card as the RTX 6000 Ada?

No, and the names invite the mistake. The RTX 6000 Ada Generation is the previous professional flagship: 48 GB of GDDR6 with ECC on the Ada Lovelace architecture. The RTX PRO 6000 Blackwell has 96 GB of GDDR7 with ECC, twice the memory, on newer silicon. Primcast fits both, and both appear on the page with their own prices so the step between them is a figure rather than a claim.

Why does the RTX PRO 6000 have more memory than an H100 but cost less per month?

Because you are paying for different things. The H100's money is in stacked memory and the read rate that comes with it, plus NVLink for pooling several cards. The RTX PRO 6000's money is in capacity, ray tracing and four video encoders. If the question is whether the model will fit, the cheaper card answers it better. If the question is how many tokens a second at a large batch size, it does not.

Is the graphics card shared with anyone else?

No. One tenant per physical machine, and the card is passed straight through to your own operating system -- no hypervisor, no MIG partition, no vGPU profile, no time-slicing. You install and pin your own driver and CUDA release, and nothing upgrades underneath you.

Can I have two RTX PRO 6000 cards in one machine?

It is a build quoted rather than a checkout option, because the answer depends on the chassis, the physical width of the card and the power budget -- and at up to 600 W each, the power budget is usually what decides it. Note that two cards are two separate memory pools: this part has no NVLink.

How soon can I have an RTX PRO 6000 server?

It depends on whether the card is already fitted, already on the shelf, or has to be bought in, and you are told which before you pay rather than after. Machines racked and ready right now are listed at https://primcast.com/instant.

Blackwell RTX PRO 6000 · 96 GB GDDR7 ECC

Aylık kiraladığınız bir sunucuda RTX PRO 6000.

Tek bir ek kart üzerinde, hatası düzeltilmiş 96 gigabayt GDDR7 bellek, üzerinde başka hiçbir şey bulunmayan fiziksel bir makinede. Takabildiğimiz hiçbir kart daha fazla bellek barındırmıyor - hızlandırıcılar bile. Bu kapasiteyi elde etmek için vazgeçtiğiniz şey bellek okuma hızı ve NVLink'tir ve bu sayfa her şeyden önce bunu belirtiyor.

96 GB, ECC Dört kodlayıcı, AV1 Geçirildi, kesilmedi.

Makinenin maliyeti ne kadar?

Buradaki en büyük kart ve faturadaki yeri.

Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

H100 bir hızlandırıcıdır: bir modeli tutmak ve üzerinde aritmetik işlemler yapmak için vardır ve NVIDIA bunu buna göre fiyatlandırır. RTX PRO 6000 ise hızlandırıcıdan daha fazla belleğe sahip bir iş istasyonu kartıdır. Sorunuzun tamamı " uyacak mı?" ise, aşağıdaki tabloda bellek sütununu ve fiyat sütununu karşılaştırın — bu rafta aynı yönde ilerlemezler ve bu sayfanın var olma nedeni de budur.

Takabileceğimiz diğer büyük hafıza kartlarına kıyasla konumu

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 80GB	80 GB HBM2e	$899	$972.47
RTX PRO 6000 Blackwell 96GB	96 GB GDDR7 ECC	$1,299	$1,382.67
H100 80GB	80 GB HBM2e	$1,599	$1,682.67

Yukarıdaki tüm rakamlar, bu sayfa görüntülendiği anda sipariş kataloğundan okunarak alınmıştır. Bu sayfadaki hiçbir şey elle yazılmamıştır.

NVIDIA'nın yayınladığı teknik özellikler

Blackwell, beşinci nesil Tensor çekirdekleri, dördüncü nesil RT çekirdekleri. Bu bilgiler, bu sayfanın kaynağında belirtilen NVIDIA'nın Workstation Edition ürün sayfasından alınmıştır.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

İyi olduğu ve kötü olduğu yönler

Dürüst olmak gerekirse, bu kadar pahalı bir kart çoğu zaman doğru kart olmaktan çok yanlış karttır ve aşağıdaki dört paragraf bunu belirleyen kısımdır.

İyi olduğu alanlar: büyük ve bütün bir şeyi tutmak

Doksan altı gigabayt, bağlam penceresi için de yer kalacak şekilde, sekiz bit hassasiyette yetmiş milyar parametreli bir model için ve tam on altı bit hassasiyette otuz milyar parametreli bir model için yeterlidir. Tek kart, tek adres alanı, parçalama yok ve senkronize kalması gereken ikinci bir makine yok.

İyi olduğu alanlar: hem grafik hem de aritmetik işleri.

AV1 destekli dört donanım kodlayıcı ve dört kod çözücüye ek olarak dördüncü nesil ışın izleme çekirdekleri içeriyor. Aynı kart üzerinde görüntü işliyor, kod dönüştürüyor ve çıkarım yapıyor. Bu raftaki hızlandırıcılar ilk iki işlemi yapmıyor; hiç video kodlayıcıları yok.

Zayıf olduğu alanlar: büyük ölçekli ve belleğe dayalı işler

GDDR7 hızlıdır, ancak yığılmış bellek değildir. A100 ve H100, ağırlıklarını saniyede bu karttan daha hızlı okur ve büyük ölçekli belirteç üretimi için bu okuma hızı, aritmetik değil, tavan değerdir. Eğer darboğazınız kapasiteden ziyade bant genişliği ise, daha küçük hızlandırıcı kazanır.

Kötü olduğu alan: ikinci bir kartla havuz oluşturmak

Bu parçada NVLink özelliği yok. Bir makinedeki iki adet NVLink, yuva üzerinden iletişim kuran iki ayrı 96 GB'lık havuzdur, tek bir 192 GB'lık havuz değildir. Gerçekten tek bir adres alanında 96 GB'tan fazlasına ihtiyacınız olduğunda, bu kart size bu imkanı sağlamaz.

Hangi makineye giriyor ve oraya hangi bağlantıyla ulaşıyor?

Bu kart bir PCIe Gen 5 parçası ve kullandığımız tüm platformlar Gen 3 veya Gen 4 olduğundan, tasarlandığı tam veri yolu hızına asla ulaşamıyor. Bu durum bazı işler için önemliyken, diğerleri için hiç önemli değil ve aradaki fark sessizlikten daha değerli.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Ağırlıklar karta kaydedildikten sonra, yuva boşta kalır ve üretim süreci önemini yitirir; bu da çoğu çıkarım, çoğu işleme ve tüm kod dönüştürme işlemlerini kapsar. Her adımda yuvaya yeni bir veri grubu aktaran bir eğitim döngüsü için önemlidir. Hangi durumda olduğunuzdan emin değilseniz, sorun; cevap makineyi belirler, kartı değil.

96 GB'a aslında neler sığar?

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 96 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — fits	34 GB — fits	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — fits	38 GB — fits

Anakartın güç tüketimi de diğer bir sınırdır ve bu gerçek bir sınırdır: Bu kartın Workstation Edition sürümü tek başına 600 W'a kadar güç tüketirken, Max-Q sürümü aynı silikon ve aynı 96 GB belleğe sahip olup 300 W güç tüketir. Hangi sürümün hangi kasa için uygun olduğu kasaya bağlıdır, bu nedenle sipariş vermeden önce bilgi almanız daha iyidir.

Makineyle birlikte maliyeti ne kadar?

Faturada kart ayrı bir satırda, makine ise başka bir satırda yer almaktadır. Aşağıdaki iki bölüm de sipariş kataloğunun tek bir okumasından elde edilmiştir, bu nedenle fiyat ve yanındaki özellikler her zaman birbirine aittir.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
RTX PRO 6000 Blackwell 96GB	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$1,299	$1,382.67 Configure this build →
RTX PRO 6000 Blackwell 96GB	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$1,299	$1,516.59 Configure this build →

Bant genişliği her iki yönde de sınırsızdır, çıkış ücreti yoktur, bir IPv4 adresi dahildir, sözleşme yoktur ve varsayılan süre bir aydır. Takacağımız diğer tüm kartlar için aynı rakamlar geçerlidir, fiyatlandırılmış kataloğun tamamını okuyun. Sipariş üzerine üretilmek yerine bugün kullanıma hazır, rafa monte edilmiş makineler için /instant .

İnsanların bu kartla ilgili gerçekten sorduğu sorular

Bu, RTX 6000 Ada ile aynı kart mı?

Hayır, ve isimler bu hataya yol açıyor. RTX 6000 Ada Generation, önceki profesyonel amiral gemisiydi: Ada Lovelace mimarisi üzerinde 48 GB ECC destekli GDDR6 belleğe sahipti. RTX PRO 6000 Blackwell ise daha yeni bir silikon üzerinde iki kat daha fazla bellek olan 96 GB ECC destekli GDDR7 belleğe sahip. İkisini de yerleştirdik ve yukarıdaki sıralamada yan yana göründükleri için aralarındaki adım bir iddia değil, bir rakamdır.

H100'ün 80 GB'ına karşılık 96 GB — peki H100 ne işe yarıyor?

Farklı şeyler için ödeme yapıyorsunuz. H100'ün fiyatı, yığılmış bellek ve bununla birlikte gelen okuma hızı ile birlikte, birden fazla kartı tek bir adres alanına havuzlamak için kullanılan NVLink'te yatıyor. RTX PRO 6000'in fiyatı ise kapasite, ışın izleme ve dört video kodlayıcıda yatıyor. Eğer soru, modelin sığacağı ise, bu kart daha da fazla alan sunarak cevabı veriyor. Eğer soru, büyük bir toplu işlem boyutunda saniyede kaç token işleneceği ise, hızlandırıcı bu soruyu daha iyi yanıtlıyor ve yukarıdaki tablo bunun maliyetini gösteriyor.

Bu kart başka biriyle paylaşılıyor mu?

Hayır. Fiziksel makine başına bir kiracı ve kart doğrudan kendi işletim sisteminize aktarılıyor; hipervizör yok, MIG bölümü yok, vGPU profili yok, zaman dilimleme yok. Kendi sürücünüzü ve CUDA sürümünüzü kurup sabitliyorsunuz ve altta hiçbir şey yükseltilmiyor. İlk öğleden sonra ölçtüğünüz şey, sakladığınız şeydir.

Bunlardan ikisini tek bir makinede kullanabilir miyim?

Bu, işaretleyeceğiniz bir kutucuk değil, size fiyat teklifi vereceğimiz bir yapılandırma; çünkü cevap kasaya, kartın fiziksel genişliğine ve güç bütçesine bağlıdır ve her biri 600 W'a kadar güç tükettiğinden, genellikle güç bütçesi belirleyici faktördür. Sorduğunuzda, kasayı, adedi ve teslim süresini belirten bir yanıt alırsınız. Burada iki kartın iki ayrı bellek havuzu olduğunu unutmayın: bu parçada NVLink bulunmamaktadır.

Ne kadar sürede alabilirim?

Kartın zaten takılı olup olmadığına, raflarımızda mevcut olup olmadığına veya satın alınması gerekip gerekmediğine bağlıdır ve bu durum size ödeme yapmadan önce bildirilir, sonrasında değil. /instant seçeneği, şu anda raflarda hazır bulunan makineleri listeler. Diğer her şey gerçek teslim süresiyle birlikte belirtilir.