RTX PRO 6000 Blackwell · 96 GB GDDR7 com ECC

RTX PRO 6000 em um servidor que você aluga mensalmente.

Noventa e seis gigabytes de GDDR7 com correção de erros em uma única placa de expansão, em uma máquina física completa, sem nenhum outro componente conectado. Nenhuma placa que instalamos suporta mais memória — nem mesmo os aceleradores. O que você sacrifica para obter essa capacidade é a taxa de leitura da memória e o NVLink, e esta página deixa isso bem claro antes de qualquer outra coisa.

96 GB, ECC Quatro codificadores, AV1 Atravessou, não cortou

O cartão mais importante aqui, e onde ele se encontra na fatura.

Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Um H100 é um acelerador: ele existe para armazenar um modelo e realizar cálculos aritméticos com ele, e a NVIDIA o precifica de acordo. A RTX PRO 6000 é uma placa de vídeo para estações de trabalho que por acaso recebeu mais memória do que o acelerador. Se sua pergunta é se cabe no espaço disponível , compare as colunas de memória e preço na tabela abaixo — neste caso, elas não seguem a mesma ordem, e é por isso que esta página existe.

Onde ele se encaixa em relação aos outros cartões de memória de grande capacidade que instalamos.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Todos os valores acima foram lidos do catálogo de pedidos do caixa no momento em que esta página foi exibida. Nada nesta página foi digitado manualmente.

A especificação, conforme publicada pela NVIDIA.

Blackwell, núcleos Tensor de quinta geração, núcleos RT de quarta geração. Dados da página do produto Workstation Edition da NVIDIA, citada na fonte desta página.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

O que faz bem e o que não faz.

A versão honesta. Um cartão tão caro é, na maioria das vezes, o cartão errado em vez do certo, e os quatro parágrafos abaixo são os que decidem isso.

Bom em: segurar algo grande, inteiro

Noventa e seis gigabytes são suficientes para um modelo de setenta bilhões de parâmetros com precisão de oito bits, com espaço de sobra para a janela de contexto, e suficientes para um modelo de trinta bilhões com dezesseis bits completos. Uma placa, um espaço de endereçamento, sem fragmentação e sem necessidade de uma segunda máquina para sincronizar.

Habilidade em: trabalhos que envolvem gráficos E aritmética.

Quatro codificadores e quatro decodificadores de hardware com AV1, além de núcleos de ray tracing de quarta geração. Renderiza, transcodifica e infere na mesma placa. Os aceleradores desta prateleira não fazem nenhuma das duas primeiras coisas — eles não têm codificador de vídeo algum.

Dificuldade em: tarefas que dependem da memória em grande escala

A GDDR7 é rápida, mas não é memória empilhada. As placas A100 e H100 leem seus pesos mais rapidamente por segundo do que esta placa, e para geração de tokens em lotes grandes, essa taxa de leitura é o limite máximo, não o cálculo exato. Se o gargalo for largura de banda em vez de capacidade, o acelerador menor é a melhor opção.

Péssima em: jogar com uma segunda carta

Não há NVLink nesta placa. Duas delas em uma mesma máquina formam dois pools separados de 96 GB que se comunicam pelo slot, e não um único pool de 192 GB. Se você realmente precisa de mais de 96 GB em um único espaço de endereçamento, esta não é a placa ideal.

Em qual máquina ele será inserido e qual link ele receberá?

Esta placa é PCIe Gen 5 e todas as plataformas que utilizamos são Gen 3 ou Gen 4, portanto, ela nunca utiliza todo o potencial do barramento para o qual foi projetada. Isso faz diferença para alguns trabalhos e não faz diferença alguma para outros, e essa diferença vale mais do que o silêncio.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Uma vez que os pesos estejam residentes no cartão, o slot fica ocioso e a geração deixa de ser relevante — o que inclui a maior parte da inferência, da renderização e de toda a transcodificação. Ela só importa para um loop de treinamento que transmite um novo lote pelo slot a cada passo. Se você não tiver certeza de qual dos dois você é, pergunte-se: a resposta define a máquina, não o cartão.

O que realmente cabe em 96 GB?

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 96 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — fits34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — fits38 GB — fits

A potência da placa é o outro limite, e é um limite real: a versão Workstation desta placa consome até 600 W sozinha, e a versão Max-Q, com o mesmo silício e os mesmos 96 GB, consome 300 W. Qual das duas versões um determinado gabinete suporta depende do modelo, então pergunte antes de fazer o pedido, em vez de depois.

Quanto custa, incluindo a máquina em que é instalado?

O cartão é uma linha separada na fatura e a máquina é outra. Ambas as metades abaixo provêm de uma única leitura do catálogo de pedidos, portanto, o preço e a especificação ao lado sempre pertencem um ao outro.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

A largura de banda é ilimitada em ambas as direções, sem cobrança de saída, um endereço IPv4 está incluído, não há contrato e o prazo padrão é de um mês. Para todas as outras placas que instalamos, e os mesmos valores para todas elas, consulte o catálogo completo com os preços . Para máquinas prontas para instalação imediata, em vez de fabricadas sob encomenda, /instant .

Perguntas que as pessoas realmente fazem sobre este cartão.

Essa placa é a mesma que a RTX 6000 Ada?

Não, e os nomes podem levar ao engano. A RTX 6000 Ada Generation é a placa de vídeo profissional topo de linha anterior: 48 GB de GDDR6 com ECC na arquitetura Ada Lovelace. A RTX PRO 6000 Blackwell tem 96 GB de GDDR7 com ECC, o dobro da memória, em um chip mais recente. Nós testamos ambas, e elas aparecem lado a lado na tabela acima, então a diferença entre elas é um número, não uma afirmação.

96 GB contra os 80 GB do H100 — então, para que serve o H100?

Você está pagando por coisas diferentes. O diferencial da H100 está na memória empilhada e na taxa de leitura que a acompanha, além do NVLink para agrupar várias placas em um único espaço de endereçamento. Já o diferencial da RTX PRO 6000 está na capacidade, no ray tracing e nos quatro codificadores de vídeo. Se a pergunta é se o modelo cabe , esta placa responde com mais espaço de sobra. Se a pergunta é quantos tokens por segundo com um tamanho de lote grande , o acelerador responde melhor, e a tabela acima mostra o custo disso.

O cartão foi compartilhado com mais alguém?

Não. Um único usuário por máquina física, e a placa é repassada diretamente para o seu próprio sistema operacional — sem hipervisor, sem partição MIG, sem perfil vGPU, sem fatiamento de tempo. Você instala e fixa seu próprio driver e versão do CUDA, e nada é atualizado automaticamente. O que você medir na primeira tarde é o que você mantém.

Posso ter dois deles em uma mesma máquina?

Trata-se de um orçamento para a configuração, e não de uma simples seleção de opções, pois a resposta depende do gabinete, da largura física da placa e do consumo de energia — e, com placas de até 600 W cada, o consumo de energia geralmente é o fator decisivo. Ao solicitar o orçamento, a resposta especifica o gabinete, a quantidade de placas e o prazo de entrega. Observe que, neste caso, duas placas representam dois pools de memória separados: esta peça não possui NVLink.

Em quanto tempo posso receber um?

Depende se a placa já está instalada, em estoque ou se precisa ser encomendada — e você será informado disso antes de pagar, não depois. /instant lista as máquinas disponíveis e prontas para uso imediato. Qualquer outra coisa será informada com seu prazo de entrega real.