RTX PRO 6000 Blackwell · 96 GB GDDR7 com ECC

RTX PRO 6000 em um servidor que você aluga por mês

Noventa e seis gigabytes de GDDR7 com correção de erros em uma única placa de expansão, em uma máquina física inteira sem mais ninguém nela. Nenhuma placa que instalamos comporta mais — nem mesmo as aceleradoras. O que você abre mão para obter essa capacidade é a taxa de leitura de memória e o NVLink, e esta página diz isso antes de dizer qualquer outra coisa.

96 GB, ECC Quatro codificadores, AV1 Passagem direta, sem fatiamento

Transforme suas GPUs em receita mensal passiva

Tem configurações de GPU de servidor ou desktop paradas? Anuncie-as hoje no marketplace da Primcast e ganhe aluguéis mensais constantes de equipes de IA, desenvolvedores e empresas que precisam de computação de nível de produção.

Ir para o Marketplace

A maior placa daqui, e onde ela fica na fatura

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Uma H100 é uma aceleradora: ela existe para manter um modelo e fazer aritmética com ele, e a NVIDIA a precifica de acordo. A RTX PRO 6000 é uma placa de workstation que por acaso recebeu mais memória do que a aceleradora. Se toda a sua pergunta é vai caber, leia a coluna de memória e a coluna de dinheiro na tabela abaixo uma contra a outra — nesta prateleira elas não correm na mesma direção, e é por isso que esta página existe.

Onde ela fica em relação às outras placas de grande memória que instalamos

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Cada número acima é lido do catálogo de pedidos que o checkout fatura, no momento em que esta página foi servida. Nada nesta página é digitado à mão.

A especificação, como a NVIDIA a publica

Blackwell, núcleos Tensor de quinta geração, núcleos RT de quarta geração. Números da própria página de produto da NVIDIA para a Workstation Edition, citados no código-fonte desta página.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

No que ela é boa, e no que não é

A versão honesta. Uma placa tão cara é a placa errada com mais frequência do que é a certa, e os quatro parágrafos abaixo são os que decidem isso.

Boa em: manter algo grande, inteiro

Noventa e seis gigabytes são suficientes para um modelo de setenta bilhões de parâmetros em precisão de oito bits com folga para a janela de contexto, e suficientes para um modelo de trinta bilhões em dezesseis bits completos. Uma placa, um espaço de endereçamento, sem sharding e sem uma segunda máquina para manter em sincronia.

Boa em: trabalho que é gráfico E aritmético

Quatro codificadores de hardware e quatro decodificadores com AV1, além de núcleos de ray tracing de quarta geração. Ela renderiza, transcodifica e infere na mesma placa. As aceleradoras desta prateleira não fazem nenhum dos dois primeiros — elas não têm codificador de vídeo algum.

Ruim em: trabalho limitado por memória em escala

GDDR7 é rápida, mas não é memória empilhada. A A100 e a H100 leem seus pesos mais rápido por segundo do que esta placa, e para geração de tokens em lote grande essa taxa de leitura é o teto, não a aritmética. Se o seu gargalo é largura de banda e não capacidade, a aceleradora menor vence.

Ruim em: agrupar com uma segunda placa

Não há NVLink nesta peça. Duas delas em uma máquina são dois pools separados de 96 GB que conversam pelo slot, não um pool de 192 GB. Quando você realmente precisa de mais de 96 GB em um único espaço de endereçamento, esta não é a placa que o leva até lá.

Em qual máquina ela entra, e qual link ela recebe lá

Esta placa é uma peça PCIe Gen 5 e toda plataforma que rodamos é Gen 3 ou Gen 4, então ela nunca recebe o barramento completo para o qual foi projetada. Isso importa para alguns trabalhos e para outros não importa nada, e a diferença vale mais do que o silêncio.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Uma vez que os pesos estão residentes na placa, o slot fica ocioso e a geração deixa de importar — o que é a maioria da inferência, a maioria da renderização e toda a transcodificação. Importa para um loop de treinamento que transmite um lote novo pelo slot a cada passo. Pergunte se não tiver certeza de qual dos dois você é; a resposta decide a máquina, não a placa.

O que realmente cabe em 96 GB

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

A potência da placa é o outro teto e é um teto real: a Workstation Edition desta placa consome até 600 W sozinha, e a edição Max-Q é o mesmo silício e os mesmos 96 GB a 300 W. Qual das duas um determinado chassi aceita depende do chassi, então pergunte antes de pedir, e não depois.

Essa tabela responde “o que cabe nesta placa”. A pergunta no sentido inverso — quanta memória um modelo precisa, e qual placa a atende — é uma página própria.

Quanto custa, com a máquina em que ela entra

A placa é uma linha separada na fatura e a máquina é outra. As duas metades abaixo vêm de uma única leitura do catálogo de pedidos, então o preço e a especificação ao lado sempre pertencem um ao outro.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

A largura de banda não é medida em nenhuma das direções, sem cobrança de saída, um endereço IPv4 está incluído, não há contrato e um mês é o prazo padrão. Para todas as outras placas que instalamos, e os mesmos números para todas elas, leia o catálogo completo, com preços. Para máquinas já montadas e prontas hoje, em vez de feitas sob encomenda, /instant.

Perguntas que as pessoas realmente fazem sobre esta placa

Esta é a mesma placa que a RTX 6000 Ada?

Não, e os nomes convidam ao engano. A RTX 6000 Ada Generation é a principal profissional anterior: 48 GB de GDDR6 com ECC na arquitetura Ada Lovelace. A RTX PRO 6000 Blackwell tem 96 GB de GDDR7 com ECC, o dobro da memória, em silício mais novo. Instalamos ambas, e elas aparecem lado a lado na escada acima para que o degrau entre elas seja um número, e não uma afirmação.

96 GB contra os 80 GB da H100 — então para que serve a H100?

Você está pagando por coisas diferentes. O dinheiro da H100 está na memória empilhada e na taxa de leitura que vem com ela, além do NVLink para agrupar várias placas em um único espaço de endereçamento. O dinheiro da RTX PRO 6000 está na capacidade, no ray tracing e nos quatro codificadores de vídeo. Se a pergunta é o modelo vai caber, esta placa responde com mais folga. Se a pergunta é quantos tokens por segundo em um tamanho de lote grande, a aceleradora responde melhor e a escada acima mostra quanto isso custa.

A placa é compartilhada com mais alguém?

Não. Um locatário por máquina física, e a placa é passada diretamente para o seu próprio sistema operacional — sem hipervisor, sem partição MIG, sem perfil vGPU, sem fatiamento de tempo. Você instala e fixa seu próprio driver e versão do CUDA, e nada é atualizado por baixo de você. O que você mede na primeira tarde é o que você mantém.

Posso ter duas delas em uma máquina?

É uma configuração que orçamos, e não uma caixa que você marca, porque a resposta depende do chassi, da largura física da placa e do orçamento de energia — e com até 600 W cada, o orçamento de energia geralmente é o que decide. Pergunte, e a resposta informa o chassi, a quantidade e o prazo de entrega. Note que duas placas são dois pools de memória separados aqui: esta peça não tem NVLink.

Em quanto tempo posso ter uma?

Depende de a placa já estar instalada, já estar na nossa prateleira ou precisar ser comprada — e você é informado disso antes de pagar, não depois. /instant lista máquinas montadas e prontas agora. Qualquer outra coisa é orçada com seu prazo de entrega real.