RTX PRO 6000 Blackwell · 96 GB GDDR7 con ECC

RTX PRO 6000 en un servidor que se alquila por mes.

Noventa y seis gigabytes de memoria GDDR7 con corrección de errores en una sola tarjeta de expansión, en un equipo físico completo sin ningún otro componente instalado. Ninguna otra tarjeta que podamos instalar admite más memoria, ni siquiera los aceleradores. Para obtener esa capacidad, se sacrifica la velocidad de lectura de la memoria y la conectividad NVLink, y esta página lo indica antes de cualquier otra cosa.

96 GB, ECC Cuatro codificadores, AV1 Atravesado, no cortado

La tarjeta más grande aquí, y dónde se encuentra en la factura.

Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Una H100 es una aceleradora: su función es alojar un modelo y realizar cálculos aritméticos, y NVIDIA la valora en consecuencia. La RTX PRO 6000 es una tarjeta para estaciones de trabajo que, casualmente, cuenta con más memoria que la aceleradora. Si su pregunta se centra en si cabe , compare la columna de memoria con la de precio en la tabla siguiente; en este caso, no tienen la misma relación, y esa es la razón de ser de esta página.

Donde se ubica junto a las otras tarjetas de memoria grandes que instalamos

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Todas las cifras anteriores se obtuvieron del catálogo de pedidos que se utilizó para facturar el producto, en el momento en que se mostró esta página. Nada en esta página se ha escrito a mano.

La especificación, tal como la publica NVIDIA

Blackwell, núcleos Tensor de quinta generación, núcleos RT de cuarta generación. Cifras obtenidas de la página de producto de NVIDIA para la edición Workstation, citada en la fuente de esta página.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

En qué es bueno y en qué no lo es.

La versión honesta. Una tarjeta tan cara suele ser la equivocada con más frecuencia que la acertada, y los cuatro párrafos siguientes son los que lo deciden.

Bueno para: sostener algo grande y entero

Noventa y seis gigabytes son suficientes para un modelo de setenta mil millones de parámetros con precisión de ocho bits y margen para la ventana de contexto, y también para un modelo de treinta mil millones con precisión de dieciséis bits. Una tarjeta, un espacio de direcciones, sin fragmentación y sin necesidad de una segunda máquina para mantener el ritmo.

Habilidades destacadas: en trabajos que combinan gráficos y aritmética.

Cuatro codificadores y cuatro decodificadores de hardware con AV1, además de núcleos de trazado de rayos de cuarta generación. Renderiza, transcodifica e infiere en la misma placa. Los aceleradores de este estante no realizan ninguna de las dos primeras funciones: no tienen ningún codificador de vídeo.

Malo en: trabajo a gran escala que requiere mucha memoria

La memoria GDDR7 es rápida, pero no es memoria apilada. Las tarjetas A100 y H100 leen sus pesos más rápido por segundo que esta, y para la generación de tokens en lotes grandes, esa velocidad de lectura es el límite, no la aritmética. Si el cuello de botella es el ancho de banda en lugar de la capacidad, el acelerador más pequeño es la mejor opción.

Malo en: jugar con una segunda tarjeta

Esta tarjeta no cuenta con NVLink. Dos de ellas en una misma máquina son dos grupos de 96 GB independientes que se comunican a través de la ranura, no un único grupo de 192 GB. Si realmente necesita más de 96 GB en un mismo espacio de direcciones, esta no es la tarjeta adecuada.

¿En qué máquina va y por qué enlace llega allí?

Esta tarjeta es PCIe Gen 5, pero todas las plataformas que utilizamos son Gen 3 o Gen 4, por lo que nunca recibe el bus completo para el que fue diseñada. Esto es importante para algunos trabajos y no para otros, y la diferencia vale más que el silencio.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Una vez que los pesos se almacenan en la tarjeta, la ranura queda inactiva y la generación deja de ser relevante, lo que implica la mayor parte de la inferencia, la renderización y toda la transcodificación. Solo importa para un bucle de entrenamiento que procesa un nuevo lote a través de la ranura en cada paso. Si no está seguro de cuál de las dos opciones es la suya, pregunte; la respuesta determina la máquina, no la tarjeta.

¿Qué cabe realmente en 96 GB?

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 96 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — fits34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — fits38 GB — fits

El consumo de la tarjeta gráfica es otro factor importante: la versión Workstation Edition de esta tarjeta consume hasta 600 W, mientras que la versión Max-Q, con el mismo chip y los mismos 96 GB, consume 300 W. La versión que admita un chasis determinado depende del chasis en sí, así que conviene preguntar antes de realizar el pedido.

Lo que cuesta, con la máquina en la que entra

La tarjeta aparece como una línea aparte en la factura y la máquina como otra. Ambas partes provienen de una misma lectura del catálogo de pedidos, por lo que el precio y la especificación que aparece junto a él siempre están relacionados.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

El ancho de banda es ilimitado en ambas direcciones sin cargo de salida, se incluye una dirección IPv4, no hay contrato y el plazo predeterminado es de un mes. Para todas las demás tarjetas que instalamos, y las mismas cifras para todas ellas, consulte el catálogo completo, con precios . Para máquinas en rack listas para usar hoy mismo en lugar de fabricadas bajo pedido, /instant .

Preguntas que la gente suele hacer sobre esta tarjeta.

¿Es esta la misma tarjeta que la RTX 6000 Ada?

No, y los nombres invitan a la confusión. La RTX 6000 Ada Generation es el anterior buque insignia profesional: 48 GB de GDDR6 con ECC en la arquitectura Ada Lovelace. La RTX PRO 6000 Blackwell tiene 96 GB de GDDR7 con ECC, el doble de memoria, en un chip más reciente. Ambas están incluidas y aparecen una al lado de la otra en la escala anterior, por lo que la diferencia entre ellas es solo una cifra, no una afirmación.

96 GB frente a los 80 GB del H100: ¿para qué sirve entonces el H100?

Estás pagando por cosas diferentes. El valor de la H100 reside en la memoria apilada y la velocidad de lectura que ofrece, además de NVLink para agrupar varias tarjetas en un mismo espacio de direcciones. El valor de la RTX PRO 6000 reside en la capacidad, el trazado de rayos y los cuatro codificadores de vídeo. Si la pregunta es si el modelo es compatible , esta tarjeta lo responde con creces. Si la pregunta es cuántos tokens por segundo se pueden procesar con un tamaño de lote grande , el acelerador lo responde mejor, y la tabla anterior muestra el coste.

¿La tarjeta se comparte con alguien más?

No. Un inquilino por máquina física, y la tarjeta se integra directamente con tu sistema operativo: sin hipervisor, sin partición MIG, sin perfil vGPU, sin división de tiempo. Instalas y configuras tu propio controlador y versión de CUDA, y nada se actualiza automáticamente. Lo que midas la primera tarde es lo que conservas.

¿Puedo tener dos de ellos en una misma máquina?

Se trata de una configuración que le ofrecemos, no de una opción que usted marque, ya que la respuesta depende del chasis, el ancho físico de la tarjeta y el consumo energético; y con hasta 600 W cada una, el consumo suele ser el factor determinante. Si nos pregunta, le indicaremos el chasis, la cantidad y el plazo de entrega. Tenga en cuenta que en este caso, dos tarjetas constituyen dos grupos de memoria independientes: esta parte no dispone de NVLink.

¿Cuándo puedo conseguir uno?

Depende de si la tarjeta ya está instalada, disponible en nuestro almacén o si hay que comprarla; se le informará antes de pagar, no después. /instant muestra las máquinas listas para usar. Para cualquier otra cosa, se indica el plazo de entrega real.