RTX PRO 6000 Blackwell · 96 GB GDDR7 z ECC

RTX PRO 6000 w serwerze, który wynajmujesz miesięcznie

Dziewięćdziesiąt sześć gigabajtów korygowanej błędami pamięci GDDR7 na jednej karcie rozszerzeń, w całej fizycznej maszynie bez nikogo innego. Żadna karta, którą montujemy, nie mieści więcej — nawet akceleratory. To, z czego rezygnujesz, by uzyskać tę pojemność, to szybkość odczytu pamięci i NVLink, a ta strona mówi o tym, zanim powie cokolwiek innego.

96 GB, ECC Cztery enkodery, AV1 Przekazywana w całości, nie dzielona

Zamień swoje GPU w pasywny miesięczny przychód

Masz nieużywane konfiguracje GPU w serwerze lub komputerze stacjonarnym? Wystaw je już dziś na rynku Primcast i zarabiaj stały miesięczny czynsz od zespołów AI, deweloperów i firm potrzebujących mocy obliczeniowej klasy produkcyjnej.

Przejdź do Marketplace

Największa karta tutaj i jej miejsce na fakturze

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

H100 to akcelerator: istnieje po to, by trzymać model i wykonywać na nim obliczenia, a NVIDIA wycenia go odpowiednio. RTX PRO 6000 to karta stacji roboczej, której przypadkiem dano więcej pamięci niż akceleratorowi. Jeśli całe twoje pytanie brzmi czy to się zmieści, zestaw ze sobą kolumnę pamięci i kolumnę pieniędzy w tabeli poniżej — na tej półce nie idą one w tym samym kierunku i to jest powód, dla którego ta strona istnieje.

Jej miejsce na tle innych kart z dużą pamięcią, które montujemy

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Każda liczba powyżej jest odczytywana z katalogu zamówień, z którego rozlicza koszyk, w momencie wyświetlenia tej strony. Nic na tej stronie nie jest wpisywane ręcznie.

Specyfikacja, tak jak publikuje ją NVIDIA

Blackwell, rdzenie Tensor piątej generacji, rdzenie RT czwartej generacji. Dane ze strony produktu NVIDIA dla wersji Workstation Edition, zacytowane w źródle tej strony.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

W czym jest dobra, a w czym nie

Szczera wersja. Karta tak droga jest częściej kartą niewłaściwą niż właściwą, a cztery akapity poniżej to te, które o tym decydują.

Dobra w: trzymaniu czegoś dużego w całości

Dziewięćdziesiąt sześć gigabajtów wystarczy na model o siedemdziesięciu miliardach parametrów w precyzji ośmiobitowej z zapasem na okno kontekstu i na model trzydziestomiliardowy w pełnej precyzji szesnastobitowej. Jedna karta, jedna przestrzeń adresowa, bez shardingu i bez drugiej maszyny do synchronizacji.

Dobra w: pracy, która jest grafiką I obliczeniami

Cztery sprzętowe enkodery i cztery dekodery z AV1 oraz rdzenie ray tracingu czwartej generacji. Renderuje, transkoduje i wnioskuje na tej samej płycie. Akceleratory na tej półce nie robią żadnej z dwóch pierwszych rzeczy — nie mają w ogóle enkodera wideo.

Zła w: pracy ograniczonej przepustowością pamięci na dużą skalę

GDDR7 jest szybka, ale to nie jest pamięć warstwowa. A100 i H100 odczytują swoje wagi szybciej na sekundę niż ta karta, a przy generowaniu tokenów w dużych partiach ten odczyt jest sufitem, nie arytmetyka. Jeśli twoim wąskim gardłem jest przepustowość, a nie pojemność, wygrywa mniejszy akcelerator.

Zła w: łączeniu z drugą kartą

W tym modelu nie ma NVLink. Dwie z nich w jednej maszynie to dwie osobne pule 96 GB, które komunikują się przez gniazdo, a nie jedna pula 192 GB. Kiedy naprawdę potrzebujesz więcej niż 96 GB w jednej przestrzeni adresowej, to nie jest karta, która cię tam zaprowadzi.

Do której maszyny trafia i jakie łącze tam dostaje

Ta karta to część PCIe Gen 5, a każda platforma, którą obsługujemy, to Gen 3 lub Gen 4, więc nigdy nie dostaje pełnej magistrali, do której została zaprojektowana. Dla niektórych prac ma to znaczenie, dla innych żadne, a różnica jest warta więcej niż milczenie.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Gdy wagi są już na karcie, gniazdo jest bezczynne i generacja przestaje mieć znaczenie — a tak jest w większości wnioskowania, większości renderowania i całym transkodowaniu. Ma znaczenie dla pętli treningowej, która przesyła nową partię przez gniazdo w każdym kroku. Zapytaj, jeśli nie jesteś pewien, którym z tych dwóch jesteś; odpowiedź decyduje o maszynie, nie o karcie.

Co naprawdę mieści się w 96 GB

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

Moc płyty to drugi sufit i jest on prawdziwy: wersja Workstation Edition tej karty pobiera sama do 600 W, a edycja Max-Q to ten sam krzem i te same 96 GB przy 300 W. To, którą z dwóch przyjmie dana obudowa, zależy od obudowy, więc zapytaj przed zamówieniem, a nie po.

Ta tabela odpowiada na pytanie „co mieści się w tej karcie”. Pytanie postawione odwrotnie — ile pamięci potrzebuje model i która karta to zapewnia — ma swoją własną stronę.

Ile to kosztuje, razem z maszyną, do której trafia

Karta to osobna pozycja na fakturze, a maszyna to druga. Obie połowy poniżej pochodzą z jednego odczytu katalogu zamówień, więc cena i specyfikacja obok niej zawsze do siebie pasują.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Przepustowość jest nielimitowana w obu kierunkach bez opłat za ruch wychodzący, jeden adres IPv4 jest w cenie, nie ma umowy, a jeden miesiąc to domyślny okres. Dla każdej innej karty, którą montujemy, i tych samych danych dla wszystkich, przeczytaj cały katalog z cenami. Dla maszyn już w szafie i gotowych dziś, a nie budowanych na zamówienie, /instant.

Pytania, które ludzie naprawdę zadają o tę kartę

Czy to ta sama karta co RTX 6000 Ada?

Nie, a nazwy prowokują do pomyłki. RTX 6000 Ada Generation to poprzedni profesjonalny flagowiec: 48 GB GDDR6 z ECC na architekturze Ada Lovelace. RTX PRO 6000 Blackwell ma 96 GB GDDR7 z ECC, dwa razy więcej pamięci, na nowszym krzemie. Montujemy obie i pojawiają się obok siebie w powyższej drabinie, więc krok między nimi jest liczbą, a nie twierdzeniem.

96 GB wobec 80 GB H100 — więc do czego jest H100?

Płacisz za różne rzeczy. Pieniądze w H100 to pamięć warstwowa i szybkość odczytu, która z nią idzie, plus NVLink do łączenia kilku kart w jedną przestrzeń adresową. Pieniądze w RTX PRO 6000 to pojemność, ray tracing i cztery enkodery wideo. Jeśli pytanie brzmi czy model się zmieści, ta karta odpowiada na nie z większym zapasem. Jeśli pytanie brzmi ile tokenów na sekundę przy dużej partii, akcelerator odpowiada lepiej, a powyższa drabina pokazuje, ile to kosztuje.

Czy karta jest z kimś współdzielona?

Nie. Jeden najemca na maszynę fizyczną, a karta jest przekazywana bezpośrednio do twojego własnego systemu operacyjnego — bez hipernadzorcy, bez partycji MIG, bez profilu vGPU, bez dzielenia czasu. Instalujesz i przypinasz własny sterownik i wydanie CUDA, a nic nie aktualizuje się pod tobą. To, co zmierzysz pierwszego popołudnia, to to, co zatrzymujesz.

Czy mogę mieć dwie z nich w jednej maszynie?

To konfiguracja, którą wyceniamy, a nie pole, które zaznaczasz, bo odpowiedź zależy od obudowy, fizycznej szerokości karty i budżetu mocy — a przy nawet 600 W każda, budżet mocy zwykle o tym decyduje. Zapytaj, a odpowiedź poda obudowę, liczbę i czas realizacji. Pamiętaj, że dwie karty to tutaj dwie osobne pule pamięci: ten model nie ma NVLink.

Jak szybko mogę ją mieć?

To zależy od tego, czy karta jest już zamontowana, już na naszej półce, czy trzeba ją dokupić — a dowiadujesz się tego przed zapłatą, nie po. /instant pokazuje maszyny w szafie i gotowe od zaraz. Wszystko inne jest wyceniane z rzeczywistym czasem realizacji.