RTX PRO 6000 Blackwell · 96 GB GDDR7 z ECC

RTX PRO 6000 w serwerze, który wynajmujesz miesięcznie

Dziewięćdziesiąt sześć gigabajtów korekcyjnej pamięci GDDR7 na jednej karcie rozszerzeń, w całej fizycznej maszynie bez nikogo innego. Żadna karta, którą montujemy, nie mieści więcej — nawet akceleratory. To, z czego rezygnujesz, by uzyskać tę pojemność, to szybkość odczytu pamięci i NVLink, a ta strona mówi o tym, zanim powie cokolwiek innego.

96 GB, ECC Cztery enkodery, AV1 Przepuszczona, nie dzielona

Zamień swoje GPU w pasywny miesięczny przychód

Masz nieużywane konfiguracje GPU w serwerach lub desktopach? Wystaw je już dziś na marketplace Primcast i zarabiaj stały miesięczny czynsz od zespołów AI, deweloperów i firm potrzebujących mocy obliczeniowej klasy produkcyjnej.

Przejdź do Marketplace

Największa karta tutaj i jej miejsce na fakturze

Across the 57 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

H100 to akcelerator: istnieje po to, by trzymać model i wykonywać na nim obliczenia, i NVIDIA odpowiednio go wycenia. RTX PRO 6000 to karta stacji roboczej, której przypadkiem dano więcej pamięci niż akceleratorowi. Jeśli całe twoje pytanie brzmi czy się zmieści, zestaw kolumnę pamięci i kolumnę pieniędzy w tabeli poniżej — na tej półce nie biegną w tym samym kierunku i to jest powód, dla którego ta strona istnieje.

Jej miejsce wśród innych kart z dużą pamięcią, które montujemy

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Każda liczba powyżej jest odczytywana z katalogu zamówień, z którego rozlicza koszyk, w momencie wyświetlenia tej strony. Nic na tej stronie nie jest wpisywane ręcznie.

Specyfikacja, tak jak publikuje ją NVIDIA

Blackwell, rdzenie Tensor piątej generacji, rdzenie RT czwartej generacji. Dane ze strony produktu NVIDIA dla wersji Workstation Edition, cytowane w źródle tej strony.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

W czym jest dobra, a w czym nie

Szczera wersja. Karta tak droga jest częściej kartą niewłaściwą niż właściwą, a cztery akapity poniżej to te, które o tym decydują.

Dobra w: trzymaniu czegoś dużego w całości

Dziewięćdziesiąt sześć gigabajtów wystarczy na model o siedemdziesięciu miliardach parametrów przy precyzji ośmiobitowej z zapasem na okno kontekstu, a także na model trzydziestu miliardów przy pełnych szesnastu bitach. Jedna karta, jedna przestrzeń adresowa, bez shardingu i bez drugiej maszyny do synchronizacji.

Dobra w: pracy, która jest grafiką I obliczeniami

Cztery sprzętowe enkodery i cztery dekodery z AV1, plus rdzenie ray tracingu czwartej generacji. Renderuje, transkoduje i wnioskuje na tej samej płycie. Akceleratory na tej półce nie robią żadnej z dwóch pierwszych rzeczy — nie mają w ogóle enkodera wideo.

Słaba w: pracy ograniczonej pamięcią na dużą skalę

GDDR7 jest szybka, ale to nie pamięć warstwowa. A100 i H100 odczytują swoje wagi szybciej na sekundę niż ta karta, a przy generowaniu tokenów w dużych partiach ten odczyt jest sufitem, nie arytmetyka. Jeśli twoim wąskim gardłem jest przepustowość, a nie pojemność, mniejszy akcelerator wygrywa.

Słaba w: łączeniu z drugą kartą

W tym układzie nie ma NVLink. Dwie z nich w jednej maszynie to dwie osobne pule 96 GB, które rozmawiają przez slot, a nie jedna pula 192 GB. Gdy naprawdę potrzebujesz więcej niż 96 GB w jednej przestrzeni adresowej, to nie jest karta, która cię tam zaprowadzi.

Do której maszyny trafia i jakie łącze tam dostaje

Ta karta to układ PCIe Gen 5, a każda platforma, którą obsługujemy, to Gen 3 lub Gen 4, więc nigdy nie dostaje pełnej magistrali, do której została zaprojektowana. Dla jednych zadań ma to znaczenie, dla innych żadnego, a różnica jest warta więcej niż milczenie.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Gdy wagi są już rezydentne na karcie, slot jest bezczynny i generacja przestaje mieć znaczenie — a tak jest w większości wnioskowania, większości renderowania i całym transkodowaniu. Ma znaczenie dla pętli treningowej, która przesyła świeżą partię przez slot w każdym kroku. Zapytaj, jeśli nie jesteś pewien, którym z tych dwóch jesteś; odpowiedź decyduje o maszynie, nie o karcie.

Co faktycznie mieści się w 96 GB

Weights only, rounded up. Fits means the card’s 96 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — tight34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — tight38 GB — fits

Moc płyty to drugi sufit i jest prawdziwy: wersja Workstation Edition tej karty pobiera do 600 W sama, a edycja Max-Q to ten sam krzem i te same 96 GB przy 300 W. Którą z dwóch przyjmie dana obudowa, zależy od obudowy, więc zapytaj przed zamówieniem, a nie po.

Ta tabela odpowiada na pytanie „co mieści się w tej karcie”. Pytanie w drugą stronę — ile pamięci potrzebuje model i która karta to zapewnia — ma swoją własną stronę.

Ile to kosztuje, z maszyną, do której trafia

Karta to osobna pozycja na fakturze, a maszyna to druga. Obie połowy poniżej pochodzą z jednego odczytu katalogu zamówień, więc cena i specyfikacja obok zawsze do siebie pasują.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Przepustowość jest nielimitowana w obu kierunkach bez opłat za ruch wychodzący, jeden adres IPv4 jest w cenie, nie ma umowy, a jeden miesiąc to domyślny okres. Po każdą inną kartę, którą montujemy, i te same dane dla wszystkich, zajrzyj do całego katalogu z cenami. Po maszyny już w szafie i gotowe dziś, zamiast budowanych na zamówienie, /instant.

Pytania, które ludzie naprawdę zadają o tę kartę

Czy to ta sama karta co RTX 6000 Ada?

Nie, a nazwy prowokują pomyłkę. RTX 6000 Ada Generation to poprzedni profesjonalny flagowiec: 48 GB GDDR6 z ECC na architekturze Ada Lovelace. RTX PRO 6000 Blackwell ma 96 GB GDDR7 z ECC, dwa razy więcej pamięci, na nowszym krzemie. Montujemy obie i pojawiają się obok siebie w drabinie powyżej, więc krok między nimi jest liczbą, a nie twierdzeniem.

96 GB wobec 80 GB H100 — więc po co jest H100?

Płacisz za różne rzeczy. Pieniądze H100 tkwią w pamięci warstwowej i szybkości odczytu, która z nią idzie, plus NVLink do łączenia kilku kart w jedną przestrzeń adresową. Pieniądze RTX PRO 6000 tkwią w pojemności, ray tracingu i czterech enkoderach wideo. Jeśli pytanie brzmi czy model się zmieści, ta karta odpowiada na nie z większym zapasem. Jeśli pytanie brzmi ile tokenów na sekundę przy dużej partii, akcelerator odpowiada lepiej, a drabina powyżej pokazuje, ile to kosztuje.

Czy karta jest z kimś współdzielona?

Nie. Jeden najemca na fizyczną maszynę, a karta jest przepuszczana prosto do twojego własnego systemu operacyjnego — bez hypervisora, bez partycji MIG, bez profilu vGPU, bez dzielenia czasu. Instalujesz i przypinasz własny sterownik i wydanie CUDA, a nic nie aktualizuje się pod tobą. To, co zmierzysz pierwszego popołudnia, to to, co zatrzymujesz.

Czy mogę mieć dwie z nich w jednej maszynie?

To konfiguracja, którą wyceniamy, a nie pole, które zaznaczasz, bo odpowiedź zależy od obudowy, fizycznej szerokości karty i budżetu mocy — a przy do 600 W każda, budżet mocy zwykle o tym decyduje. Zapytaj, a odpowiedź poda obudowę, liczbę i czas realizacji. Pamiętaj, że dwie karty to tutaj dwie osobne pule pamięci: ten układ nie ma NVLink.

Jak szybko mogę ją mieć?

Zależy od tego, czy karta jest już zamontowana, już na naszej półce, czy trzeba ją dokupić — a dowiadujesz się tego przed zapłatą, nie po. /instant pokazuje maszyny w szafie i gotowe od zaraz. Wszystko inne jest wyceniane z prawdziwym czasem realizacji.