RTX PRO 6000 Blackwell · 96 GB GDDR7 z ECC

RTX PRO 6000 w serwerze wynajmowanym na miesiąc

Dziewięćdziesiąt sześć gigabajtów pamięci GDDR7 z korekcją błędów na jednej karcie dodatkowej, w całym fizycznym komputerze, na którym nie ma nikogo innego. Żadna karta, którą montujemy, nie pomieści więcej – nawet akceleratorów. Aby uzyskać taką pojemność, tracisz szybkość odczytu pamięci i NVLink, o czym ta strona informuje przed wszystkim innym.

96 GB, ECC Cztery enkodery, AV1 Przepuścić przez, nie pokroić

Największa karta tutaj i jej miejsce na fakturze

Across the 56 cards in the catalogue: RTX PRO 6000 Blackwell 96GB holds 96 GB, no card we fit holds more, and one costs more per month. Read the whole ladder on the whole catalogue, priced.

Karta H100 to akcelerator: istnieje po to, by przechowywać model i wykonywać na nim obliczenia, a NVIDIA odpowiednio ją wycenia. RTX PRO 6000 to karta do stacji roboczej, która otrzymała więcej pamięci niż akcelerator. Jeśli Twoje pytanie brzmi, czy będzie pasować , porównaj kolumnę „pamięć” z kolumną „cena” w poniższej tabeli – na tej półce nie biegną one w tym samym kierunku, i właśnie dlatego powstała ta strona.

Gdzie znajduje się w porównaniu z innymi kartami o dużej pamięci, które montujemy

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A4048 GB GDDR6$499$572.47
RTX 6000 ADA48 GB GDDR6 ECC$625$698.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Każda powyższa kwota pochodzi z katalogu zamówień, z którego pochodzą faktury za zakupy, w momencie wyświetlenia tej strony. Nic na tej stronie nie jest wpisywane ręcznie.

Specyfikacja, tak jak publikuje ją NVIDIA

Blackwell, rdzenie Tensor piątej generacji, rdzenie RT czwartej generacji. Dane pochodzą ze strony produktu firmy NVIDIA dotyczącej wersji Workstation Edition, podanej w źródle tej strony.

RTX PRO 6000 Blackwell 96GB

Architecture

Blackwell

Card memory

96 GB GDDR7 ECC

CUDA cores

24,064

Memory bandwidth

1,792 GB/s

Board power

600 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

4 NVENC, 4 NVDEC, AV1

Error-correcting memory

Yes

W czym jest dobry, a w czym nie

Szczerze mówiąc. Karta tak droga częściej jest złą kartą niż dobrą, a cztery poniższe akapity rozstrzygają tę kwestię.

Dobry w: trzymaniu czegoś dużego, całego

Dziewięćdziesiąt sześć gigabajtów wystarczy na model siedemdziesięciomiliardowy z ośmiobitową precyzją, z zapasem na okno kontekstowe, i na trzydziestomiliardowy z pełną szesnastobitową precyzją. Jedna karta, jedna przestrzeń adresowa, bez partycjonowania i bez drugiej maszyny, która musiałaby dotrzymywać kroku.

Dobry w: pracach graficznych i arytmetycznych

Cztery enkodery sprzętowe i cztery dekodery z AV1 oraz rdzenie ray tracingu czwartej generacji. Renderuje, transkoduje i wnioskuje na tej samej płytce. Akceleratory na tej półce nie wykonują żadnej z tych dwóch czynności – w ogóle nie posiadają enkodera wideo.

Słaby w: pracy na dużą skalę, wymagającej ograniczonej pamięci

Pamięć GDDR7 jest szybka, ale nie jest to pamięć warstwowa. Karty A100 i H100 odczytują swoje wagi szybciej na sekundę niż ta karta, a w przypadku generacji tokenów w dużych partiach ta prędkość odczytu jest limitem, a nie arytmetyką. Jeśli wąskim gardłem jest przepustowość, a nie pojemność, wygrywa mniejszy akcelerator.

Słaby w: łączeniu z drugą kartą

W tej części nie ma NVLink. Dwa z nich w jednej maszynie to dwie oddzielne pule 96 GB komunikujące się przez slot, a nie jedna pula 192 GB. Jeśli naprawdę potrzebujesz więcej niż 96 GB w jednej przestrzeni adresowej, ta karta nie jest tym, czego potrzebujesz.

Do której maszyny trafi i jakim łączem tam dotrze

Ta karta jest częścią PCIe Gen 5, a każda platforma, którą obsługujemy, jest Gen 3 lub Gen 4, więc nigdy nie wykorzystuje w pełni magistrali, dla której została zaprojektowana. W niektórych pracach ma to znaczenie, w innych nie, a różnica jest warta więcej niż cisza.

Intel Xeon Silver / Gold

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

RTX PRO 6000 Blackwell 96GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Gdy wagi znajdą się na karcie, slot jest bezczynny, a generowanie przestaje mieć znaczenie – co oznacza większość wnioskowania, większość renderowania i całe transkodowanie. Ma to znaczenie dla pętli szkoleniowej, która przesyła nową partię danych przez slot na każdym kroku. Zapytaj, jeśli nie masz pewności, którą z tych dwóch opcji wybierzesz; odpowiedź decyduje maszyna, a nie karta.

Co tak naprawdę mieści się w 96 GB

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 96 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — fits34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — fits38 GB — fits

Moc płyty głównej to kolejny limit, i to istotny: wersja Workstation Edition tej karty pobiera do 600 W, a wersja Max-Q wykorzystuje ten sam krzem i tę samą pamięć 96 GB, pobierając 300 W. Który z tych dwóch modułów znajdzie się w danej obudowie, zależy od obudowy, więc zapytaj przed złożeniem zamówienia, a nie po jego złożeniu.

Ile to kosztuje, z maszyną wchodzi w to

Karta to osobna pozycja na fakturze, a maszyna to kolejna. Obie poniższe połówki pochodzą z jednego odczytu katalogu zamówień, więc cena i specyfikacja obok zawsze są ze sobą powiązane.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX PRO 6000 Blackwell 96GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$1,299$1,382.67
Configure this build →
RTX PRO 6000 Blackwell 96GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$1,299$1,516.59
Configure this build →

Przepustowość jest nielimitowana w obu kierunkach, bez opłat za wyjście, w cenie jest jeden adres IPv4, nie ma umowy, a domyślny okres wynosi jeden miesiąc. Za każdą inną kartę, którą montujemy, i te same ceny dla wszystkich, przeczytaj cały katalog, w cenach . W przypadku maszyn gotowych do użycia już dziś, a nie budowanych na zamówienie, /instant .

Pytania, które ludzie faktycznie zadają na temat tej karty

Czy to jest ta sama karta co RTX 6000 Ada?

Nie, a nazwy mogą prowadzić do pomyłki. RTX 6000 generacji Ada to poprzedni flagowy model dla profesjonalistów: 48 GB pamięci GDDR6 z ECC na architekturze Ada Lovelace. RTX PRO 6000 Blackwell ma 96 GB pamięci GDDR7 z ECC, czyli dwa razy więcej pamięci, na nowszym układzie scalonym. Zmieściliśmy oba, a na powyższej drabince znajdują się one obok siebie, więc różnica między nimi jest raczej liczbą niż deklaracją.

96 GB w porównaniu do 80 GB w modelu H100 — do czego więc służy model H100?

Płacisz za różne rzeczy. Karta H100 oferuje pamięć warstwową i związaną z nią prędkość odczytu, a także NVLink umożliwiający łączenie kilku kart w jedną przestrzeń adresową. Karta RTX PRO 6000 oferuje pojemność, śledzenie promieni i cztery enkodery wideo. Jeśli chodzi o to, czy model będzie pasował , ta karta oferuje więcej miejsca. Jeśli chodzi o liczbę tokenów na sekundę przy dużej liczbie operacji , akcelerator lepiej na to odpowiada, a powyższy diagram pokazuje, ile to kosztuje.

Czy karta jest udostępniana komuś innemu?

Nie. Jeden użytkownik na maszynę fizyczną, a karta jest przekazywana bezpośrednio do Twojego systemu operacyjnego — bez hypervisora, partycji MIG, profilu vGPU i podziału czasu. Instalujesz i przypinasz własne sterowniki i wersję CUDA, a nic nie aktualizuje się automatycznie. To, co zmierzysz pierwszego popołudnia, zostaje Ci.

Czy mogę mieć dwa z nich w jednym urządzeniu?

To wycena, a nie pole, które zaznaczasz, ponieważ odpowiedź zależy od obudowy, fizycznej szerokości karty i budżetu mocy – a przy mocy do 600 W każda, to właśnie budżet mocy zazwyczaj decyduje. Zapytaj, a otrzymasz odpowiedź z nazwą obudowy, liczbą kart i czasem realizacji. Zwróć uwagę, że dwie karty to dwie oddzielne pule pamięci: ta część nie ma łącza NVLink.

Jak szybko mogę go otrzymać?

Zależy to od tego, czy karta jest już zamontowana, czy już na naszej półce, czy trzeba ją dokupić – i dowiesz się tego przed zapłatą, a nie po. /instant wyświetla listę maszyn gotowych do użycia od ręki. Wszystkie inne oferty są wyceniane z uwzględnieniem rzeczywistego czasu realizacji.