NowośćDedykowana karta RTX 3050, odblokowana na Linuksie
Ten sam RTX 3050, ta sama moc, znacznie więcej AI na sekundę
Nasze komputery stacjonarne RTX 3050 opuszczają teraz szafę rack z odblokowaną przepustowością tensorową karty. To karta, którą znasz, z 6 GB GDDR6 i limitem 70 W. Zmienia się to, jak szybko radzi sobie z obliczeniami macierzowymi w połówkowej precyzji stojącymi za wnioskowaniem, dostrajaniem i generowaniem obrazów. Wynajmujesz całą maszynę: Intel Core i5-9500, 32 GB RAM, 256 GB NVMe SSD, w Bucharest.
01Fabryka kontra odblokowana
Liczby z naszego stanowiska, we wszystkich czterech precyzjach
Uruchomiliśmy ten sam RTX 3050 dwukrotnie od całkowitego wyłączenia zasilania, raz z ustawieniami fabrycznymi i raz po odblokowaniu, i za każdym razem mierzyliśmy czas tego samego zadania PyTorch: mnożenie dwóch macierzy 8192 przez 8192, w kółko. Sterownik, jądro i limit 70 W nie zmieniły się między przebiegami.
TFLOPS według precyzji, wyższy słupek oznacza szybciej
Mnożenie macierzy w PyTorch, sterownik NVIDIA 595, średnia z pięciu przebiegów
- Fabryka
- Odblokowana
- 14.0 21.3
- 14.2 22.0
- 6.9 10.8
- 3.7 3.7
Surowe tempo rdzeni tensorowych jest dwukrotnie wyższe od wartości fabrycznej: 36.1 zamiast 17.9 bilionów operacji FP16 na sekundę z akumulacją FP32. Pełnowymiarowe mnożenie osiąga około półtora raza więcej, ponieważ karta już pracuje na pełnych obrotach przy 70 W, a szybsze rdzenie dzielą ten sam budżet mocy.
Zobacz wyniki w formie tabeli
| Precyzja | Fabryka | Odblokowana | Różnica |
|---|---|---|---|
| FP16, TFLOPS | 14.0 | 21.3 | +52% |
| BF16, TFLOPS | 14.2 | 22.0 | +54% |
| TF32, TFLOPS | 6.9 | 10.8 | +56% |
| FP32, TFLOPS | 3.7 | 3.7 | bez zmian |
| Szczytowe tempo rdzeni tensorowych, akumulacja FP32, TF/s | 17.9 | 36.1 | 2x |
To nasze pomiary na jednej karcie. Rzeczywiste obciążenie spędza też czas poza rdzeniami tensorowymi, więc Twój własny zysk będzie prawdopodobnie nieco niższy od tych wartości.
02Czy Twoja praca przyspieszy?
Sprawdź swoje zadanie na tej liście przed złożeniem zamówienia
Odblokowanie jest celowo wąskie. Dotyka wyłącznie rdzeni tensorowych i niczego więcej, więc przyspiesza pracę AI w połówkowej precyzji, a resztę karty zostawia w stanie fabrycznym.
Długie prompty i dokumenty dla modelu językowego
Model odczytuje Twoje dane wejściowe jako jedną dużą partię obliczeń macierzowych, zanim napisze choć słowo.
SzybciejLoRA i inne drobne dostrajania
Kroki treningowe w BF16 lub FP16 na modelu, który mieści się w 6 GB GDDR6.
SzybciejStable Diffusion i inne modele obrazu
Każdy krok odszumiania to praca tensorowa w połówkowej precyzji.
SzybciejZadania wsadowe: osadzanie, tagowanie, transkrypcja
Wiele danych wejściowych przepuszczanych przez model naraz utrzymuje rdzenie tensorowe w ciągłej pracy.
SzybciejChatbot piszący odpowiedź słowo po słowie
Szybkość generowania zależy od tego, jak szybko karta odczytuje swoją pamięć.
Bez zmianKodowanie wideo za pomocą NVENC
Koder to osobny blok na chipie i zachowuje fabryczną prędkość.
Bez zmianGry, renderowanie i FP32 CUDA
Żadne z nich nie przechodzi przez odblokowaną ścieżkę.
Bez zmian03Od zamówienia do pierwszego uruchomienia
Ty wybierasz system, my zajmujemy się odblokowaniem
- Zamówienie
Wybierz Ubuntu lub Debian
Maszyna jest konfigurowana ze sterownikiem NVIDIA i odblokowaniem już na miejscu, a do sieci trafia około 30 minut po akceptacji.
- Każde uruchomienie
Ustaw świeżo, potem sprawdź
Ustawienie znajduje się w pamięci, a nie w oprogramowaniu układowym karty. Jest stosowane podczas startu systemu i weryfikowane za każdym razem.
- Plan awaryjny
Fabryczna prędkość, nigdy nieuszkodzona
Przy starcie, w którym nie można go zastosować, karta po prostu działa z fabryczną częstotliwością do następnego restartu.
Dostarczane odblokowane, z dostępem root do dodania CUDA, PyTorch i reszty Twojego stosu.
Dostępny również na tej samej maszynie, z kartą pracującą z fabryczną prędkością: odblokowanie dotyczy tylko systemu Linux.
04Notatki z laboratorium
Co sprawdziliśmy, zanim udostępniliśmy to klientom
Jeden z tych komputerów spędził popołudnie na naszym stanowisku testowym w Bucharest z Ubuntu 24.04 i sterownikiem NVIDIA 595. Oto wyniki, które miały dla nas znaczenie.
- 5 / 5starty przebiegały bez blokady, na zimno i na ciepło
- 45 minprzy pełnym obciążeniu bez ani jednego błędu GPU
- 0wyników różniących się od pierwszego przebiegu, sprawdzonych bit po bicie
- 70 Wlimit mocy, taki sam w obu stanach
- 2xszczytowa szybkość tensorowa z akumulacją FP32
- 3.7FP32 TFLOPS, bez zmian, zgodnie z oczekiwaniami
05Często zadawane pytania
Serwer z odblokowanym RTX 3050: krótkie odpowiedzi
Czy to inna karta niż zwykły RTX 3050?
Nie. To ten sam RTX 3050 6GB z tym samym 6 GB GDDR6 i limitem 70 W. Odblokowanie zmienia jedno ustawienie przy starcie: tempo, w jakim rdzenie tensorowe mnożą w FP16, BF16 i TF32, dodając jednocześnie w FP32.
O ile naprawdę jest szybsza?
W naszym teście PyTorch +52% w FP16, +54% w BF16 i +56% w TF32, przy niezmienionym FP32. Pełne zadanie AI zyskuje mniej, ponieważ część czasu zajmują prace, których rdzenie tensorowe nie wykonują.
Które systemy operacyjne otrzymują odblokowaną kartę?
Ubuntu i Debian. Jeśli zamówisz maszynę z Windows, karta działa z fabryczną prędkością.
Czy cokolwiek jest zapisywane na karcie?
Nie. Nic nie jest flashowane. Ustawienie jest stosowane przy każdym uruchomieniu maszyny i znika po jej wyłączeniu, dlatego jest sprawdzane przy każdym rozruchu.
A jeśli chcę przywrócić fabryczne działanie?
Poproś support lub samodzielnie usuń jedną opcję rozruchową, a następnie wyłącz i włącz maszynę. Od tego momentu karta startuje ze standardową szybkością.
Ile to kosztuje?
Nic ponad cenę maszyny: €89.00 miesięcznie za desktop z odblokowaną kartą, 32 GB RAM, 256 GB NVMe SSD, jeden adres IPv4 i nielimitowany port 1 Gbps.
Wykorzystaj odblokowany RTX 3050 już za €89.00 miesięcznie
Dedykowany pulpit w Bucharest, rdzenie tensorowe z pełną wydajnością na Ubuntu lub Debianie, dostęp root i nielimitowany 1 Gbps.
NVIDIA, GeForce i RTX są znakami towarowymi firmy NVIDIA Corporation. Odblokowanie mocy obliczeniowej konfigurujemy sami i nie jest to produkt firmy NVIDIA.