Obciążenie · Hosting modelu językowego

Hosting LLM na dedykowanym GPU dobranym do modelu, który chcesz uruchomić

Hosting LLM w Primcast to cały serwer z dedykowanym GPU, uruchamiający wybrany model na wybranym środowisku uruchomieniowym, za tę samą cenę co miesiąc. Wybierz rozmiar modelu i precyzję w arkuszu, a wskaże on najmniejsze GPU, które pomieści go z zapasem na obsługę zapytań.

Pomylisz pamięć i nic innego nie ma znaczenia: model o dwa gigabajty za duży dla swojego GPU albo odmawia uruchomienia, albo ledwo się wlecze na procesorze. Dlatego arkusz jest pierwszy.

Zamów serwer GPU dla swojego modelu Dlaczego model, który się mieści, wciąż może zawieść

Arkusz doboru rozmiaruwagi × zapas

Rozmiar modelu

Precyzja

Kto z niego korzysta

70B: 38 GB × 1.5 = 57 GB

Fits on one GPU. The smallest that clears it (3 larger also do):

Instinct MI21064 GB HBM2e

The link opens the machine it goes in. Its price is on GPU dedicated servers.

Zamień swoje GPU w pasywny miesięczny przychód

Masz nieużywane konfiguracje GPU w serwerze lub komputerze stacjonarnym? Wystaw je już dziś na rynku Primcast i zarabiaj stały miesięczny czynsz od zespołów AI, deweloperów i firm potrzebujących mocy obliczeniowej klasy produkcyjnej.

Przejdź do rynku

01 Pamięć GPU

Ile pamięci GPU potrzebuje LLM?

Pomnóż liczbę parametrów przez bajty zajmowane przez każdy parametr. Przy 16-bitach to dwa bajty, przy 8-bitach jeden, przy 4-bitach pół bajta. Model 70B to około 140 GB wag przy 16-bitach i około 38 GB przy 4-bitach.

Kwantyzacja do mniejszej liczby bitów pozwala dużemu modelowi zmieścić się na mniejszym GPU. Kosztuje to trochę jakości, a to, ile dokładnie, zależy bardziej od modelu i metody niż od liczby bitów. Jeśli dokładność ma dla Ciebie znaczenie, przetestuj obie wersje, zanim wybierzesz sprzęt.

Spodziewaj się, że rzeczywiste pobranie waży nieco więcej niż ta suma, ponieważ popularne formaty 4-bitowe pozostawiają niektóre warstwy w wyższej precyzji. Domyślne pobranie Llama 3.1 70B od Ollamy w 4-bitach to 43 GB, a nie 38. Gdy już wybierzesz plik, dobieraj rozmiar na podstawie jego rzeczywistej wagi.

To same wagi. Traktuj je jako minimum, nigdy jako wymóg: następna sekcja to ta, która zaskakuje ludzi.

Weights only. The runtime, the activations and the conversation come on top, and the next section is about them.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB	8 GB	5 GB
13-14 billion parameters	28 GB	14 GB	8 GB
30-34 billion parameters	68 GB	34 GB	19 GB
70 billion parameters	140 GB	70 GB	38 GB

Popularne modele otwarte i wiersz, którego używają

Liczba parametrów pochodzi od wydawcy i to wszystko, czego wymaga kwestia dopasowania. Model nieobecny na tej liście dobiera się tak samo, a nowe pojawiają się co miesiąc, nie zmieniając arytmetyki.

MoEMieszanka ekspertów

Model opisany jako „30B z 3B aktywnymi” potrzebuje pamięci modelu 30B i działa bliżej prędkości modelu 3B. Każdy ekspert musi pozostać załadowany, ponieważ każdy token może obudzić innego. Zawsze dobieraj rozmiar od sumy.

Rodziny modeli o otwartych wagach i wiersz doboru rozmiaru, do którego każda z nich należy
Model	Parametry	Wiersz doboru
Llama 3.1 / 3.3 Meta	8B · 70B	7–8B oraz 70B
Llama 4 Scout Meta	109B łącznie · 17B aktywnych	Powyżej wiersza 70B: dobieraj od 109B
Qwen3 Alibaba	8B · 14B · 32B	Pierwsze trzy wiersze
Qwen3 30B-A3B Alibaba	30B łącznie · 3B aktywne	30–34B, dobierane od sumy
DeepSeek-R1 destylowany	7B – 70B	Po jednym na wiersz: wybierz ten, który pomieści Twoje GPU
Mistral Small 3.2 Mistral AI	24B	Między wierszem drugim a trzecim: zrób obliczenia
Gemma 3 Google	12B · 27B	13–14B oraz tuż poniżej 30–34B
Phi-4 Microsoft	14B	13–14B
gpt-oss OpenAI	20B · 120B	Dostarczany w 4-bitach: GPU 16 GB oraz jedno GPU 80 GB

02 Zapas

Dlaczego model, który się mieści, wciąż może odmówić obsługi

Ponieważ wagi dzielą pamięć GPU ze środowiskiem uruchomieniowym i z rozmową. Typowa historia: model ma 38 GB, GPU ma 40, ładuje się i radzi sobie z mniej więcej jedną krótką rozmową, zanim żądania zaczynają stać w kolejce. Przesuń suwak i obserwuj, jak rośnie rozmowa.

wagi, stałe

środowisko uruchomieniowe

pamięć podręczna klucz-wartość, rośnie

wolne

Pamięć jednego GPU, narysowana proporcjonalnie

Ile rozmowy: długość kontekstu × żądania naraz

Jeden użytkownik, krótki kontekst: mnożnik ×1,25 to pokrywa.

Każdy token w rozmowie zostawia wpis w pamięci podręcznej klucz-wartość, żeby nie był liczony dwa razy. Pamięć podręczna rośnie wraz z długością kontekstu i ponownie z każdym żądaniem obsługiwanym w tym samym czasie.
Zaplanuj jeszcze jedną czwartą ponad wagi dla jednego użytkownika naraz i połowę więcej dla obsługi ruchu. To te dwa mnożniki w arkuszu.
Brakuje Ci miejsca? Zanim zamówisz, wyślij nam swój model, jego kwantyzację, długość kontekstu i liczbę osób korzystających z niego jednocześnie. Dobranie Ci teraz GPU jest znacznie łatwiejsze niż przenoszenie Cię na większe po dostawie.

03 Serwer GPU dla LLM

Który serwer GPU uruchamia który model

Znajdź swój model po lewej, a precyzję u góry. Każda komórka podaje najmniejsze GPU, jakie montujemy, które pomieści te wagi z zapasem na obsługę, i linkuje do maszyny, w której się znajduje. Tam, gdzie żadne pojedyncze GPU nie wystarcza, komórka to mówi.

The smallest GPU we fit that holds the weights with room left to serve: 1.5× the weights, the generous end of the quarter-to-a-half head-room rule. Prices are on GPU dedicated servers, next to the machine each GPU goes in.
If you want to run	at 16-bit	at 8-bit	at 4-bit
7-8 billion parameters	TESLA P40 / QUADRO P600024 GB16 GB of weights	TITAN V12 GB HBM28 GB of weights	TESLA P48 GB GDDR55 GB of weights
13-14 billion parameters	RTX A600048 GB GDDR6 ECC28 GB of weights	TESLA P40 / QUADRO P600024 GB14 GB of weights	TITAN V12 GB HBM28 GB of weights
30-34 billion parameters	More than one GPUNothing we fit holds it alone68 GB of weights	Instinct MI21064 GB HBM2e34 GB of weights	Tesla V100 32GB32 GB HBM219 GB of weights
70 billion parameters	More than one GPUNothing we fit holds it alone140 GB of weights	More than one GPUNothing we fit holds it alone70 GB of weights	Instinct MI21064 GB HBM2e38 GB of weights

Najmniejsze GPU, które się mieści, nie zawsze jest tym, którego chcesz. Pamięć mówi tylko, czy model się uruchomi. Reszta GPU decyduje o tym, jak szybko i dla ilu osób naraz, więc jeśli prędkość znaczy więcej niż budżet, idź o krok wyżej.
Starsze GPU nie obsługują nowszych formatów liczb. Kilka GPU, które montujemy, pochodzi sprzed FP8 i bfloat16, więc środowisko uruchomieniowe, które ich oczekuje, przełącza się na coś wolniejszego albo odmawia startu. Zapytaj o konkretne GPU i środowisko przed zamówieniem.
GPU AMD działają na ROCm, nie na CUDA. GPU Instinct dają dużo pamięci za te pieniądze i obsługują więcej niż jedną komórkę tutaj, ale Twoje oprogramowanie musi wspierać ROCm. Większość obecnych środowisk to robi, a niektóre narzędzia wokół nich wciąż nie. Chętnie sprawdzimy Twoje razem z Tobą.
Więcej niż jedno GPU to konfiguracja, którą wyceniamy, a nie opcja w koszyku, bo to, ile się zmieści, zależy od szerokości GPU i budżetu mocy obudowy. Nasza strona o wielu GPU to wyjaśnia. Drugą odpowiedzią przy tym rozmiarze jest 128 GB pamięci współdzielonej przez procesor i GPU w jednej maszynie: wynajem NVIDIA DGX Spark.

04 GPU

Każde GPU, które montujemy, od największej pamięci

Montujemy 56 GPU z opublikowaną wartością pamięci, a największe mieści 96 GB. Ta lista zaczyna się od góry, bo pytanie brzmi tutaj: „jaki największy model mogę uruchomić”. Serwery dedykowane GPU wymieniają te same GPU od najtańszej maszyny w górę, z cenami. GPU, którego producent nie publikuje pamięci, jest pomijane, a nie zgadywane.

Niektóre GPU występują w więcej niż jednej obudowie, a generacja PCIe maszyny pod spodem zmienia to, co potrafi nowoczesne GPU. Oba tematy są na serwerach dedykowanych GPU. Jeśli wolisz nie czekać na złożenie, zobacz gotowe maszyny na serwerach natychmiastowych.

05 Samodzielnie hostowany LLM

Twoje środowisko uruchomieniowe, Twoje wersje, nic pomiędzy

Dostajesz serwer ze świeżym systemem operacyjnym i uprawnieniami root. Przed Twoim modelem nie stoi żadna nasza usługa inferencji i nic nie aktualizuje się samo w tygodniu przed Twoim terminem. Utrzymuj sterownik GPU, CUDA lub ROCm i swój framework dokładnie na wersjach, na których testowałeś. Jeśli chcesz, aby sterownik został zainstalowany przed przekazaniem, zaznacz to w zamówieniu i podaj wersję.

vLLM i Ollama odpowiadają na końcówce zgodnej z OpenAI, więc kod napisany dla hostowanego API wskazuje na Twój własny serwer po zmianie jednego bazowego adresu URL.

vLLM
Do obsługi prawdziwego ruchu
Ciągłe grupowanie i uwaga stronicowana pozwalają jednemu GPU odpowiadać na wiele żądań naraz. To różnica między demem a usługą. Wymaga dość nowoczesnego GPU.
llama.cpp
Do ciasnej pamięci lub starszych GPU
Jego skwantyzowane formaty sprawiają, że duży model w ogóle mieści się na małym GPU, a pracę można podzielić między procesor i GPU, gdy wagi nie do końca się mieszczą.
TGI · SGLang
Do produkcji z dodatkami
Serwery produkcyjne z tej samej rodziny, o różnych mocnych stronach wokół wyjścia strukturalnego, ponownego użycia prefiksów i obsługi kilku modeli. Działają tutaj bez zmian.
Ollama
Do pierwszej odpowiedzi w kilka minut
Najkrótsza droga od pustej maszyny do modelu odpowiadającego na porcie. Dziesięć minut z nim powie Ci, czy dobór rozmiaru był właściwy.

06 Wynajmij serwer dla swojego LLM

Co daje Ci własny serwer, czego nie daje API

Od hostowanego API łatwo zacząć. Oto cztery powody, dla których ludzie przenoszą swój model na własną maszynę.

Twoje prompty zostają na Twoim sprzęcie

Wagi, prompty, pobrane dokumenty i każdy wygenerowany token pozostają na maszynie, do której tylko Ty możesz się zalogować. Ty też wybierasz jurysdykcję: Amsterdam lub Bukareszt trzyma dane w UE, San Francisco, Miami lub Nowy Jork trzyma je w USA. To, które GPU ma każde miasto, jest na stronie zamówienia.

Żaden licznik nie bije na Twoich tokenach

API rozlicza każdy token, a agent lub zadanie wsadowe produkuje tokeny przez cały dzień. Twój własny serwer kosztuje tyle samo co miesiąc, niezależnie od obciążenia, i nic nie mierzy też portu, więc pobieranie wag i wysyłanie odpowiedzi nie dodaje nic do rachunku. Miesięczne kwoty są na serwerach dedykowanych GPU.

Nikt nie zmienia modelu pod Tobą

Model, który przypniesz dzisiaj, odpowiada tak samo za sześć miesięcy. Żadnego limitu żądań na minutę, żadnej kolejki w czyjejś godzinie szczytu, żadnego powiadomienia o wycofaniu. Uczciwą ceną jest to, że aktualizacje należą do Ciebie, kiedy Ci pasuje.

Miejsce na wszystko wokół modelu

Wyszukiwanie potrzebuje modelu osadzania, magazynu wektorowego i szybkich dysków. Agenci potrzebują miejsca na uruchamianie swoich narzędzi. NVMe na magazyn, rdzenie procesora na potok i GPU na tokeny: jedna maszyna niesie to wszystko.

07 Prędkość

Jak szybko będzie odpowiadać?

Zależy to od zbyt wielu rzeczy, by podać jedną uczciwą liczbę, więc nie publikujemy wartości tokenów na sekundę. Model, kwantyzacja, środowisko uruchomieniowe i jego wersja, rozmiar partii, długości promptu i odpowiedzi oraz liczba użytkowników naraz mogą ją zmienić kilkukrotnie.

Co nią steruje: czytanie Twojego promptu jest ograniczone arytmetyką GPU i odbywa się raz na żądanie. Pisanie odpowiedzi jest ograniczone przepustowością pamięci, bo każdy nowy token ponownie odczytuje wagi. Grupowanie rozkłada to czytanie na wiele żądań, dopóki pamięć podręczna klucz-wartość nie wyczerpie miejsca. Znowu zapas.

Zapytaj nas o prawdziwą odpowiedź

Podaj model, kwantyzację, długość kontekstu i mniej więcej, ile żądań przychodzi naraz. Jeśli uruchamialiśmy coś podobnego, powiemy, co widzieliśmy i na którym GPU. Jeśli nie, też to powiemy.

Czat na żywo daje odpowiedź w kilka sekund od AI, które zagląda do Twojego konta i serwera, oraz od kolegi, kiedy tylko poprosisz. Czasy odpowiedzi są na stronie wsparcia.

08 Serwery do trenowania LLM

Dostrajanie wymaga znacznie więcej pamięci niż obsługa

Obsługa potrzebuje wag. Trenowanie potrzebuje wag, gradientów i stanu optymalizatora dla każdego aktualizowanego parametru, wszystko załadowane naraz, plus aktywacje trzymane na przebieg wsteczny. Model, który wygodnie obsługuje się na jednym GPU, może być kilkukrotnie za duży, by w pełni go na nim dostroić.

Metody parametrycznie efektywne, takie jak LoRA, aktualizują małą część parametrów i potrzebują proporcjonalnie małej części dodatkowej pamięci, dlatego większość dostrajania na naszych maszynach z nich korzysta. Trenowanie nieustannie przesyła też partie przez łącze między procesorem a GPU, więc generacja PCIe maszyny ma tutaj znaczenie w sposób, w jaki nie ma go przy obsłudze. Serwery dedykowane GPU pokazują, która platforma daje któremu GPU jakie łącze.

Wyślij nam model, metodę, długość sekwencji i rozmiar zbioru danych, a dobierzemy rozmiar razem z Tobą. W przypadku więcej niż jednego GPU zobacz serwery wielo-GPU i klastrowe.

09 In short

LLM hosting at Primcast, in ten lines

What decides whether a model runs: GPU memory, and almost nothing else on the order form. The weights either fit or they do not: on a GPU a couple of gigabytes short, most runtimes refuse to load the model, and the ones that can spill layers to the processor run far slower. Clock speed and core count decide how fast it is once it fits.
How much memory a model needs: Parameters multiplied by bytes per parameter: two bytes each at 16-bit, one at 8-bit, half at 4-bit. That is the WEIGHTS. The runtime, the activations and the conversation's key-value cache live in the same memory, so budget a quarter to a half again on top before choosing a GPU.
Largest model on a single GPU here: 70 billion parameters at 4-bit, with room left to serve. Past that the answer is more than one GPU in one machine, which is a build we quote rather than a checkout option. Multi-GPU and multi-node is the page for it.
Biggest GPU we fit: RTX PRO 6000 Blackwell 96GB, 96 GB GDDR7 ECC. GPU memory figures are the manufacturers' published ones; a GPU whose figure we could not source is left out of the comparison rather than guessed at.
Which runtime: Yours. You get the machine with a fresh operating system and root, and you install vLLM, llama.cpp, TGI, SGLang, Ollama or anything else, pinned to the version your code was tested against. Nothing upgrades underneath you, and there is no vendor runtime you have to go through.
Throughput: We publish no tokens-per-second figure, deliberately, because we have not measured one under conditions we would be willing to have quoted back at us. What governs it is the GPU's memory bandwidth while generating, its arithmetic while reading the prompt, and how many requests you batch. Ask with the model, the quantisation and the expected concurrency and we will say what we have actually seen.
Fine-tuning and training: Both are ordinary work here, and both need considerably more memory than serving the same model: gradients and optimiser state sit alongside the weights. A parameter-efficient method needs a fraction of what a full fine-tune does. Tell us the method and the model and we will size it rather than have you find out after delivery.
Tenancy: One tenant per physical machine and the full GPU passed straight through to your operating system. No hypervisor, MIG slicing, vGPU profile or time-sharing scheduler, and no other customer's work on the GPU. What you measure on the first afternoon is what you keep.
Bandwidth: Nothing meters the port, in either direction, and nobody shares it with you at the access switch. Pulling weights down and serving tokens back out costs nothing beyond the port.
What this page does not price: GPUs, or anything else. Every GPU we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, each figure against the exact machine it belongs to.

10 Pytań

O co pytają ludzie, zanim zaczną hostować u nas LLM

Zebrane z czatu na żywo i zgłoszeń. Pierwsze cztery decydują o tym, czy zamówienie ma sens.

01Czym jest hosting LLM i co dokładnie otrzymuję?

Hosting LLM oznacza uruchomienie dużego modelu językowego na serwerze, który sam kontrolujesz, zamiast wywoływania cudzego API. U nas oznacza to wynajem całego fizycznego serwera z dedykowanym GPU, dostępem root i świeżym systemem operacyjnym, a następnie instalację wybranego modelu i środowiska uruchomieniowego. To rozwiązanie produkcyjne w najprostszym sensie: GPU należy wyłącznie do Ciebie, a wersje zależą tylko od Ciebie.

02Ile pamięci GPU potrzebuje duży model językowy?

Weź liczbę parametrów i pomnóż ją przez bajty na parametr, czyli 2 dla 16-bitów, 1 dla 8-bitów i 0,5 dla 4-bitów. Model 7–8B to około 16 GB wag przy 16-bitach, 8 GB przy 8-bitach i 5 GB przy 4-bitach. Model 70B to około 140 GB, 70 GB i 38 GB. To tylko wagi, więc zaplanuj dodatkowo od 25 do 50 procent na środowisko uruchomieniowe, aktywacje i pamięć podręczną przechowującą rozmowę.

03Jakiego serwera GPU potrzebuję do modelu 70B, takiego jak Llama 3.3?

Przy 4-bitach wagi zajmują około 38 GB, więc aby mieć zapas na obsługę, potrzebujesz GPU z 64 GB lub więcej: jedno GPU, jedna maszyna. Przy 8-bitach wagi to 70 GB, co mieszczą tylko nasze największe pojedyncze GPU i to dla jednego użytkownika naraz, więc jeśli obsługujesz ruch, zaplanuj więcej niż jedno GPU. Przy 16-bitach żadne pojedyncze GPU, które montujemy, tego nie pomieści i staje się to konfiguracją wielo-GPU, którą wyceniamy indywidualnie. Powyższa tabela podaje dokładne modele GPU, a ceny znajdziesz na stronie Serwery dedykowane GPU.

04Dlaczego mój model ładuje się, a potem nie działa?

Ponieważ wagi nie są same w pamięci GPU. Znajdują się tam również środowisko uruchomieniowe i jego bufory, a każdy token rozmowy zostawia wpis w pamięci podręcznej klucz-wartość, żeby nie był ponownie przeliczany. Ta pamięć rośnie wraz z długością kontekstu i z każdym żądaniem obsługiwanym jednocześnie, więc model, który ledwo się mieści, pomieści mniej więcej jedną krótką rozmowę. Dobierz GPU o wielkości od jednej i ćwierć do półtora raza wielkości wag.

05Jakie oprogramowanie do inferencji mogę zainstalować?

Dowolne. Otrzymujesz root na czystym systemie operacyjnym, bez żadnej naszej usługi inferencyjnej na drodze. vLLM to zwykły wybór do obsługi prawdziwego ruchu, llama.cpp do ograniczonej pamięci lub starszych GPU, a TGI i SGLang działają bez zmian. Ollama to najszybszy sposób, aby model odpowiadał na porcie. Zarówno vLLM, jak i Ollama oferują endpoint zgodny z OpenAI, więc istniejący kod klienta wymaga tylko nowego bazowego adresu URL.

06Czy wynajem serwera pod LLM jest tańszy niż płacenie za token?

To zależy od tego, jak dużo go używasz. API nalicza opłatę za token i nic nie kosztuje, gdy jest bezczynne; Twój własny serwer kosztuje tyle samo co miesiąc i nic więcej, gdy jest obciążony. Stały ruch, agenci działający cały dzień, zadania wsadowe i wszystko, co podlega regułom prywatności, zwykle wychodzi korzystniej na własnej maszynie, podczas gdy model wywoływany dziesięć razy dziennie nie. Miesięczne kwoty do takiego rachunku znajdziesz na stronie Serwery dedykowane GPU.

07Ile tokenów na sekundę uzyskam?

Nie publikujemy żadnej liczby, ponieważ model, kwantyzacja, wersja środowiska uruchomieniowego, rozmiar partii, długość promptu i odpowiedzi oraz liczba jednoczesnych użytkowników mogą ją zmienić nawet kilkukrotnie. Odczyt promptu ogranicza arytmetyka, a zapis odpowiedzi przepustowość pamięci, a przetwarzanie wsadowe rozkłada koszt na żądania, dopóki pamięć podręczna się nie zapełni. Podaj nam swój model, kwantyzację i oczekiwaną liczbę użytkowników, a podzielimy się tym, co faktycznie zaobserwowaliśmy.

08Czy GPU jest współdzielone z kimś innym?

Nie. Każdy fizyczny serwer ma jednego klienta, a Twój system operacyjny widzi pełne GPU bezpośrednio. Żadna warstwa maszyny wirtualnej, dzielenie MIG, profil vGPU ani podział czasu nie stoi między Tobą a nim, więc żadne inne zadanie go nie współdzieli i obciążenie nikogo innego nie może zmienić Twoich opóźnień.

09Co, jeśli mój model nie mieści się na jednym GPU?

Wtedy jest to konfiguracja wielo-GPU, którą wyceniamy indywidualnie, a nie sprzedajemy z koszyka, ponieważ liczba mieszczących się GPU zależy od ich szerokości i budżetu mocy obudowy. Dwa GPU dają sumę ich pamięci tylko wtedy, gdy środowisko uruchomieniowe podzieli model między oba, co potrafi każde poważne środowisko, kosztem pewnego spadku prędkości. Nasza strona o wielu GPU pokazuje, jak to wygląda, a DGX Spark oferuje 128 GB współdzielonej pamięci w jednej maszynie.

10Czy mogę użyć serwera do trenowania lub dostrajania LLM?

Tak, ale zaplanuj znacznie więcej pamięci niż do obsługi tego samego modelu. Trenowanie przechowuje wagi, gradienty i stan optymalizatora dla każdego aktualizowanego parametru oraz aktywacje dla przejścia wstecznego, więc model, który z łatwością działa na jednym GPU, może być kilkukrotnie za duży, aby go tam w pełni dostroić. Metody efektywne parametrowo, takie jak LoRA, potrzebują tylko ułamka tej dodatkowej pamięci, dlatego większość dostrajania na naszych maszynach z nich korzysta.

11Czy mogę uruchomić GPU AMD i czy ROCm działa?

Tak. GPU AMD Instinct należą do GPU o największej pamięci, jakie montujemy, i często oferują najlepszą wartość za gigabajt, ale Twoje oprogramowanie musi obsługiwać ROCm zamiast CUDA. Większość obecnych środowisk inferencyjnych to robi, ale niektóre narzędzia wokół nich nadal nie. Podaj nam swoje środowisko przed zamówieniem, a my to dla Ciebie sprawdzimy.

11 Dalej

Strony, które są kontynuacją tego tematu

Gotowy, aby uruchomić własny model?

Wybierz GPU wskazane w arkuszu, wybierz miasto i złóż zamówienie. Bez długoterminowej umowy, a jeśli Twoje liczby są blisko, najpierw pomożemy Ci dobrać odpowiedni rozmiar.

Zamów serwer GPU dla swojego modelu Wróć do arkusza