How much GPU memory does a large language model need?

The weights are the parameter count multiplied by the bytes per parameter: two bytes each at 16-bit, one at 8-bit, half at 4-bit. A 7-8 billion parameter model is 16 GB of weights at 16-bit, 8 GB at 8-bit and 5 GB at 4-bit; a 70 billion parameter model is 140 GB, 70 GB and 38 GB. Those figures are the weights alone and are a floor rather than a requirement -- budget a quarter to a half again on top for the runtime, the activations and the key-value cache.

What do I need to run a 70B model like Llama 3.3?

At 4-bit the weights are about 38 GB, so with serving head-room the answer is a card of 64 GB or more -- one card, one machine. At 8-bit the weights are 70 GB and an 80 GB card clears the bar. At full 16-bit precision no single card Primcast fits holds it, and it becomes a multi-card build that is quoted. The fit matrix on the page names the exact cards; the prices are at https://primcast.com/gpu.

Why does my model load but fail to serve?

Because the weights are not the only thing in card memory. The runtime and its buffers are resident, and every token in a conversation leaves an entry in the key-value cache so it does not have to be recomputed. That cache grows with the context length and again with each request served concurrently, so a model whose weights only just fit will hold roughly one short conversation. Size the card at one and a quarter to one and a half times the weights.

Which inference runtime can I install?

Any of them. The machine arrives with a clean operating system and root, and there is no vendor inference service in front of it. vLLM is the usual answer for serving real traffic because continuous batching lets one card answer many requests at once. llama.cpp is the usual answer when memory is tight or the card is older. TGI and SGLang run unchanged. Ollama is the shortest path from an empty machine to a model answering on a port -- and vLLM and Ollama both answer on an OpenAI-compatible endpoint, so existing client code points at your own machine by changing one base URL. You pin the driver, the CUDA or ROCm release and the framework to the versions your code was tested against.

Is self-hosting an LLM cheaper than a per-token API?

It depends entirely on volume, and the crossover is real: an API bills per token and costs nothing when idle; a dedicated machine is a flat monthly figure and costs nothing more when busy. Steady traffic, agents that run all day, batch pipelines and anything with a privacy requirement tend to come out ahead on their own hardware; a workload that fires ten times a day does not. The monthly figures to do that arithmetic with are at https://primcast.com/gpu -- the LLM page deliberately prices nothing.

How many tokens per second will I get?

Primcast does not publish a tokens-per-second figure, because every such number depends on the model, the quantisation, the runtime and its version, the batch size, the prompt length, the reply length and the concurrency, and changing any one moves it by a multiple. What governs it: reading the prompt is compute-bound and happens once per request; generating the reply is memory-bandwidth-bound because each token requires reading the weights; and batching amortises that reading across concurrent requests, which is what makes serving economical until the key-value cache runs out of room. Ask with the model, quantisation and expected concurrency for an answer based on what has actually been observed.

Is the GPU shared with anyone else?

No. One tenant per physical machine, and the card is passed through to your own operating system. There is no hypervisor, no MIG partition, no vGPU profile and no time-slicing scheduler, so nothing else runs on the card and inference latency does not move because of somebody else's batch job.

What if the model does not fit on one card?

Then it is a multi-card build, which is quoted rather than ordered from a checkout: how many cards fit depends on the physical width of the specific card and the power budget of the chassis. Two cards give you the sum of their memory only if the runtime can split the model across both, which every serious runtime supports at some cost in throughput. https://primcast.com/hpc covers what more than one card and more than one machine look like; 128 GB of memory the processor and GPU share in one machine is https://primcast.com/spark.

Does fine-tuning need more memory than serving?

Considerably more. Serving needs the weights; training needs the weights, the gradients and the optimiser state for every parameter being updated, all resident at once, plus the activations kept for the backward pass. A model that serves comfortably on one card can be several times too large to fully fine-tune on it. Parameter-efficient methods update a small fraction of the parameters and need a correspondingly small fraction of the extra memory, which is why most fine-tuning here uses one.

Can I run an AMD card, and does ROCm work?

Yes. The AMD Instinct parts are among the largest-memory cards fitted and are frequently the best value per gigabyte, but your stack has to support ROCm rather than CUDA. Most current inference runtimes do; some surrounding tooling still does not. Ask before ordering and it will be checked against your specific runtime rather than answered in general.

Εκτέλεση ενός LLM σε γυμνό μέταλλο | Διαστασιολόγηση μοντέλου & Χρόνοι εκτέλεσης

Φύλλο υπολογισμού

Τέσσερις γραμμές, μία ετυμηγορία.

Το μοντέλο

Η ακρίβεια

Το καθήκον

70B: 38 GB × 1.5 = 57 GB

Smallest card on the schedule that clears it (3 larger ones also do):

Instinct MI21064 GB HBM2e

The link opens the machine it goes in. What it costs is on /gpu — not on this sheet.

Γραμμή 1 × γραμμή 2 είναι τα βάρη· η γραμμή 3 είναι ο δημοσιευμένος κανόνας περιθωρίου ενός τετάρτου έως μισού του ιστότοπου ως αριθμητική — ένα τέταρτο επιπλέον για έναν χρήστη τη φορά σε llama.cpp ή Ollama, μισό επιπλέον για εξυπηρέτηση κίνησης με συνεχή ομαδοποίηση σε vLLM ή TGI. Η ετυμηγορία ονομάζει τη μικρότερη κάρτα στον κατάλογο παραγγελιών που ξεπερνά το σύνολο, και συνδέει με το μηχάνημα στο οποίο μπαίνει. Το πόσο κοστίζει αυτό το μηχάνημα σκόπιμα δεν βρίσκεται σε αυτό το φύλλο: κάθε αριθμός είναι στο /gpu, δίπλα στο ακριβές μηχάνημα στο οποίο ανήκει.

Εικ. 1

Πόσο ζυγίζουν τα βάρη.

Παράμετροι πολλαπλασιασμένες με bytes ανά παράμετρο, και αυτός είναι όλος ο υπολογισμός. Τα βάρη δεκαέξι bit είναι δύο bytes το καθένα, των οκτώ bit είναι ένα, των τεσσάρων bit είναι μισό. Η κβαντοποίηση είναι αυτό που μετατρέπει ένα μηχάνημα που δεν χωρά ένα μοντέλο σε ένα που μπορεί· κοστίζει σε ποιότητα, και το πόσο εξαρτάται από το μοντέλο και τη μέθοδο πολύ περισσότερο από ό,τι μόνο από τον αριθμό των bit. Αν η ακρίβεια είναι το ζητούμενο, δοκιμάστε και τα δύο πριν δεσμευτείτε σε υλικό — η διαφορά είναι φθηνότερο να ανακαλυφθεί τώρα παρά μετά την παράδοση.

Αυτά τα νούμερα είναι τα βάρη και τίποτε άλλο. Είναι το κατώτατο όριο, όχι η απαίτηση — η Εικ. 2 είναι το κομμάτι που πιάνει τον κόσμο απροετοίμαστο.

Weights only — the runtime, the activations and the conversation are extra, and are the subject of the next section.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB	8 GB	5 GB
13-14 billion parameters	28 GB	14 GB	8 GB
30-34 billion parameters	68 GB	34 GB	19 GB
70 billion parameters	140 GB	70 GB	38 GB

Εικ. 2 · διαδραστικό

Η μνήμη μιας κάρτας, σχεδιασμένη σε κάτοψη — και γιατί ένα μοντέλο που χωρά μπορεί ακόμα να αρνηθεί να εξυπηρετήσει.

Ο πιο συνηθισμένος τρόπος που πάει στραβά μια αγορά GPU, κάθε φορά με τον ίδιο τρόπο: το μοντέλο είναι τριάντα οκτώ gigabyte, η κάρτα είναι σαράντα, φορτώνει — και κρατά περίπου μία σύντομη συνομιλία. Τα βάρη δεν είναι μόνα τους εκεί μέσα. Σύρετε τον φόρτο εργασίας και δείτε τι κάνει η συνομιλία.

βάρη · σταθερά

χρόνος εκτέλεσης

κρυφή μνήμη κλειδιού-τιμής · μεγαλώνει

ελεύθερο

η μνήμη μιας κάρτας, 100 %

Η συνομιλία · μήκος πλαισίου × αιτήματα ταυτόχρονα

Ένας χρήστης, σύντομο πλαίσιο: ο σφιχτός πολλαπλασιαστής (×1.25) το καλύπτει.

Κάθε token σε μια συνομιλία αφήνει μια καταχώριση στην κρυφή μνήμη κλειδιού-τιμής ώστε να μην υπολογιστεί ξανά. Η κρυφή μνήμη μεγαλώνει με το μήκος πλαισίου, και πάλι με κάθε αίτημα που εξυπηρετείται ταυτόχρονα.
Υπολογίστε ένα τέταρτο επιπλέον πάνω από τα βάρη για έναν χρήστη τη φορά, μισό επιπλέον για εξυπηρέτηση κίνησης — οι δύο πολλαπλασιαστές στο φύλλο υπολογισμού, και ο δημοσιευμένος κανόνας του ίδιου του ιστότοπου.
Αν είναι οριακά, ρωτήστε πριν αγοράσετε: μοντέλο, κβαντοποίηση, πλαίσιο, ταυτοχρονισμός. Προτιμούμε να σας υπολογίσουμε σωστά μια κάρτα τώρα παρά να πάρουμε μια παραγγελία που επιστρέφει ως αίτημα επιστροφής χρημάτων την πρώτη εβδομάδα.

Εικ. 3

Ο πίνακας εφαρμογής: ποια κάρτα ξεπερνά ποιο μοντέλο.

Διαβάστε προς τα κάτω μέχρι το μοντέλο σας, οριζόντια μέχρι την ακρίβεια. Κάθε κελί ονομάζει τη μικρότερη κάρτα στο πρόγραμμα εξαρτημάτων που χωρά αυτά τα βάρη με χώρο να απομείνει για εξυπηρέτηση, και συνδέει με το μηχάνημα στο οποίο μπαίνει. Όπου τίποτε δεν το ξεπερνά μόνο του, το κελί το λέει αντί να αφήνει κενό.

The smallest card we fit that holds the weights with room left to serve — that is 1.5× the weights, the generous end of the quarter-to-a-half head-room rule below. No prices here on purpose: GPU dedicated servers holds every one.
If you want to run	at 16-bit	at 8-bit	at 4-bit
7-8 billion parameters	TESLA P40 / QUADRO P600024 GB16 GB of weights	TITAN V12 GB HBM28 GB of weights	TESLA P48 GB GDDR55 GB of weights
13-14 billion parameters	RTX A600048 GB GDDR6 ECC28 GB of weights	TESLA P40 / QUADRO P600024 GB14 GB of weights	TITAN V12 GB HBM28 GB of weights
30-34 billion parameters	More than one cardNothing we fit holds it alone68 GB of weights	Instinct MI21064 GB HBM2e34 GB of weights	Tesla V100 32GB32 GB HBM219 GB of weights
70 billion parameters	More than one cardNothing we fit holds it alone140 GB of weights	More than one cardNothing we fit holds it alone70 GB of weights	Instinct MI21064 GB HBM2e38 GB of weights

Η μικρότερη κάρτα που χωρά δεν είναι πάντα η κάρτα που θέλετε. Η μνήμη αποφασίζει αν τρέχει ένα μοντέλο· όλα τα άλλα χαρακτηριστικά της κάρτας αποφασίζουν πόσο γρήγορα, και για πόσα άτομα ταυτόχρονα. Αν η απόδοση μετρά περισσότερο από τον προϋπολογισμό, ανεβείτε ένα σκαλί στο πρόγραμμα.
Οι παλαιότερες κάρτες δεν μιλούν τις νεότερες μορφές αριθμών. Αρκετά εξαρτήματα στο πρόγραμμα προηγούνται των FP8 και bfloat16, οπότε ένας χρόνος εκτέλεσης που τα περιμένει θα υποχωρήσει σε κάτι πιο αργό ή θα αρνηθεί. Αξίζει να ρωτήσετε για μια συγκεκριμένη κάρτα και έναν συγκεκριμένο χρόνο εκτέλεσης πριν την παραγγελία.
Μια κάρτα AMD τρέχει ROCm, όχι CUDA. Τα εξαρτήματα Instinct είναι εξαιρετική αξία ανά gigabyte και είναι η απάντηση σε περισσότερα από ένα κελιά, αλλά η στοίβα σας πρέπει να υποστηρίζει ROCm. Οι περισσότεροι τρέχοντες χρόνοι εκτέλεσης το υποστηρίζουν· κάποια εργαλεία γύρω τους ακόμα όχι. Ελέγξτε τα δικά σας, ή ρωτήστε και θα το ελέγξουμε μαζί σας.
“Περισσότερες από μία κάρτες” είναι μια κατασκευή που κοστολογούμε, όχι επιλογή ταμείου — πόσες κάρτες χωρούν εξαρτάται από το πλάτος της συγκεκριμένης κάρτας και τον προϋπολογισμό ισχύος του πλαισίου. Πολλαπλές GPU και πολλαπλοί κόμβοι είναι εκείνο το φύλλο. Η άλλη απάντηση σε αυτό το μέγεθος είναι 128 GB μνήμης που μοιράζονται ο επεξεργαστής και η GPU, σε ένα μηχάνημα: ενοικίαση ενός NVIDIA DGX Spark.

Πρόγραμμα A

Πρόγραμμα εξαρτημάτων: κάθε κάρτα που τοποθετούμε με δημοσιευμένο αριθμό μνήμης.

Πρώτα οι μεγαλύτερες — αυτό το φύλλο απαντά στο “ποιο είναι το μεγαλύτερο πράγμα που μπορώ να τρέξω”, το αντίστροφο των αποκλειστικών διακομιστών GPU, που ταξινομεί τον ίδιο κατάλογο κατά το φθηνότερο πλήρες μηχάνημα επειδή απαντά στο “πόσο κοστίζει αυτό”. Μια κάρτα της οποίας τη μνήμη ο κατασκευαστής δεν δημοσιεύει παραλείπεται αντί να μαντευτεί.

Αρκετά εξαρτήματα εμφανίζονται σε περισσότερα από ένα πλαίσια, μερικές φορές σε διαφορετικές τιμές, και η γενιά διαύλου του μηχανήματος από κάτω αλλάζει τι μπορεί πραγματικά να κάνει μια σύγχρονη κάρτα — και τα δύο βρίσκονται στους αποκλειστικούς διακομιστές GPU. Το τι είναι τοποθετημένο σε rack και έτοιμο αυτή τη στιγμή είναι πάλι μια διαφορετική ερώτηση, που απαντάται από τους άμεσους διακομιστές.

Αναφορά

Ονομασμένα μοντέλα, αντιστοιχισμένα στις γραμμές.

Οι οικογένειες ανοιχτών βαρών που φέρνει ο κόσμος εδώ, με τον δημοσιευμένο αριθμό παραμέτρων που λέει ποια γραμμή της Εικ. 1 ισχύει. Οι αριθμοί παραμέτρων είναι των ίδιων των εκδοτών· τίποτε άλλο σε ένα μοντέλο δεν έχει σημασία για το ερώτημα εφαρμογής. Ένα μοντέλο που δεν βρίσκεται σε αυτή τη λίστα υπολογίζεται ακριβώς με τον ίδιο τρόπο — παράμετροι × bytes ανά παράμετρο, συν περιθώριο ασφαλείας. Νέες οικογένειες κυκλοφορούν κάθε μήνα· η αριθμητική δεν κουνιέται.

Σημείωση 1 · μείγμα ειδικών

Ένα μοντέλο “30B με 3B ενεργά” χρειάζεται τη μνήμη ενός μοντέλου 30B και τρέχει πιο κοντά στην ταχύτητα ενός μοντέλου 3B: κάθε ειδικός πρέπει να είναι μόνιμα παρών, επειδή διαφορετικά tokens ξυπνούν διαφορετικούς. Υπολογίστε πάντα από τον συνολικό αριθμό παραμέτρων.

Οικογένεια	Μεγέθη	Γραμμή
Llama 3.1 / 3.3 Meta	8B · 70B	7–8B, και 70B για την έκδοση 3.3
Qwen3 Alibaba	8B · 14B · 32B	Οι τρεις πρώτες γραμμές
DeepSeek-R1 αποστάγματα	7B – 70B	Ένα ανά γραμμή — διαλέξτε το απόσταγμα που χωρά η κάρτα σας
Mistral Small 3 Mistral AI	24B	Μεταξύ γραμμών 2 και 3· υπολογίστε το από την αριθμητική, όχι από την ετικέτα
Gemma 3 Google	12B · 27B	Γραμμή 2, και λίγο κάτω από τη γραμμή 3
Phi-4 Microsoft	14B	Γραμμή 2
gpt-oss OpenAI	20B · 120B	Δημοσιευμένο εγγενώς σε 4-bit: μια κάρτα 16 GB, και μία κάρτα 80 GB

Σημειώσεις εγκατάστασης

Ο χρόνος εκτέλεσης είναι δικός σας. Αυτό είναι το νόημα του γυμνού μετάλλου.

Το μηχάνημα φτάνει με καθαρό λειτουργικό σύστημα και root. Καμία υπηρεσία συμπερασμού προμηθευτή μπροστά από το μοντέλο σας, κανένας διαχειριζόμενος χρόνος εκτέλεσης που αναβαθμίζεται μόνος του την εβδομάδα πριν από μια προθεσμία. Τα vLLM και Ollama απαντούν και τα δύο σε ένα τελικό σημείο συμβατό με OpenAI — κώδικας γραμμένος για έναν πάροχο API δείχνει στο δικό σας μηχάνημα αλλάζοντας ένα βασικό URL. Κλειδώστε τον οδηγό, την έκδοση CUDA ή ROCm και το πλαίσιο στις εκδόσεις με τις οποίες δοκιμάστηκε ο κώδικάς σας· τίποτε δεν κινείται κάτω από τα πόδια σας. Αν προτιμάτε να εγκατασταθεί ο οδηγός πριν την παράδοση, πείτε το στην παραγγελία και ονομάστε την έκδοση.

vLLM — εξυπηρέτηση πραγματικής κίνησης. Η συνεχής ομαδοποίηση και η σελιδοποιημένη προσοχή επιτρέπουν σε μία κάρτα να απαντά σε πολλά αιτήματα ταυτόχρονα: η διαφορά μεταξύ μιας επίδειξης και μιας υπηρεσίας. Θέλει μια σχετικά σύγχρονη κάρτα.
llama.cpp — στενή μνήμη, ή παλαιότερη κάρτα. Οι κβαντοποιημένες μορφές του είναι ο λόγος που ένα μεγάλο μοντέλο χωρά σε μια μικρή κάρτα καθόλου· θα χρησιμοποιήσει επεξεργαστή και κάρτα μαζί όταν τα βάρη δεν χωρούν ακριβώς.
TGI · SGLang — διακομιστές παραγωγής στην ίδια οικογένεια, με διαφορετικά πλεονεκτήματα γύρω από δομημένη έξοδο, επαναχρησιμοποίηση προθέματος και εξυπηρέτηση πολλαπλών μοντέλων. Τρέχουν εδώ αμετάβλητα.
Ollama — ο συντομότερος δρόμος από ένα άδειο μηχάνημα σε ένα μοντέλο που απαντά σε μια θύρα. Δέκα λεπτά σας λένε αν ο υπολογισμός σας ήταν σωστός.

Συνθήκες τοποθεσίας

Τι κάνει το δικό σας μηχάνημα που δεν μπορεί ένα API.

Τα prompts δεν φεύγουν ποτέ από το κτίριο

Βάρη, prompts, ανακτημένα έγγραφα και κάθε παραγόμενο token μένουν σε υλικό στο οποίο μόνο εσείς μπορείτε να συνδεθείτε. Άμστερνταμ ή Βουκουρέστι και τα δεδομένα βρίσκονται στην ΕΕ· Νέα Υόρκη, Μαϊάμι ή Σαν Φρανσίσκο και βρίσκονται στις ΗΠΑ. Για φόρτους εργασίας που λογοδοτούν σε υπεύθυνο απορρήτου, αυτή η πρόταση είναι ολόκληρη η επιχειρηματική αιτιολόγηση.

Ο μετρητής δεν τρέχει ποτέ

Ένα API ανά token χρεώνει κάθε token, και ένας πράκτορας ή μια διοχέτευση παρτίδας παράγει tokens όλη μέρα. Ένα αποκλειστικό μηχάνημα είναι το ίδιο ποσό κάθε μήνα σε οποιονδήποτε όγκο, με αμέτρητο εύρος ζώνης από κάτω — βάρη μέσα και tokens έξω δεν κοστίζουν τίποτε πέρα από τη θύρα. Ποιο είναι αυτό το ποσό, είναι η γραμμή του /gpu να συμπληρώσει, όχι αυτού του φύλλου.

Κανείς δεν περιορίζει τον ρυθμό, δεν αποσύρει ούτε αλλάζει το μοντέλο κάτω από τα πόδια σας

Το μοντέλο που κλειδώσατε απαντά αμετάβλητο σε έξι μήνες. Κανένα ανώτατο όριο αιτημάτων ανά λεπτό, καμία ουρά στην ώρα αιχμής κάποιου άλλου, καμία ειδοποίηση απόσυρσης. Η ανταλλαγή είναι τίμια: οι αναβαθμίσεις είναι δικές σας, στο δικό σας πρόγραμμα.

Η εργασία δίπλα στο μοντέλο έχει σπίτι

Η ανάκτηση θέλει ένα μοντέλο ενσωμάτωσης, μια διανυσματική αποθήκη και γρήγορο δίσκο· οι πράκτορες θέλουν χώρο για να τρέχουν εργαλεία. NVMe για την αποθήκη, πυρήνες επεξεργαστή για τη διοχέτευση, η κάρτα για τα tokens — ένα μηχάνημα τα κουβαλά όλα.

Σημείωση 2 · αξιολογήσεις

Κανένας αριθμός tokens ανά δευτερόλεπτο δεν εμφανίζεται σε αυτό το φύλλο.

Σκόπιμα. Κάθε τέτοιος αριθμός εξαρτάται από το μοντέλο, την κβαντοποίηση, τον χρόνο εκτέλεσης και την έκδοσή του, το μέγεθος παρτίδας, το μήκος prompt, το μήκος απάντησης και τον ταυτοχρονισμό — αλλάξτε οποιοδήποτε ένα και κινείται κατά πολλαπλάσιο. Ένας αριθμός τίτλου που δεν κουβαλά όλα αυτά είναι ένας αριθμός επιλεγμένος για να φαίνεται καλός, και θα μας τον χρέωναν. Τι τον διέπει: η ανάγνωση του prompt είναι δεσμευμένη από υπολογισμό και συμβαίνει μία φορά ανά αίτημα· η παραγωγή της απάντησης είναι δεσμευμένη από εύρος ζώνης μνήμης, επειδή κάθε token απαιτεί ανάγνωση των βαρών· η ομαδοποίηση αποσβένει αυτή την ανάγνωση σε ταυτόχρονα αιτήματα, μέχρι να ξεμείνει από χώρο η κρυφή μνήμη κλειδιού-τιμής. Περιθώριο ασφαλείας πάλι.

Ζητήστε μια πραγματική απάντηση αντ’ αυτού

Πείτε μας το μοντέλο, την κβαντοποίηση που σκοπεύετε, το μήκος πλαισίου και περίπου πόσα ταυτόχρονα αιτήματα. Αν έχουμε τρέξει κάτι συγκρίσιμο θα πούμε τι είδαμε και σε τι. Αν όχι, θα το πούμε κι αυτό.

Κάθε ώρα κάθε μέρας — τηλέφωνο, συνομιλία και δελτία. Η Υποστήριξη έχει τους χρόνους απόκρισης γραπτώς.

Σημείωση 3 · λεπτομερής ρύθμιση

Η εκπαίδευση χρειάζεται σημαντικά περισσότερο χώρο από την εξυπηρέτηση.

Η εξυπηρέτηση χρειάζεται τα βάρη. Η εκπαίδευση χρειάζεται τα βάρη, τις κλίσεις και την κατάσταση του βελτιστοποιητή για κάθε παράμετρο που ενημερώνει, όλα μόνιμα παρόντα ταυτόχρονα, συν τις ενεργοποιήσεις που κρατούνται για το πέρασμα προς τα πίσω — ένα μοντέλο που εξυπηρετεί άνετα σε μία κάρτα μπορεί να είναι αρκετές φορές πολύ μεγάλο για πλήρη λεπτομερή ρύθμιση σε αυτήν. Οι μέθοδοι αποδοτικές ως προς τις παραμέτρους ενημερώνουν ένα μικρό κλάσμα των παραμέτρων και χρειάζονται αντίστοιχα μικρό κλάσμα της επιπλέον μνήμης, γι’ αυτό οι περισσότερες λεπτομερείς ρυθμίσεις εδώ χρησιμοποιούν μία. Ο βρόχος εκπαίδευσης επίσης στέλνει συνεχώς παρτίδες μέσω της σύνδεσης επεξεργαστή-κάρτας, οπότε η γενιά PCIe του μηχανήματος από κάτω είναι πραγματικός περιορισμός εκεί με τρόπο που δεν είναι για την εξυπηρέτηση — ποια πλατφόρμα δίνει σε ποια κάρτα ποια σύνδεση βρίσκεται στους αποκλειστικούς διακομιστές GPU. Πείτε μας το μοντέλο, τη μέθοδο, το μήκος ακολουθίας και το μέγεθος του συνόλου δεδομένων και θα το υπολογίσουμε αντί να το ανακαλύψετε μετά την παράδοση· περισσότερες από μία κάρτες είναι το φύλλο των πολλαπλών GPU και πολλαπλών κόμβων.

Παρακείμενα φύλλα

Οι σελίδες εκατέρωθεν αυτής.

Αυτό το φύλλο κατέχει μία ερώτηση: τι χρειάζεται για να τρέξει ένα μοντέλο. Ό,τι είναι παρακείμενο έχει τη δική του σελίδα, και αυτές είναι όλες.

Τι χρειάζεται για να τρέξει ένα γλωσσικό μοντέλο σε γυμνό μέταλλο.

Μετατρέψτε τις GPU σας σε παθητικό μηνιαίο εισόδημα