Φόρτος εργασίας · Φιλοξενία γλωσσικού μοντέλου

Φιλοξενία LLM σε αποκλειστική GPU με μέγεθος ανάλογο του μοντέλου που θέλετε να τρέξετε

Η φιλοξενία LLM στη Primcast είναι ένας ολόκληρος διακομιστής με αποκλειστική GPU, που τρέχει το μοντέλο που επιλέγετε στο περιβάλλον εκτέλεσης που επιλέγετε, στην ίδια τιμή κάθε μήνα. Διαλέξτε το μέγεθος και την ακρίβεια του μοντέλου σας στον πίνακα υπολογισμού και αυτός υποδεικνύει τη μικρότερη GPU που το χωράει με περιθώριο για εξυπηρέτηση.

Αν κάνετε λάθος στη μνήμη, τίποτα άλλο δεν έχει σημασία: ένα μοντέλο δύο gigabyte μεγαλύτερο από τη GPU του είτε αρνείται να ξεκινήσει είτε σέρνεται στον επεξεργαστή. Γι' αυτό ο πίνακας υπολογισμού προηγείται.

Αποκτήστε διακομιστή GPU για το μοντέλο σας Γιατί ένα μοντέλο που χωράει μπορεί ακόμα να αποτύχει

Πίνακας υπολογισμού μεγέθουςβάρη × περιθώριο

Μέγεθος μοντέλου

Ακρίβεια

Ποιος το χρησιμοποιεί

70B: 38 GB × 1.5 = 57 GB

Fits on one GPU. The smallest that clears it (3 larger also do):

Instinct MI21064 GB HBM2e

The link opens the machine it goes in. Its price is on GPU dedicated servers.

Μετατρέψτε τις GPU σας σε παθητικό μηνιαίο εισόδημα

Έχετε αδρανείς διατάξεις GPU σε διακομιστές ή επιτραπέζιους υπολογιστές; Καταχωρίστε τις σήμερα στην αγορά της Primcast και κερδίστε σταθερά μηνιαία ενοίκια από ομάδες τεχνητής νοημοσύνης, προγραμματιστές και επιχειρήσεις που χρειάζονται υπολογιστική ισχύ επιπέδου παραγωγής.

Μετάβαση στην Αγορά

01 Μνήμη GPU

Πόση μνήμη GPU χρειάζεται ένα LLM;

Πολλαπλασιάστε τον αριθμό των παραμέτρων με τα bytes που καταλαμβάνει κάθε παράμετρος. Στα 16-bit είναι δύο bytes, στα 8-bit ένα, στα 4-bit μισό byte. Ένα μοντέλο 70B είναι περίπου 140 GB βαρών στα 16-bit και περίπου 38 GB στα 4-bit.

Η κβαντοποίηση σε λιγότερα bits είναι αυτό που επιτρέπει σε ένα μεγάλο μοντέλο να χωρέσει σε μια μικρότερη GPU. Κοστίζει κάποια ποιότητα, και το πόσο εξαρτάται από το μοντέλο και τη μέθοδο περισσότερο παρά από τον αριθμό των bits. Αν η ακρίβεια έχει σημασία για εσάς, δοκιμάστε και τις δύο εκδόσεις πριν επιλέξετε υλικό.

Περιμένετε το πραγματικό κατέβασμα να ζυγίζει λίγο περισσότερο από αυτό το άθροισμα, καθώς τα δημοφιλή 4-bit format αφήνουν κάποια επίπεδα σε υψηλότερη ακρίβεια. Το προεπιλεγμένο κατέβασμα του Llama 3.1 70B του Ollama’ στα 4-bit φτάνει τα 43 GB αντί για 38. Μόλις επιλέξετε το αρχείο, υπολογίστε το μέγεθος από το πραγματικό του βάρος.

Αυτά είναι μόνο τα βάρη. Αντιμετωπίστε τα ως το κατώτατο όριο, ποτέ ως την απαίτηση: η επόμενη ενότητα είναι αυτή που παγιδεύει τον κόσμο.

Weights only. The runtime, the activations and the conversation come on top, and the next section is about them.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB	8 GB	5 GB
13-14 billion parameters	28 GB	14 GB	8 GB
30-34 billion parameters	68 GB	34 GB	19 GB
70 billion parameters	140 GB	70 GB	38 GB

Δημοφιλή ανοιχτά μοντέλα και η σειρά που χρησιμοποιούν

Ο αριθμός παραμέτρων είναι αυτός του εκδότη και είναι το μόνο που χρειάζεται το ερώτημα της χωρητικότητας. Ένα μοντέλο που λείπει από αυτή τη λίστα υπολογίζεται με τον ίδιο τρόπο, και νέα μοντέλα εμφανίζονται κάθε μήνα χωρίς να αλλάζουν την αριθμητική.

MoEΜείγμα ειδικών

Ένα μοντέλο που περιγράφεται ως “30B με 3B ενεργά” χρειάζεται τη μνήμη ενός μοντέλου 30B και τρέχει πιο κοντά στην ταχύτητα ενός 3B. Κάθε ειδικός πρέπει να παραμένει φορτωμένος, γιατί κάθε token μπορεί να ξυπνήσει διαφορετικό. Πάντα να υπολογίζετε από το σύνολο.

Οικογένειες μοντέλων ανοιχτών βαρών και η σειρά υπολογισμού στην οποία εμπίπτει το καθένα
Μοντέλο	Παράμετροι	Σειρά υπολογισμού
Llama 3.1 / 3.3 Meta	8B · 70B	7–8B, και 70B
Llama 4 Scout Meta	109B total · 17B active	Πάνω από τη σειρά 70B: υπολογισμός από 109B
Qwen3 Alibaba	8B · 14B · 32B	Οι τρεις πρώτες σειρές
Qwen3 30B-A3B Alibaba	30B total · 3B active	30–34B, υπολογισμός από το σύνολο
DeepSeek-R1 distilled	7B – 70B	Ένα ανά σειρά: διαλέξτε αυτό που χωράει η GPU σας
Mistral Small 3.2 Mistral AI	24B	Μεταξύ σειρών δύο και τρία: κάντε την αριθμητική
Gemma 3 Google	12B · 27B	13–14B, και λίγο κάτω από 30–34B
Phi-4 Microsoft	14B	13–14B
gpt-oss OpenAI	20B · 120B	Διατίθεται σε 4-bit: μία GPU 16 GB, και μία GPU 80 GB

02 Περιθώριο

Γιατί ένα μοντέλο που χωράει μπορεί ακόμα να αρνηθεί να εξυπηρετήσει

Επειδή τα βάρη μοιράζονται τη μνήμη GPU με το περιβάλλον εκτέλεσης και με τη συνομιλία. Η συνηθισμένη ιστορία: το μοντέλο είναι 38 GB, η GPU έχει 40, φορτώνει, και καταφέρνει περίπου μία σύντομη συνομιλία πριν αρχίσουν να μπαίνουν σε ουρά τα αιτήματα. Μετακινήστε τον ολισθητήρα και δείτε τη συνομιλία να μεγαλώνει.

βάρη, σταθερά

περιβάλλον εκτέλεσης

κρυφή μνήμη κλειδιού-τιμής, μεγαλώνει

ελεύθερο

Η μνήμη μίας GPU, σχεδιασμένη σε αναλογία

Πόση συνομιλία: μήκος πλαισίου × αιτήματα ταυτόχρονα

Ένας χρήστης, σύντομο πλαίσιο: ο πολλαπλασιαστής ×1.25 το καλύπτει.

Κάθε token σε μια συνομιλία αφήνει μια καταχώριση στην κρυφή μνήμη κλειδιού-τιμής ώστε να μην υπολογίζεται δύο φορές. Η κρυφή μνήμη μεγαλώνει με το μήκος του πλαισίου, και ξανά με κάθε αίτημα που εξυπηρετείτε ταυτόχρονα.
Υπολογίστε ένα τέταρτο επιπλέον πάνω από τα βάρη για έναν χρήστη τη φορά και μισό επιπλέον για εξυπηρέτηση κίνησης. Αυτοί είναι οι δύο πολλαπλασιαστές στον πίνακα υπολογισμού.
Είστε οριακά; Πριν παραγγείλετε, στείλτε μας το μοντέλο σας, την κβαντοποίησή του, το μήκος πλαισίου και τον αριθμό των ατόμων που το χρησιμοποιούν ταυτόχρονα. Το να σας υπολογίσουμε σωστά μια GPU τώρα είναι πολύ πιο εύκολο από το να σας μεταφέρουμε σε μεγαλύτερη μετά την παράδοση.

03 Διακομιστής GPU για LLM

Ποιος διακομιστής GPU τρέχει ποιο μοντέλο

Βρείτε το μοντέλο σας στα αριστερά και την ακρίβειά σας στην κορυφή. Κάθε κελί ονομάζει τη μικρότερη GPU που τοποθετούμε και χωράει αυτά τα βάρη με περιθώριο για εξυπηρέτηση, και συνδέεται με το μηχάνημα στο οποίο μπαίνει. Όπου καμία μεμονωμένη GPU δεν αρκεί, το κελί το λέει.

The smallest GPU we fit that holds the weights with room left to serve: 1.5× the weights, the generous end of the quarter-to-a-half head-room rule. Prices are on GPU dedicated servers, next to the machine each GPU goes in.
If you want to run	at 16-bit	at 8-bit	at 4-bit
7-8 billion parameters	TESLA P40 / QUADRO P600024 GB16 GB of weights	TITAN V12 GB HBM28 GB of weights	TESLA P48 GB GDDR55 GB of weights
13-14 billion parameters	RTX A600048 GB GDDR6 ECC28 GB of weights	TESLA P40 / QUADRO P600024 GB14 GB of weights	TITAN V12 GB HBM28 GB of weights
30-34 billion parameters	More than one GPUNothing we fit holds it alone68 GB of weights	Instinct MI21064 GB HBM2e34 GB of weights	Tesla V100 32GB32 GB HBM219 GB of weights
70 billion parameters	More than one GPUNothing we fit holds it alone140 GB of weights	More than one GPUNothing we fit holds it alone70 GB of weights	Instinct MI21064 GB HBM2e38 GB of weights

Η μικρότερη GPU που χωράει δεν είναι πάντα αυτή που θέλετε. Η μνήμη σας λέει μόνο αν το μοντέλο θα ξεκινήσει. Η υπόλοιπη GPU καθορίζει πόσο γρήγορα και για πόσα άτομα ταυτόχρονα, οπότε αν η ταχύτητα έχει μεγαλύτερη σημασία από τον προϋπολογισμό, ανεβείτε ένα σκαλοπάτι.
Οι παλαιότερες GPU δεν μιλούν τα νεότερα αριθμητικά format. Αρκετές από τις GPU που τοποθετούμε προηγούνται των FP8 και bfloat16, οπότε ένα περιβάλλον εκτέλεσης που τα περιμένει υποχωρεί σε κάτι πιο αργό ή αρνείται να ξεκινήσει. Ρωτήστε για συγκεκριμένη GPU και περιβάλλον εκτέλεσης πριν παραγγείλετε.
Οι GPU της AMD τρέχουν ROCm, όχι CUDA. Οι GPU Instinct δίνουν πολλή μνήμη για τα χρήματά τους και καλύπτουν περισσότερα από ένα κελιά εδώ, αλλά το λογισμικό σας πρέπει να υποστηρίζει ROCm. Τα περισσότερα σύγχρονα περιβάλλοντα εκτέλεσης το κάνουν και κάποια εργαλεία γύρω τους ακόμα όχι. Είμαστε στην ευχάριστη θέση να ελέγξουμε το δικό σας μαζί σας.
Περισσότερες από μία GPU είναι μια κατασκευή που κοστολογούμε, όχι επιλογή ταμείου, γιατί το πόσες χωράνε εξαρτάται από το πλάτος της GPU και τον ενεργειακό προϋπολογισμό του πλαισίου. Η σελίδα μας πολλαπλών GPU το εξηγεί. Η άλλη απάντηση σε αυτό το μέγεθος είναι 128 GB μνήμης που μοιράζονται ο επεξεργαστής και η GPU σε ένα μηχάνημα: ενοικίαση NVIDIA DGX Spark.

04 Οι GPU

Κάθε GPU που τοποθετούμε, πρώτα η μεγαλύτερη μνήμη

Τοποθετούμε 56 GPU με δημοσιευμένο αριθμό μνήμης, και η μεγαλύτερη χωράει 96 GB. Αυτή η λίστα ξεκινά από την κορυφή γιατί το ερώτημα εδώ είναι “ποιο είναι το μεγαλύτερο μοντέλο που μπορώ να τρέξω”. Οι αποκλειστικοί διακομιστές GPU παραθέτουν τις ίδιες GPU από το φθηνότερο μηχάνημα και πάνω, με τιμές. Μια GPU της οποίας ο κατασκευαστής δεν δημοσιεύει τη μνήμη της παραλείπεται αντί να μαντεύεται.

Ορισμένες GPU διατίθενται σε περισσότερα από ένα πλαίσια, και η γενιά PCIe του μηχανήματος από κάτω αλλάζει το τι μπορεί να κάνει μια σύγχρονη GPU. Και τα δύο βρίσκονται στους αποκλειστικούς διακομιστές GPU. Αν προτιμάτε να μην περιμένετε για κατασκευή, δείτε τα έτοιμα μηχανήματα στους άμεσους διακομιστές.

05 Αυτοφιλοξενούμενο LLM

Το δικό σας περιβάλλον εκτέλεσης, οι δικές σας εκδόσεις, τίποτα ενδιάμεσα

Παίρνετε τον διακομιστή με φρέσκο λειτουργικό σύστημα και root. Δεν υπάρχει δική μας υπηρεσία εξαγωγής συμπερασμάτων μπροστά από το μοντέλο σας και τίποτα δεν αναβαθμίζεται μόνο του την εβδομάδα πριν από την προθεσμία σας. Κρατήστε τον οδηγό GPU, το CUDA ή το ROCm και το πλαίσιό σας ακριβώς στις εκδόσεις με τις οποίες δοκιμάσατε. Αν θέλετε τον οδηγό εγκατεστημένο πριν από την παράδοση, πείτε το στην παραγγελία και ονομάστε την έκδοση.

Το vLLM και το Ollama απαντούν και τα δύο σε ένα τελικό σημείο συμβατό με OpenAI, οπότε κώδικας γραμμένος για φιλοξενούμενο API δείχνει στον δικό σας διακομιστή αλλάζοντας ένα βασικό URL.

vLLM
Για εξυπηρέτηση πραγματικής κίνησης
Η συνεχής ομαδοποίηση και η σελιδοποιημένη προσοχή επιτρέπουν σε μία GPU να απαντά σε πολλά αιτήματα ταυτόχρονα. Αυτή είναι η διαφορά μεταξύ ενός demo και μιας υπηρεσίας. Θέλει μια σχετικά σύγχρονη GPU.
llama.cpp
Για περιορισμένη μνήμη ή παλαιότερες GPU
Τα κβαντοποιημένα format του είναι ο λόγος που ένα μεγάλο μοντέλο χωράει καθόλου σε μια μικρή GPU, και μπορεί να μοιράσει τη δουλειά μεταξύ επεξεργαστή και GPU όταν τα βάρη δεν χωράνε ακριβώς.
TGI · SGLang
Για παραγωγή με πρόσθετα
Διακομιστές παραγωγής στην ίδια οικογένεια, με διαφορετικά πλεονεκτήματα γύρω από δομημένη έξοδο, επαναχρησιμοποίηση προθεμάτων και εξυπηρέτηση πολλών μοντέλων. Τρέχουν εδώ αμετάβλητα.
Ollama
Για μια πρώτη απάντηση σε λεπτά
Ο συντομότερος δρόμος από ένα άδειο μηχάνημα σε ένα μοντέλο που απαντά σε μια θύρα. Δέκα λεπτά μαζί του σας λένε αν ο υπολογισμός σας ήταν σωστός.

06 Ενοικιάστε διακομιστή για το LLM σας

Τι σας δίνει ο δικός σας διακομιστής που δεν δίνει ένα API

Ένα φιλοξενούμενο API είναι εύκολο στην αρχή. Αυτοί είναι οι τέσσερις λόγοι που οι άνθρωποι μεταφέρουν το μοντέλο τους σε ένα δικό τους μηχάνημα.

Τα prompts σας μένουν στο δικό σας υλικό

Βάρη, prompts, ανακτημένα έγγραφα και κάθε παραγόμενο token μένουν σε ένα μηχάνημα στο οποίο μόνο εσείς μπορείτε να συνδεθείτε. Επιλέγετε επίσης τη δικαιοδοσία: Άμστερνταμ ή Βουκουρέστι κρατά τα δεδομένα στην ΕΕ, Σαν Φρανσίσκο, Μαϊάμι ή Νέα Υόρκη τα κρατά στις ΗΠΑ. Ποιες GPU διαθέτει κάθε πόλη βρίσκεται στη σελίδα παραγγελίας.

Κανένας μετρητής στα tokens σας

Ένα API χρεώνει κάθε token, και ένας πράκτορας ή μια ομαδική εργασία παράγει tokens όλη μέρα. Ο δικός σας διακομιστής κοστίζει το ίδιο κάθε μήνα όσο απασχολημένος κι αν είναι, και τίποτα δεν μετρά τη θύρα επίσης, οπότε το να κατεβάζετε βάρη και να στέλνετε απαντήσεις δεν προσθέτει τίποτα στον λογαριασμό. Τα μηνιαία ποσά βρίσκονται στους αποκλειστικούς διακομιστές GPU.

Κανείς δεν αλλάζει το μοντέλο κάτω από εσάς

Το μοντέλο που καρφιτσώνετε σήμερα απαντά με τον ίδιο τρόπο σε έξι μήνες. Κανένα ανώτατο όριο αιτημάτων ανά λεπτό, καμία ουρά στην ώρα αιχμής κάποιου άλλου, καμία ειδοποίηση απόσυρσης. Το δίκαιο αντάλλαγμα είναι ότι οι αναβαθμίσεις είναι δικές σας να τις κάνετε, όταν σας βολεύει.

Χώρος για όλα γύρω από το μοντέλο

Η ανάκτηση χρειάζεται ένα μοντέλο ενσωμάτωσης, μια διανυσματική αποθήκη και γρήγορους δίσκους. Οι πράκτορες χρειάζονται χώρο για να τρέχουν τα εργαλεία τους. NVMe για την αποθήκη, πυρήνες επεξεργαστή για τη σωλήνωση και η GPU για τα tokens: ένα μηχάνημα τα μεταφέρει όλα.

07 Ταχύτητα

Πόσο γρήγορα θα απαντά;

Εξαρτάται από πάρα πολλά πράγματα για έναν ειλικρινή αριθμό, οπότε δεν δημοσιεύουμε αριθμό tokens ανά δευτερόλεπτο. Το μοντέλο, η κβαντοποίηση, το περιβάλλον εκτέλεσης και η έκδοσή του, το μέγεθος παρτίδας, τα μήκη prompt και απάντησης και ο αριθμός των χρηστών ταυτόχρονα μπορούν το καθένα να τον μεταβάλουν πολλαπλάσια.

Τι τον οδηγεί: η ανάγνωση του prompt σας περιορίζεται από την αριθμητική της GPU και συμβαίνει μία φορά ανά αίτημα. Η εγγραφή της απάντησης περιορίζεται από το εύρος ζώνης μνήμης, γιατί κάθε νέο token διαβάζει ξανά τα βάρη. Η ομαδοποίηση κατανέμει αυτή την ανάγνωση σε πολλά αιτήματα, μέχρι να ξεμείνει από χώρο η κρυφή μνήμη κλειδιού-τιμής. Περιθώριο ξανά.

Ρωτήστε μας για μια πραγματική απάντηση

Πείτε μας το μοντέλο, την κβαντοποίηση, το μήκος πλαισίου και περίπου πόσα αιτήματα φτάνουν ταυτόχρονα. Αν έχουμε τρέξει κάτι παρόμοιο, θα πούμε τι είδαμε και σε ποια GPU. Αν όχι, θα το πούμε κι αυτό.

Η ζωντανή συνομιλία σας δίνει απάντηση μέσα σε δευτερόλεπτα από μια τεχνητή νοημοσύνη που εξετάζει τον λογαριασμό σας και τον διακομιστή σας, και από έναν συνάδελφο όποτε το ζητήσετε. Οι χρόνοι απόκρισης βρίσκονται στη σελίδα υποστήριξης.

08 Διακομιστές εκπαίδευσης LLM

Η λεπτομερής ρύθμιση χρειάζεται πολύ περισσότερη μνήμη από την εξυπηρέτηση

Η εξυπηρέτηση χρειάζεται τα βάρη. Η εκπαίδευση χρειάζεται τα βάρη, τις κλίσεις και την κατάσταση βελτιστοποιητή για κάθε παράμετρο που ενημερώνει, όλα φορτωμένα ταυτόχρονα, συν τις ενεργοποιήσεις που κρατούνται για το πέρασμα προς τα πίσω. Ένα μοντέλο που εξυπηρετεί άνετα σε μία GPU μπορεί να είναι πολλές φορές πολύ μεγάλο για πλήρη λεπτομερή ρύθμιση σε αυτήν.

Μέθοδοι αποδοτικές ως προς τις παραμέτρους όπως η LoRA ενημερώνουν ένα μικρό μερίδιο των παραμέτρων και χρειάζονται αντίστοιχα μικρό μερίδιο της επιπλέον μνήμης, γι' αυτό και η περισσότερη λεπτομερής ρύθμιση στα μηχανήματά μας χρησιμοποιεί μία. Η εκπαίδευση επίσης μεταδίδει συνεχώς παρτίδες μέσω της σύνδεσης μεταξύ επεξεργαστή και GPU, οπότε η γενιά PCIe του μηχανήματος έχει σημασία εδώ με τρόπο που δεν έχει για την εξυπηρέτηση. Οι αποκλειστικοί διακομιστές GPU δείχνουν ποια πλατφόρμα δίνει σε κάθε GPU ποια σύνδεση.

Στείλτε μας το μοντέλο, τη μέθοδο, το μήκος ακολουθίας και το μέγεθος του συνόλου δεδομένων και θα το υπολογίσουμε μαζί σας. Για περισσότερες από μία GPU, δείτε διακομιστές πολλαπλών GPU και συστάδων.

09 In short

LLM hosting at Primcast, in ten lines

What decides whether a model runs: GPU memory, and almost nothing else on the order form. The weights either fit or they do not: on a GPU a couple of gigabytes short, most runtimes refuse to load the model, and the ones that can spill layers to the processor run far slower. Clock speed and core count decide how fast it is once it fits.
How much memory a model needs: Parameters multiplied by bytes per parameter: two bytes each at 16-bit, one at 8-bit, half at 4-bit. That is the WEIGHTS. The runtime, the activations and the conversation's key-value cache live in the same memory, so budget a quarter to a half again on top before choosing a GPU.
Largest model on a single GPU here: 70 billion parameters at 4-bit, with room left to serve. Past that the answer is more than one GPU in one machine, which is a build we quote rather than a checkout option. Multi-GPU and multi-node is the page for it.
Biggest GPU we fit: RTX PRO 6000 Blackwell 96GB, 96 GB GDDR7 ECC. GPU memory figures are the manufacturers' published ones; a GPU whose figure we could not source is left out of the comparison rather than guessed at.
Which runtime: Yours. You get the machine with a fresh operating system and root, and you install vLLM, llama.cpp, TGI, SGLang, Ollama or anything else, pinned to the version your code was tested against. Nothing upgrades underneath you, and there is no vendor runtime you have to go through.
Throughput: We publish no tokens-per-second figure, deliberately, because we have not measured one under conditions we would be willing to have quoted back at us. What governs it is the GPU's memory bandwidth while generating, its arithmetic while reading the prompt, and how many requests you batch. Ask with the model, the quantisation and the expected concurrency and we will say what we have actually seen.
Fine-tuning and training: Both are ordinary work here, and both need considerably more memory than serving the same model: gradients and optimiser state sit alongside the weights. A parameter-efficient method needs a fraction of what a full fine-tune does. Tell us the method and the model and we will size it rather than have you find out after delivery.
Tenancy: One tenant per physical machine and the full GPU passed straight through to your operating system. No hypervisor, MIG slicing, vGPU profile or time-sharing scheduler, and no other customer's work on the GPU. What you measure on the first afternoon is what you keep.
Bandwidth: Nothing meters the port, in either direction, and nobody shares it with you at the access switch. Pulling weights down and serving tokens back out costs nothing beyond the port.
What this page does not price: GPUs, or anything else. Every GPU we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, each figure against the exact machine it belongs to.

10 Ερωτήσεις

Τι ρωτούν οι άνθρωποι πριν φιλοξενήσουν ένα LLM σε εμάς

Συγκεντρωμένες από τη ζωντανή συνομιλία και τα αιτήματα υποστήριξης. Οι πρώτες τέσσερις καθορίζουν αν μια παραγγελία θα λειτουργήσει.

01Τι είναι η φιλοξενία LLM και τι παίρνω εδώ;

Φιλοξενία LLM σημαίνει να τρέχετε ένα μεγάλο γλωσσικό μοντέλο σε έναν διακομιστή που ελέγχετε εσείς, αντί να καλείτε το API κάποιου άλλου’. Σε εμάς, αυτό σημαίνει ότι νοικιάζετε έναν ολόκληρο φυσικό διακομιστή με τη δική του αποκλειστική GPU, πρόσβαση root και ένα φρέσκο λειτουργικό σύστημα, και στη συνέχεια εγκαθιστάτε το μοντέλο και το runtime που θέλετε. Είναι επιπέδου παραγωγής με την απλή έννοια: η GPU είναι αποκλειστικά δική σας και οι εκδόσεις είναι δικές σας επιλογές.

02Πόση μνήμη GPU χρειάζεται ένα μεγάλο γλωσσικό μοντέλο;

Πάρτε τον αριθμό των παραμέτρων και πολλαπλασιάστε τον με τα bytes ανά παράμετρο, που είναι 2 για 16-bit, 1 για 8-bit και 0,5 για 4-bit. Ένα μοντέλο 7–8B είναι περίπου 16 GB βαρών στα 16-bit, 8 GB στα 8-bit και 5 GB στα 4-bit. Ένα μοντέλο 70B είναι περίπου 140 GB, 70 GB και 38 GB. Αυτά είναι μόνο τα βάρη, οπότε προγραμματίστε 25 έως 50 τοις εκατό επιπλέον από πάνω για το runtime, τις ενεργοποιήσεις και την cache που κρατά τη συνομιλία.

03Τι διακομιστή GPU χρειάζομαι για ένα μοντέλο 70B όπως το Llama 3.3;

Στα 4-bit τα βάρη είναι περίπου 38 GB, οπότε με χώρο για εξυπηρέτηση χρειάζεστε μια GPU με 64 GB ή περισσότερα: μία GPU, ένα μηχάνημα. Στα 8-bit τα βάρη είναι 70 GB, που χωρούν μόνο στις μεγαλύτερες μεμονωμένες GPU μας, και μόνο για έναν χρήστη τη φορά, οπότε προγραμματίστε περισσότερες από μία GPU αν εξυπηρετείτε κίνηση. Στα 16-bit καμία μεμονωμένη GPU που τοποθετούμε δεν το χωρά και γίνεται μια κατασκευή πολλαπλών GPU που κοστολογούμε. Ο πίνακας παραπάνω ονομάζει τις ακριβείς GPU και οι τιμές βρίσκονται στους αποκλειστικούς διακομιστές GPU.

04Γιατί το μοντέλο μου φορτώνει και μετά αποτυγχάνει να εξυπηρετήσει;

Επειδή τα βάρη δεν είναι μόνα τους στη μνήμη της GPU. Το runtime και οι buffers του βρίσκονται επίσης εκεί, και κάθε token μιας συνομιλίας αφήνει μια καταχώρηση στην cache κλειδιού-τιμής για να μην υπολογιστεί ξανά. Αυτή η cache μεγαλώνει με το μήκος του πλαισίου και πάλι με κάθε αίτημα που εξυπηρετείται ταυτόχρονα, οπότε ένα μοντέλο που μόλις χωρά κρατά περίπου μία σύντομη συνομιλία. Υπολογίστε τη GPU σε μιάμιση έως μιάμιση φορά τα βάρη.

05Ποιο λογισμικό εξαγωγής συμπερασμάτων μπορώ να εγκαταστήσω;

Οποιοδήποτε. Έχετε root σε ένα καθαρό λειτουργικό σύστημα, χωρίς καμία δική μας υπηρεσία εξαγωγής συμπερασμάτων να παρεμβάλλεται. Το vLLM είναι η συνηθισμένη επιλογή για εξυπηρέτηση πραγματικής κίνησης, το llama.cpp για περιορισμένη μνήμη ή παλαιότερες GPU, και τα TGI και SGLang τρέχουν αμετάβλητα. Το Ollama είναι ο γρηγορότερος τρόπος να έχετε ένα μοντέλο να απαντά σε μια θύρα. Τα vLLM και Ollama προσφέρουν και τα δύο ένα συμβατό με OpenAI endpoint, οπότε ο υπάρχων κώδικας πελάτη χρειάζεται μόνο ένα νέο βασικό URL.

06Είναι φθηνότερο να νοικιάσετε έναν διακομιστή για ένα LLM από το να πληρώνετε ανά token;

Εξαρτάται από το πόσο το χρησιμοποιείτε. Ένα API χρεώνει ανά token και δεν κοστίζει τίποτα όταν είναι αδρανές· ο δικός σας διακομιστής κοστίζει το ίδιο κάθε μήνα και τίποτα περισσότερο όταν είναι απασχολημένος. Σταθερή κίνηση, πράκτορες που τρέχουν όλη μέρα, ομαδικές εργασίες και οτιδήποτε με κανόνες απορρήτου τείνουν να βγαίνουν κερδισμένα στο δικό τους μηχάνημα, ενώ ένα μοντέλο που καλείται δέκα φορές την ημέρα όχι. Τα μηνιαία ποσά για αυτό το άθροισμα βρίσκονται στους αποκλειστικούς διακομιστές GPU.

07Πόσα tokens ανά δευτερόλεπτο θα πάρω;

Δεν δημοσιεύουμε αριθμό, επειδή το μοντέλο, η κβαντοποίηση, η έκδοση του runtime, το μέγεθος της παρτίδας, τα μήκη του prompt και της απάντησης και ο αριθμός των χρηστών ταυτόχρονα μπορούν το καθένα να τον αλλάξουν αρκετές φορές. Η ανάγνωση του prompt περιορίζεται από την αριθμητική και η εγγραφή της απάντησης από το εύρος ζώνης μνήμης, και η ομαδοποίηση κατανέμει το κόστος σε αιτήματα μέχρι να γεμίσει η cache. Πείτε μας το μοντέλο σας, την κβαντοποίηση και τους αναμενόμενους χρήστες και θα μοιραστούμε ό,τι έχουμε πραγματικά δει.

08Μοιράζεται η GPU με κάποιον άλλο;

Όχι. Κάθε φυσικός διακομιστής έχει έναν πελάτη και το λειτουργικό σας σύστημα βλέπει την πλήρη GPU απευθείας. Κανένα επίπεδο εικονικής μηχανής, τεμαχισμός MIG, προφίλ vGPU ή χρονομερισμός δεν παρεμβάλλεται ανάμεσα σε εσάς και αυτήν, οπότε καμία άλλη εργασία δεν τη μοιράζεται και το φορτίο κανενός άλλου δεν μπορεί να αλλάξει την καθυστέρησή σας.

09Τι γίνεται αν το μοντέλο μου δεν χωρά σε μία GPU;

Τότε είναι μια κατασκευή πολλαπλών GPU, την οποία κοστολογούμε αντί να την πουλάμε από ένα ταμείο, επειδή το πόσες GPU χωρούν εξαρτάται από το πλάτος τους και τον προϋπολογισμό ισχύος του πλαισίου. Δύο GPU σας δίνουν το άθροισμα της μνήμης τους μόνο αν το runtime χωρίσει το μοντέλο και στις δύο, κάτι που κάθε σοβαρό runtime μπορεί να κάνει με κάποιο κόστος στην ταχύτητα. Η σελίδα μας για πολλαπλές GPU δείχνει πώς μοιάζει αυτό και το DGX Spark προσφέρει 128 GB κοινής μνήμης σε ένα μηχάνημα.

10Μπορώ να χρησιμοποιήσω τον διακομιστή για εκπαίδευση ή fine-tuning LLM;

Ναι, και προγραμματίστε πολύ περισσότερη μνήμη από την εξυπηρέτηση του ίδιου μοντέλου. Η εκπαίδευση κρατά τα βάρη, τις κλίσεις και την κατάσταση του βελτιστοποιητή για κάθε παράμετρο που ενημερώνει, συν τις ενεργοποιήσεις για το πέρασμα προς τα πίσω, οπότε ένα μοντέλο που εξυπηρετεί εύκολα σε μία GPU μπορεί να είναι αρκετές φορές πολύ μεγάλο για πλήρες fine-tuning εκεί. Οι μέθοδοι αποδοτικές ως προς τις παραμέτρους, όπως το LoRA, χρειάζονται μόνο ένα κλάσμα αυτής της επιπλέον μνήμης, γι’ αυτό τα περισσότερα fine-tuning στα μηχανήματά μας χρησιμοποιούν μία.

11Μπορώ να τρέξω μια GPU AMD και λειτουργεί το ROCm;

Ναι. Οι GPU AMD Instinct είναι από τις GPU με τη μεγαλύτερη μνήμη που τοποθετούμε και συχνά η καλύτερη αξία ανά gigabyte, αλλά το λογισμικό σας πρέπει να υποστηρίζει ROCm αντί για CUDA. Τα περισσότερα σύγχρονα runtimes εξαγωγής συμπερασμάτων το κάνουν, και ορισμένα εργαλεία γύρω τους ακόμα όχι. Πείτε μας το runtime σας πριν την παραγγελία και θα το ελέγξουμε για εσάς.

11 Επόμενα

Σελίδες που συνεχίζουν από εδώ

Έτοιμοι να τρέξετε το δικό σας μοντέλο;

Διαλέξτε τη GPU που ονόμασε το φύλλο εργασίας, επιλέξτε μια πόλη και παραγγείλετε. Χωρίς μακροχρόνιο συμβόλαιο, και αν τα νούμερά σας είναι κοντά, θα το διαστασιολογήσουμε μαζί σας πρώτα.

Αποκτήστε έναν διακομιστή GPU για το μοντέλο σας Επιστροφή στο φύλλο εργασίας