Διακομιστές GPU · A100 και H100

Αποκλειστικός διακομιστής A100 H100 με ολόκληρη την GPU, ποτέ τμήμα της

Ένας αποκλειστικός διακομιστής A100 H100, όπως τον ενοικιάζουμε, είναι ένα ολόκληρο μηχάνημα με μία NVIDIA GPU που περνά απευθείας στο δικό σας λειτουργικό σύστημα: η A100 με 40 ή 80 GB, ή η H100 με 80 GB. Πληρώνετε ανά μήνα, δεν τρέχει κανείς άλλος σε αυτό και η θύρα είναι απεριόριστη, οπότε η μεταφορά συνόλων δεδομένων και σημείων ελέγχου δεν κοστίζει τίποτα επιπλέον.

Δείτε κάθε σύνθεση με τιμή A100 ή H100;
gpu / hbmΜηνιαία, πλήρες μηχάνημα από

Κανένας κωδικοποιητής βίντεο σε καμία από τις τρεις. Μνήμη ECC και στις τρεις.

Έχετε μια A100 ή H100 που κάθεται αδρανής;

Καταχωρίστε το μηχάνημα στην αγορά Primcast και ενοικιάστε το σε ανθρώπους που χρειάζονται την υπολογιστική ισχύ, μήνα με τον μήνα.

Καταχωρίστε το στην αγορά

01Σε τι χρησιμεύουν

Ένας διακομιστής H100 AI για εκπαίδευση, μια A100 για εξυπηρέτηση μοντέλων

Αυτές οι GPU κάνουν μία δουλειά: κρατούν ένα μοντέλο σε γρήγορη μνήμη και κάνουν τα μαθηματικά πάνω του. Αν εκπαιδεύετε ή κάνετε fine-tuning, ή απαντάτε σε αιτήματα από ένα μοντέλο που είναι ήδη εκπαιδευμένο, αυτό είναι το ράφι που πρέπει να κοιτάξετε.

01Ταχύτητα μνήμης

Διαβάζουν το μοντέλο γρήγορα

Μόλις ένα μοντέλο βρεθεί στη μνήμη της GPU, το πόσο γρήγορα απαντά εξαρτάται κυρίως από το πόσο γρήγορα μπορεί η GPU να διαβάσει τα βάρη του. Η A100 80 GB διαβάζει 1.935 GB/s, πάνω από το διπλάσιο των 864 GB/s της L40S.

02Εκπαίδευση

Η H100 προσθέτει FP8

Η Hopper φέρνει το Transformer Engine και το FP8, γι' αυτό οι άνθρωποι επιλέγουν την H100 για να εκπαιδεύσουν ή να κάνουν fine-tuning μεγάλα μοντέλα. Αν η εκτέλεσή σας πρέπει να τελειώσει νωρίτερα, όχι απλώς να τελειώσει, αυτός είναι ο λόγος να πληρώσετε γι' αυτήν.

03Μεγάλες εκτελέσεις

Φτιαγμένες για εβδομάδες φόρτου

Μνήμη με διόρθωση σφαλμάτων παντού και υλικό κέντρου δεδομένων φτιαγμένο να τρέχει στο μέγιστο. Για μια εκτέλεση εκπαίδευσης που διαρκεί εβδομάδες και κοστίζει πραγματικά χρήματα, ένα flipped bit που δεν παρατηρείτε ποτέ είναι ο κίνδυνος που αφαιρείτε.

04Ένας ένοικος

Ολόκληρη η GPU είναι δική σας

Χωρίς τμήμα MIG, χωρίς προφίλ vGPU, χωρίς κατανομή χρόνου και χωρίς άλλο πελάτη στο μηχάνημα. Ορισμένες προσφορές A100 στο cloud είναι ένα κλάσμα μίας GPU, οπότε ελέγξτε το πριν συγκρίνετε τιμές.

02Πριν παραγγείλετε

Δύο πράγματα που πρέπει να γνωρίζετε για τις NVIDIA H100 και A100

Δεν μπορούν να κωδικοποιήσουν βίντεο

Ο επίσημος πίνακας υποστήριξης κωδικοποίησης και αποκωδικοποίησης της NVIDIA’ αναφέρει μηδέν κωδικοποιητές NVENC στην A100 και στην H100. Μπορούν να αποκωδικοποιήσουν (πέντε μηχανές στην A100, επτά στην H100), αλλά κάθε καρέ που φεύγει από αυτές πρέπει να κωδικοποιηθεί από τον επεξεργαστή. Επίσης δεν έχουν εξόδους οθόνης, οπότε απομακρυσμένοι επιτραπέζιοι υπολογιστές, σταθμοί εργασίας και διακομιστές παιχνιδιών δεν ανήκουν εδώ.

Αν χρειάζεστε έξοδο βίντεο, η NVIDIA L40S με τρεις κωδικοποιητές AV1 είναι η GPU για ενοικίαση, και η σελίδα transcoding μας δείχνει πόσα ζωντανά κανάλια μεταφέρει μία.

Η A100 εξακολουθεί να είναι καλή αγορά

Είναι η προηγούμενη γενιά, και για ένα μοντέλο που χωράει, είναι συχνά η καλύτερη αγορά. Η A100 40 GB χωράει ένα μοντέλο 13 δισεκατομμυρίων παραμέτρων στα 8-bit με περιθώριο, και αυτή των 80 GB παίρνει ένα μοντέλο 30 δισεκατομμυρίων στα 8-bit.

Ενοικιάστε την H100 όταν ο κώδικάς σας χρησιμοποιεί FP8 και τους νεότερους πυρήνες tensor, ή όταν ο χρόνος μέχρι το αποτέλεσμα είναι αυτό για το οποίο πληρώνετε. Ενοικιάστε μια A100 όταν το ερώτημα είναι “χωράει και πόσο γρήγορα διαβάζει”.

03Προδιαγραφές

Προδιαγραφές NVIDIA H100 και A100

Στοιχεία από τα φυλλάδια προδιαγραφών της NVIDIA’ και τους δημοσιευμένους πίνακες προδιαγραφών της. Όπου δεν μπορέσαμε να αντιστοιχίσουμε ένα στοιχείο με την ακριβή πλακέτα που τοποθετούμε, ο πίνακας το παραλείπει.

H100 80GB

Architecture

Hopper

Card memory

80 GB HBM2e

Board power

350 W

Card interface

PCIe Gen 5 x16

Hardware video encoders

None. Decode only (7 engines)

Error-correcting memory

Yes

A100 80GB

Architecture

Ampere

Card memory

80 GB HBM2e

CUDA cores

6,912

Memory bandwidth

1,935 GB/s

Board power

300 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

None. Decode only (5 engines)

Error-correcting memory

Yes

A100 40GB

Architecture

Ampere

Card memory

40 GB HBM2

CUDA cores

6,912

Memory bandwidth

1,555 GB/s

Board power

250 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

None. Decode only (5 engines)

Error-correcting memory

Yes

Γιατί η H100 δεν εμφανίζει αριθμό πυρήνων ή εύρος ζώνης: η καταχώρισή μας στο κατάστημα για αυτήν αναμειγνύει δύο πλακέτες, τη μονάδα SXM που βιδώνεται σε μια βασική πλακέτα και την PCIe GPU που μπαίνει στους διακομιστές μας. Η μνήμη HBM2e 80 GB είναι της PCIe GPU’, και αυτή είναι που παίρνετε. Ρωτήστε στο chat και θα σας πούμε ακριβώς ποια πλακέτα μπαίνει στο μηχάνημά σας.

04Επιλογή

A100 εναντίον H100: ποια να ενοικιάσετε

Κάθε GPU είναι μια μηνιαία γραμμή πάνω από τον διακομιστή στον οποίο μπαίνει, οπότε το πραγματικό ερώτημα είναι αν το βήμα προς τα πάνω αξίζει για τη δουλειά σας. Ο πίνακας βάζει τη μνήμη και το μηνιαίο κόστος δίπλα-δίπλα.

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
A100 40GB40 GB HBM2$699$772.47
A100 80GB80 GB HBM2e$899$972.47
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,299$1,382.67
H100 80GB80 GB HBM2e$1,599$1,682.67

Η RTX PRO 6000 Blackwell είναι στον πίνακα επίτηδες: χωράει 96 GB, περισσότερα από οποιαδήποτε GPU σε αυτή τη σελίδα. Χάνετε το NVLink και λίγη ταχύτητα μνήμης, και κερδίζετε τέσσερις κωδικοποιητές βίντεο. Αν το μόνο σας ερώτημα είναι αν το μοντέλο χωράει, διαβάστε τη σελίδα της RTX PRO 6000 πριν αποφασίσετε.

Η επιλογή μεταξύ των δύο A100 αφορά πρώτα τη χωρητικότητα. Αν το μοντέλο σας και το πλαίσιό του χωράνε στα 40 GB με ένα πέμπτο να περισσεύει, πάρτε τη μικρότερη. Αν είστε κοντά στο όριο, η A100 80 GB σας δίνει τον χώρο και διαβάζει επίσης γρηγορότερα.

05Το μηχάνημα

Ποιος διακομιστής A100 ή μηχάνημα H100, και η σύνδεση PCIe που παίρνει

Η A100 είναι GPU PCIe Gen 4 και η H100 είναι Gen 5, ενώ οι πλατφόρμες διακομιστών μας είναι Gen 3 και Gen 4. Έτσι η H100 δεν παίρνει ποτέ εδώ τον πλήρη δίαυλο για τον οποίο σχεδιάστηκε, και προτιμούμε να το ξέρετε τώρα.

Intel Xeon Silver / Gold

H100 80GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 5.

A quarter or less of the bus the card was designed for. Worth avoiding when the work crosses the slot every step, and irrelevant once the weights are resident.

AMD EPYC

H100 80GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 5.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon E5-2600 v3/v4

A100 80GB, A100 40GB

Slot: PCIe 3.0, 40 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon Silver / Gold

A100 80GB, A100 40GB

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

A100 80GB, A100 40GB

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

Το αν αυτό έχει σημασία εξαρτάται από τη δουλειά σας. Ένας διακομιστής συμπερασμού με τα βάρη ήδη φορτωμένα σχεδόν δεν αγγίζει την υποδοχή. Ένας βρόχος εκπαίδευσης που τραβάει μια νέα παρτίδα από τη μνήμη του host σε κάθε βήμα το αισθάνεται σε κάθε βήμα. Δεν είστε σίγουροι ποιο από τα δύο είστε; Πείτε μας τι θα τρέξετε και θα σας κατευθύνουμε στο μηχάνημα.

06Διαστασιολόγηση

Τι χωράει σε 80 GB μνήμης GPU

Μόνο βάρη, για την A100 80 GB και την H100. Αφήστε χώρο για το πλαίσιο και τον χρόνο εκτέλεσης από πάνω.

Weights only, rounded up. Fits means the card’s 80 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — fits14 GB — fits8 GB — fits
30-34 billion parameters68 GB — does not fit34 GB — fits19 GB — fits
70 billion parameters140 GB — does not fit70 GB — does not fit38 GB — fits

Στην A100 40 GB, ένα μοντέλο 30 έως 34 δισεκατομμυρίων χωράει με χώρο μόνο στα 4-bit. Ένα μοντέλο 70 δισεκατομμυρίων στα 16-bit δεν χωράει σε καμία μεμονωμένη GPU που πουλάμε· αυτό απαιτεί περισσότερες από μία GPU, και εκεί μπαίνει το NVLink. Για να το υπολογίσετε αντίστροφα, από το μοντέλο σας στη GPU, χρησιμοποιήστε τη σελίδα διαστασιολόγησης μνήμης LLM.

07Τιμές

Φιλοξενία GPU A100 και τιμές H100, με το μηχάνημα

Η GPU είναι μία γραμμή στο τιμολόγιό σας και ο διακομιστής μία άλλη. Και οι δύο προέρχονται από τον ίδιο κατάλογο παραγγελιών που χρησιμοποιεί το ταμείο, οπότε κάθε τιμή παρακάτω ανήκει στο ακριβές μηχάνημα δίπλα της.

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
A100 40GBIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0		$699$772.47
Configure this build →
A100 40GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0		$699$782.67
Configure this build →
A100 40GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0		$699$916.59
Configure this build →
A100 80GBIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0		$899$972.47
Configure this build →
A100 80GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0		$899$982.67
Configure this build →
A100 80GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0		$899$1,116.59
Configure this build →
H100 80GBIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0		$1,599$1,682.67
Configure this build →
H100 80GBAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0		$1,599$1,816.59
Configure this build →

Η θύρα είναι απεριόριστη και προς τις δύο κατευθύνσεις χωρίς χρέωση εξερχόμενης κίνησης, και σε αυτού του είδους τη δουλειά αυτό είναι συχνά ο μεγαλύτερος λογαριασμός αλλού. Μια διεύθυνση IPv4 έρχεται με τον διακομιστή, δεν υπάρχει συμβόλαιο και πληρώνετε έναν μήνα τη φορά. Για κάθε άλλη GPU που τοποθετούμε, με τιμή με τον ίδιο τρόπο, δείτε όλους τους διακομιστές GPU με τιμές.

08Παράδοση και βοήθεια

Πόσο σύντομα το παίρνετε, και ποιος απαντά

Αυτές οι GPU είναι τα εξαρτήματα που είναι πιο πιθανό να αγοραστούν για εσάς. Σας λέμε ποιο από αυτά τα τέσσερα ισχύει πριν πληρώσετε.

  1. Περίπου 30 λεπτά

    Ήδη σε rack

    Ένα μηχάνημα με την GPU τοποθετημένη στέκεται σε ένα rack. Είναι δικό σας περίπου 30 λεπτά μετά την έγκριση της παραγγελίας.

  2. 4 έως 24 ώρες

    Κρατάμε την GPU

    Τοποθετούμε μια GPU που έχουμε στο ράφι στον διακομιστή που επιλέξατε.

  3. 5 έως 10 εργάσιμες ημέρες

    Την αγοράζουμε

    Η GPU παραγγέλλεται για εσάς από διανομέα και στη συνέχεια τοποθετείται στον διακομιστή σας.

  4. 10 έως 15 εργάσιμες ημέρες

    Σε κατανομή

    Οι τρέχοντες επιταχυντές μερικές φορές διατίθενται με δελτίο από τον διανομέα, και αυτή είναι η μεγαλύτερη αναμονή που αναφέρουμε.

Ερωτήσεις πριν ή μετά την παραγγελία πηγαίνουν στο chat μας. Ένας βοηθός AI απαντά σε δευτερόλεπτα και μπορεί να κοιτάξει τον λογαριασμό σας και τον διακομιστή σας, και ένα άτομο από την ομάδα μας παρεμβαίνει όποτε το ζητήσετε. Μηχανήματα που είναι σε rack και έτοιμα αυτή τη στιγμή βρίσκονται στους άμεσους διακομιστές.

09Ερωτήσεις

Ερωτήσεις σχετικά με την ενοικίαση ενός A100 ή H100

01Μπορώ να εκπαιδεύσω μοντέλα τεχνητής νοημοσύνης σε έναν μόνο διακομιστή H100;

Ναι. Ένας H100 με 80 GB εκπαιδεύει και προσαρμόζει μοντέλα των οποίων τα βάρη, οι κλίσεις και η κατάσταση του βελτιστοποιητή χωρούν σε αυτή τη μνήμη, και το FP8 μέσω του Transformer Engine επεκτείνει τις δυνατότητές του. Η πλήρης εκπαίδευση ενός μεγάλου μοντέλου συνήθως απαιτεί περισσότερες από μία GPU. Πολλές GPU σε ένα μηχάνημα, ή πολλά μηχανήματα μαζί, είναι μια κατασκευή για την οποία δίνουμε προσφορά: δείτε διακομιστές πολλαπλών GPU και πολλαπλών κόμβων.

02Είναι το ίδιο με ένα NVIDIA DGX H100;

Όχι. Το DGX H100 είναι το δικό σύστημα της NVIDIA με οκτώ μονάδες H100 SXM σε μία βασική πλακέτα. Αυτό που ενοικιάζουμε είναι μία GPU H100 PCIe σε έναν τυπικό διακομιστή, που ταιριάζει σε εκπαίδευση μίας GPU, προσαρμογή και συμπερασματολογία. Αν χρειάζεστε πολλές GPU συνδεδεμένες μεταξύ τους, δείτε διακομιστές πολλαπλών GPU.

03Μπορώ να κάνω μετατροπή βίντεο σε έναν A100 ή έναν H100;

Όχι σε επίπεδο υλικού. Καμία από τις δύο GPU δεν διαθέτει κωδικοποιητή βίντεο, οπότε η κωδικοποίηση πέφτει στον επεξεργαστή και εκτελείται με την ταχύτητα του επεξεργαστή. Διαθέτουν όμως αποκωδικοποίηση, οπότε μια εργασία που διαβάζει βίντεο και εξάγει κάτι άλλο λειτουργεί μια χαρά. Για έξοδο βίντεο, ενοικιάστε τον L40S, που διαθέτει τρεις κωδικοποιητές AV1.

04Η GPU χωρίζεται σε στιγμιότυπα MIG ή είναι κοινόχρηστη;

Όχι. Παίρνετε την πλήρη GPU περασμένη στο δικό σας λειτουργικό σύστημα, σε ένα μηχάνημα που δεν χρησιμοποιεί κανείς άλλος. Και οι δύο GPU υποστηρίζουν MIG, οπότε μπορείτε να κάνετε κατάτμηση μόνοι σας αν αυτό ταιριάζει στην εργασία σας. Αυτή είναι δική σας επιλογή, που γίνεται στο δικό σας μηχάνημα.

05Να ενοικιάσω τον A100 40 GB ή 80 GB;

Ξεκινήστε από τη χωρητικότητα. Αν το μοντέλο και τα συμφραζόμενά του χωρούν σε 40 GB με περίπου το ένα πέμπτο ελεύθερο, η μικρότερη GPU είναι η καλύτερη αγορά. Ο A100 80 GB διαβάζει επίσης πιο γρήγορα, 1.935 GB/s έναντι 1.555 GB/s, οπότε προτιμήστε τον αν είστε κοντά στο όριο μνήμης ή ταχύτητας.

06Ποιον οδηγό NVIDIA και ποια έκδοση CUDA θα πάρω;

Αυτούς που θα εγκαταστήσετε εσείς. Ο διακομιστής φτάνει με καθαρό λειτουργικό σύστημα και πρόσβαση root, και εσείς καθορίζετε τις εκδόσεις οδηγού, CUDA και πλαισίου στις οποίες δοκιμάστηκε ο κώδικάς σας. Τίποτα δεν αναβαθμίζεται εν αγνοία σας. Αν θέλετε τον οδηγό εγκατεστημένο πριν την παράδοση, πείτε το στην παραγγελία και αναφέρετε την έκδοση.

07Μπορώ να βάλω δύο A100 ή H100 σε έναν διακομιστή;

Ναι, ως κατασκευή με προσφορά και όχι ως επιλογή στο ταμείο. Και οι δύο GPU υποστηρίζουν NVLink, οπότε δύο από αυτές μπορούν να μοιράζονται εργασία μέσω μιας γρήγορης γέφυρας. Ποιο πλαίσιο, πόσες GPU και ο χρόνος παράδοσης εξαρτώνται από τη GPU, οπότε πείτε μας τι σκοπεύετε να εκτελέσετε και θα σας απαντήσουμε με την κατασκευή.

08Πόσο σύντομα μπορώ να έχω έναν διακομιστή A100 ή H100;

Εξαρτάται από το πού βρίσκεται η GPU. Περίπου 30 λεπτά μετά την έγκριση αν ένα μηχάνημα σε rack την έχει ήδη, 4 έως 24 ώρες αν έχουμε τη GPU σε απόθεμα, 5 έως 10 εργάσιμες ημέρες αν την παραγγείλουμε, και 10 έως 15 εργάσιμες ημέρες για GPU με κατανομή. Θα ενημερωθείτε ποια περίπτωση ισχύει πριν πληρώσετε. Τα μηχανήματα σε rack αναφέρονται στους άμεσους διακομιστές.

Επιλέξτε τη GPU και μετά το μηχάνημα γύρω της

Κάθε κατασκευή A100 και H100 κοστολογείται παραπάνω μαζί με τον διακομιστή της. Επιλέξτε μία, διαμορφώστε την και η παραγγελία θα δείξει το πλήρες μηνιαίο σύνολο πριν πληρώσετε.

Επιλέξτε κατασκευή Συγκρίνετε όλες τις GPU