Κάρτες γραφικών σε bare metal · Primcast LLC · από το 2004

Πες του ποια είναι η δουλειά. Σου λέει εκείνο την κάρτα.

Το δύσκολο στην αγορά ενός GPU server δεν είναι συνήθως η ίδια η αγορά. Είναι να ξέρεις ποια κάρτα αρκεί — και κάθε κατάλογος σε αυτόν τον κλάδο είναι ταξινομημένος με βάση το πόσο εντυπωσιακό είναι το εξάρτημα, αντί για το τι προσπαθείς να τρέξεις. Αυτός εδώ είναι ταξινομημένος ανάποδα. Πες ποια είναι η δουλειά και πόση μνήμη κάρτας χρειάζεται, και αυτό που μένει είναι η απάντηση, με πλήρη τιμή.

Βρες την κάρτα Είναι δική μου η κάρτα;

Ένας ενοικιαστής ανά μηχάνημα. Η κάρτα περνάει απευθείας στο λειτουργικό σου σύστημα — όχι κομμένη, όχι με κατανομή χρόνου, όχι εικονικοποιημένη.

Μετέτρεψε τις GPUs σου σε παθητικό μηνιαίο έσοδο

Έχεις αδρανείς server ή desktop GPU διατάξεις; Καταχώρισέ τες σήμερα στο marketplace της Primcast και κέρδισε σταθερά μηνιαία ενοίκια από ομάδες AI, προγραμματιστές και επιχειρήσεις που χρειάζονται υπολογιστική ισχύ επιπέδου παραγωγής.

Μετάβαση στο Marketplace

Ο πάγκος

Δύο ερωτήσεις.

Τίποτα δεν δεσμεύεται, δεν δημιουργείται λογαριασμός, και το ποσό δίπλα σε κάθε κάρτα είναι ολόκληρος ο server με αυτή την κάρτα μέσα — επεξεργαστής, μνήμη, δίσκοι σε mirror, απεριόριστη θύρα, μία διεύθυνση — όχι μόνο η κάρτα. Το μερίδιο της ίδιας της κάρτας τυπώνεται από κάτω της, ώστε να βλέπεις ποιο μισό των χρημάτων είναι ποιο.

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Εκτιμήσεις από τον ίδιο κατάλογο από τον οποίο χρεώνει το checkout, όχι προσφορές. Όπου λείπει ένα νούμερο μνήμης δεν μπορέσαμε να βρούμε κάποιο δημοσιευμένο από τον κατασκευαστή, οπότε η κάρτα το λέει αντί να μαντεύει — και αυτές οι κάρτες εξαφανίζονται μόλις μετακινήσεις το control μνήμης, γιατί το φιλτράρισμα σε έναν αριθμό που δεν έχουμε θα έκρυβε αθόρυβα εξαρτήματα που μπορεί να σου ταιριάζουν. Ρώτησέ μας και θα το διαβάσουμε από την κάρτα. Αρκετά εξαρτήματα χωρούν σε περισσότερα από ένα chassis σε περισσότερες από μία τιμές· το νούμερο εδώ είναι ο φθηνότερος τρόπος να έχεις αυτή την κάρτα, και ο configurator δείχνει τα υπόλοιπα.

Τι κρύβεται πίσω από αυτή τη λίστα

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

Μετρημένο από τον κατάλογο παραγγελιών τη στιγμή που σερβιρίστηκε αυτή η σελίδα, όχι πληκτρολογημένο. Αν μια κάρτα αποσυρθεί αύριο, αυτή η λωρίδα είναι μικρότερη αύριο. Το τι στέκεται σε ένα rack σήμερα το πρωί είναι διαφορετική ερώτηση, και στους άμεσους servers είναι εκεί που απαντιέται.

Η πρώτη ερώτηση που κάνουν όλοι

Είναι δική μου η κάρτα ή τη μοιράζομαι;

Δική σου. Ολόκληρη η κάρτα, ολόκληρο το μηχάνημα, κανείς άλλος πάνω του.

Η κάρτα βρίσκεται σε μια υποδοχή PCIe σε έναν φυσικό server που νοικιάζεται σε έναν λογαριασμό, και παραδίδεται απευθείας στο λειτουργικό σου σύστημα: δικός σου driver, δικό σου CUDA ή ROCm, δικές σου διεργασίες. Δεν υπάρχει hypervisor ανάμεσα σε σένα και σε αυτήν, κανένα διαμέρισμα MIG, κανένας χρονοπρογραμματιστής που αποφασίζει πότε είναι η σειρά σου, και κανένας δεύτερος ενοικιαστής του οποίου το batch job κάνει το latency του inference σου να κινείται στις τέσσερις το απόγευμα.

Το υπόλοιπο μηχάνημα είναι δικό σου με τους ίδιους όρους — κάθε πυρήνας, όλη η μνήμη, όλοι οι δίσκοι, root, και το HPE iLO ή Dell iDRAC του ίδιου του server για κονσόλα, εικονικά μέσα και τροφοδοσία. Αν ένας driver ρίξει το δίκτυο, μπορείς ακόμα να δεις την οθόνη.

  • Όχι κομμάτιΚανένα MIG, κανένα vGPU, καμία κλασματική κατανομή. Μία κάρτα, ένας ενοικιαστής.
  • Όχι ουράΤίποτα δεν προεκτοπίζει τη διεργασία σου. Η κάρτα είναι αδρανής όταν είσαι αδρανής.
  • Όχι containerBare metal. Φόρτωσε τα δικά σου kernel modules, κλείδωσε τη δική σου έκδοση driver.
  • Όχι μέτρησηΒάρη μέσα, checkpoints έξω, renders έξω. Τίποτα δεν μετράει τα bytes.

Γιατί τα παραπάνω νούμερα μοιάζουν έτσι

Η κάρτα είναι μια γραμμή στο τιμολόγιο, όχι βαθμίδα προϊόντος.

Οπουδήποτε αλλού μια GPU είναι βαθμίδα: νοικιάζεις “ένα H100 instance” και κάποιος άλλος έχει ήδη αποφασίσει πόσο πρέπει να σου κοστίζουν ο επεξεργαστής, η μνήμη, οι δίσκοι και το δίκτυο γύρω του. Εδώ τα δύο είναι ξεχωριστές γραμμές που προστίθενται — γι’ αυτό μια κάρτα σε οποιοδήποτε άκρο της παραπάνω λίστας μπαίνει στο ίδιο chassis, και πληρώνεις τη διαφορά μεταξύ των καρτών και τίποτα άλλο.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

Ο configurator στρογγυλοποιεί μια τιμή ανά δίσκο και πέφτει ένα ή δύο λεπτά έξω από αυτά τα νούμερα. Οι μεγαλύτεροι κύκλοι χρέωσης έχουν επιπλέον έκπτωση· η τιμολόγηση έχει τα πάντα σε ένα μέρος, και το παλαιότερο hardware, χαμηλότερη τιμή είναι το επιχείρημα για το γιατί υπάρχει καν το κάτω μέρος αυτής της λίστας.

Πόση μνήμη κάρτας

Η μόνη προδιαγραφή που αποφασίζει αν λειτουργεί.

Οι ταχύτητες ρολογιού και ο αριθμός των πυρήνων καθορίζουν πόσο γρήγορα λειτουργεί ένα μοντέλο. Η μνήμη της κάρτας αποφασίζει αν θα λειτουργήσει καθόλου — τα βάρη είτε ταιριάζουν είτε όχι, και μια κάρτα με δύο gigabyte λιγότερο δεν είναι πιο αργή, είναι μια κατάρρευση. Επομένως, αυτός είναι ο αριθμός που πρέπει να διευθετηθεί πριν από οποιονδήποτε άλλο, και είναι αυτός που σχεδόν κανείς δεν δημοσιεύει δίπλα σε μια τιμή.

Η αριθμητική είναι οι παράμετροι πολλαπλασιασμένες με bytes ανά παράμετρο. Τα βάρη των δεκαέξι bit είναι δύο bytes το καθένα, τα οκτώ bit είναι ένα, τα τέσσερα bit είναι μισό. Η κβαντοποίηση σε τέσσερα bit είναι αυτό που μετατρέπει μια μηχανή που δεν μπορεί να κρατήσει ένα μοντέλο σε μια που μπορεί, με κάποιο κόστος στην ποιότητα.

Αφήστε ελεύθερο χώρο. Τα παρακάτω στοιχεία είναι τα βάρη και τίποτα άλλο. Ο χρόνος εκτέλεσης, οι ενεργοποιήσεις και η προσωρινή μνήμη κλειδιού-τιμής για ένα μεγάλο πλαίσιο βρίσκονται όλα στην ίδια μνήμη και η προσωρινή μνήμη μεγαλώνει με κάθε διακριτικό στη συζήτηση. Ένα μοντέλο με βάρη 38 GB δεν εξυπηρετεί άνετα σε μια κάρτα 40 GB. Υπολογίστε ξανά ένα τέταρτο έως μισό επιπλέον ή ρωτήστε μας και θα το συγκρίνουμε με αυτό που πραγματικά χρησιμοποιείτε.

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Τι υπάρχει κάτω από την κάρτα

Τέσσερα σασί χρειάζονται ένα και δεν είναι εναλλάξιμα.

Κάθε μία παίρνει ένα διαφορετικό μέρος του καταλόγου και δίνει σε μια κάρτα μια διαφορετική σύνδεση με τον επεξεργαστή. Αυτή η τελευταία στήλη είναι εδώ επειδή κοστίζει χρήματα στους ανθρώπους και κανείς δεν την εκτυπώνει: ένας πελάτης μετακινήθηκε από τη μία γενιά κάρτας καταναλωτή στην επόμενη σε ένα δίαυλο τρίτης γενιάς και αποδόθηκε πιο αργά , και κατάλαβε γιατί πριν το κάνουμε εμείς. Έτσι είναι στη σελίδα.

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Τι αλλάζει στην πραγματικότητα η γενιά των λεωφορείων

Μια κάρτα που έχει σχεδιαστεί για έναν νεότερο δίαυλο λειτουργεί άψογα σε έναν παλαιότερο. Απλώς δεν μπορεί να μεταφέρει δεδομένα μέσω της σύνδεσης τόσο γρήγορα. Το αν αυτό έχει σημασία εξαρτάται αποκλειστικά από την εργασία.

  • Έχει σημασία πότε τα δεδομένα διασχίζουν συνεχώς τον δίαυλο — ένας βρόχος εκπαίδευσης που μεταδίδει παρτίδες από τη μνήμη του δίσκου ή του συστήματος, μια απεικόνιση που τροφοδοτεί δεδομένα σκηνής από την πλευρά της κάρτας σε κάθε καρέ, οτιδήποτε διαφεύγει από τη μνήμη της κάρτας.
  • Δεν έχει σημασία από τη στιγμή που τα βάρη είναι μόνιμα και παραμένουν εκεί — εξαγωγή συμπερασμάτων σε ένα μοντέλο που ταιριάζει, μετατροπή βίντεο, οι περισσότερες προσομοιώσεις. Ο σύνδεσμος μεταφέρει αιτήματα και αποτελέσματα, και αυτά είναι μικρά.
  • Ρωτήστε αν δεν είστε σίγουροι. Πείτε μας τον φόρτο εργασίας και θα σας πούμε ξεκάθαρα αν η πλατφόρμα αποτελεί εμπόδιο για αυτήν, ακόμη και όταν η ειλικρινής απάντηση είναι ότι μια φθηνότερη κάρτα σε μια καλύτερη σύνδεση είναι καλύτερη από μια ακριβότερη κάρτα σε μια χειρότερη.

Τι συνοδεύει

Όλα όσα κάνουν την κάρτα εύχρηστη και τίποτα που χρειάζεται να αγοράσετε.

  • Root, και η στοίβα προγραμμάτων οδήγησης είναι δική σας

    Εγκαθιστούμε ένα καθαρό λειτουργικό σύστημα και σας παραδίδουμε τα κλειδιά. Εσείς επιλέγετε την έκδοση του προγράμματος οδήγησης, την έκδοση CUDA ή ROCm και την έκδοση του framework και τα καρφιτσώνετε — που είναι το νόημα της ανακαίνισης και το αντίθετο ενός διαχειριζόμενου χρόνου εκτέλεσης που αναβαθμίζεται κάτω από εσάς την εβδομάδα πριν από την προθεσμία. Αν προτιμάτε να εγκαταστήσουμε το πρόγραμμα οδήγησης πριν από την παράδοση, πείτε το στην παραγγελία και θα το κάνουμε.

  • Η κονσόλα του μηχανήματος, σε ξεχωριστό δίκτυο

    HPE iLO ή Dell iDRAC: κονσόλα πληκτρολογίου και οθόνης, εικονικά μέσα, έλεγχος ισχύος, εύρυθμη λειτουργία υλικού και αρχείο καταγραφής υλικού. Ένα πρόγραμμα οδήγησης γραφικών που μεταφέρει την οθόνη ή το δίκτυο αποτελεί μάλλον πρόβλημα παρά αίτημα υποστήριξης, επειδή εξακολουθείτε να μπορείτε να παρακολουθείτε την εκκίνηση του μηχανήματος.

  • Ένα λιμάνι χωρίς μετρητές, και στις δύο κατευθύνσεις

    Δεν υπάρχει υπέρβαση του ορίου μεταφοράς και καμία γραμμή εξόδου σε κανένα τιμολόγιο. Σύνολα δεδομένων εισόδου, σημεία ελέγχου εξόδου, εμφανίσεις, ένα μοντέλο που παρέχεται σε πραγματικούς χρήστες — όλα μετακινούνται για την τιμή της μεταφοράς και ούτε ένα byte περισσότερο. Το απεριόριστο εύρος ζώνης είναι η σκάλα πάνω από την συμπεριλαμβανόμενη ταχύτητα και είναι η μεγαλύτερη διαφορά μεταξύ αυτού και ενός λογαριασμού από έναν υπερ-διαβαθμιστή.

  • Επανεγκαταστήστε το όσο συχνά θέλετε

    Εικόνες λειτουργικού συστήματος με ένα κλικ, επανεγκαταστάσιμες χωρίς αίτημα και χωρίς χρέωση, επομένως ένα πείραμα προγράμματος οδήγησης που έχει άσχημα αποτελέσματα σας κοστίζει είκοσι λεπτά. Το αντίστροφο DNS είναι δικό σας για επεξεργασία, περιλαμβάνεται IPv6 και πολλά άλλα. Το IPv4 είναι μια γραμμή καταλόγου και όχι μια διαπραγμάτευση.

  • Άνθρωποι, οποιαδήποτε ώρα

    Τηλέφωνο, ζωντανή συνομιλία και αιτήματα, που περιλαμβάνονται σε κάθε πρόγραμμα, και αντικατάσταση ελαττωματικού εξαρτήματος εντός τεσσάρων ωρών από την αναφορά του μέσω τηλεφώνου ή συνομιλίας. Η υποστήριξη έχει γραπτώς τους χρόνους απόκρισης και το πρόγραμμα πίστωσης.

  • Πέντε δωμάτια για να το βάλω

    Νέα Υόρκη, Μαϊάμι, Σαν Φρανσίσκο, Άμστερνταμ και Βουκουρέστι — και το πού βρίσκεται το μηχάνημα καθορίζει την καθυστέρηση σε όποιον το καλεί και σε ποιο καθεστώς προστασίας δεδομένων εμπίπτει. Τα κέντρα δεδομένων περιγράφουν τα κτίρια.

Πόσο σύντομα θα υπάρχει

Μεταξύ μισής ώρας και τριών εβδομάδων, και το ποια εξαρτάται από το πού βρίσκεται η κάρτα.

Όχι ένας αριθμός, επειδή δεν υπήρξε ποτέ ένας αριθμός. Μια κάρτα που έχει ήδη τοποθετηθεί σε ένα μηχάνημα που έχει ήδη τοποθετηθεί στο ράφι είναι μια παράδοση. Μια κάρτα που πρέπει να αγοραστεί είναι μια εντολή αγοράς. Το να σας πω ποια από αυτά ζητάτε — πριν πληρώσετε και όχι μετά — είναι η μόνη εκδοχή αυτού που αξίζει οτιδήποτε.

  1. ~30 λεπτά

    Η κάρτα βρίσκεται ήδη σε ένα μηχάνημα στο ράφι

    Τίποτα δεν έχει τοποθετηθεί και τίποτα δεν έχει μετακινηθεί. Το μηχάνημα απεικονίζεται και παραδίδεται. Οι άμεσοι διακομιστές είναι η λίστα με ό,τι υπάρχει εκεί αυτή τη στιγμή.

  2. 4–24 ώρες

    Μια κάρτα που κρατάμε τοποθετείται ή ένα μηχάνημα που έχει τοποθετηθεί σε rack αναδιατάσσεται

    Η συνηθισμένη περίπτωση για όλα όσα αναφέρονται σε αυτήν τη σελίδα. Το εξάρτημα βρίσκεται στην αποθήκη μας. Ένας τεχνικός το τοποθετεί, κατασκευάζει τη συστοιχία και εγκαθιστά το λειτουργικό σύστημα. Ένα μηχάνημα στο ράφι που είναι κοντά αλλά όχι ακριβώς — προστέθηκε μνήμη, αντικαταστάθηκε μονάδα δίσκου, η συστοιχία ξαναχτίστηκε γύρω από την επιλογή σας — είναι η ίδια δουλειά, που γίνεται στη θέση της χωρίς το μηχάνημα να φύγει από το rack.

  3. 5–10 εργάσιμες ημέρες

    Η κάρτα πρέπει να αγοραστεί

    Κάτι στη λίστα δεν είναι απόθεμα που έχουμε. Το παραγγέλνουμε και μετά το κατασκευάζουμε. Η σελίδα "Κατασκευή κατόπιν παραγγελίας" περιλαμβάνει μια ολόκληρη προδιαγραφή αυτού του είδους.

  4. 10–15 εργάσιμες ημέρες

    Η κάρτα είναι σπάνια

    Οι επιταχυντές τρέχουσας γενιάς λειτουργούν με βάση την κατανομή και η ημερομηνία είναι του διανομέα, όχι δική μας. Θα ονομάσουμε τον long pole πριν από τη δέσμευσή σας και όχι μετά. Όταν αγοράζεται υλικό για έναν πελάτη, ζητάμε τρεις μήνες εκ των προτέρων, επειδή είναι ένα μηχάνημα που δεν μπορούμε να εκμισθώσουμε ξανά εάν ο λογαριασμός κλείσει τη δεύτερη εβδομάδα.

Κάθε βήμα ξεκινά όταν η παραγγελία ολοκληρωθεί με την ολοκλήρωση της πληρωμής και τον έλεγχο απάτης, το οποίο είναι το μόνο βήμα για το οποίο δεν θα δώσουμε καμία υπόσχεση: οι περισσότερες παραγγελίες εκκαθαρίζονται μέσα σε λίγες ώρες, ενώ μια πρώτη παραγγελία από νέο λογαριασμό μπορεί να διαρκέσει περισσότερο. Γίνονται δεκτές κάρτες, PayPal, ACH και τραπεζικές συναλλαγές, όπως και τα κρυπτονομίσματα — τα οποία για μεγαλύτερες παραγγελίες είναι συνήθως τα πιο γρήγορα στην εκκαθάριση.

Έχει ξαναρωτηθεί

Οι δώδεκα ερωτήσεις για τις οποίες υπάρχει αυτή η σελίδα.

Παρμένες από όσα πραγματικά μας ρωτούν οι άνθρωποι στο chat και στα tickets, περίπου με τη σειρά που τα ρωτούν. Η πρώτη μας έχει κοστίσει παραγγελίες, γι' αυτό είναι πρώτη κι εδώ.

Η GPU είναι αποκλειστική ή κοινόχρηστη;
Αποκλειστική. Ένα φυσικό μηχάνημα, ένας λογαριασμός, και η κάρτα περνάει κατευθείαν στο λειτουργικό σας σύστημα. Χωρίς hypervisor, χωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU, χωρίς χρονοπρογραμματιστή time-slicing, και χωρίς φόρτο εργασίας κανενός άλλου πάνω στην κάρτα. Ό,τι μετρήσετε το πρώτο απόγευμα, αυτό κρατάτε.
Μπορώ να έχω περισσότερες από μία κάρτες σε ένα μηχάνημα;
Ναι, και είναι μια σύνθεση που κοστολογούμε αντί για ένα κουτάκι που τσεκάρετε. Ο αριθμός που χωράει εξαρτάται από το σασί, το φυσικό πλάτος της κάρτας και τον προϋπολογισμό ισχύος, οπότε η ειλικρινής απάντηση χρειάζεται τη συγκεκριμένη κάρτα. Ρωτήστε, και η απάντηση ονομάζει το σασί, τον αριθμό και τον χρόνο παράδοσης. Αρκετοί πελάτες τρέχουν δύο, και ο συνηθέστερος λόγος είναι η μνήμη παρά η ταχύτητα — δύο κάρτες των 48 GB χωρούν ένα μοντέλο που μία των 80 GB δεν χωράει. Περισσότερες από μία κάρτες ή μηχανήματα είναι η σελίδα για όλη αυτή την ερώτηση, συμπεριλαμβανομένου του τι αλλάζει όταν η δεύτερη κάρτα γίνεται δεύτερο μηχάνημα.
Ποια έκδοση driver και CUDA παίρνω;
Όποια εγκαταστήσετε. Αυτό είναι το νόημα του bare metal: το μηχάνημα φτάνει με καθαρό λειτουργικό σύστημα και root, και καρφιτσώνετε τον driver, την έκδοση CUDA ή ROCm και το build του framework σε ό,τι είχε δοκιμαστεί ο κώδικάς σας — και τίποτα δεν αναβαθμίζεται κάτω από τα πόδια σας. Αν προτιμάτε να εγκατασταθεί ο driver πριν την παράδοση, πείτε το στην παραγγελία και ονομάστε την έκδοση. Αν χρειάζεστε μια συγκεκριμένη έκδοση CUDA που υποστηρίζεται από μια συγκεκριμένη κάρτα, ρωτήστε πριν πληρώσετε και θα το ελέγξουμε αντί να μαντέψουμε.
Τι γίνεται αν η κάρτα που θέλω δεν είναι διαθέσιμη σήμερα;
Τότε τοποθετείται ή παραγγέλνεται, και σας λέμε ποιο από τα δύο πριν πληρώσετε. Μια κάρτα που έχουμε σε απόθεμα μπαίνει μέσα σε τέσσερις έως είκοσι τέσσερις ώρες. Μια κάρτα που πρέπει να αγοράσουμε θέλει πέντε έως δέκα εργάσιμες ημέρες, και ένας επιταχυντής τρέχουσας γενιάς σε κατανομή μπορεί να θέλει δέκα έως δεκαπέντε. Αυτή η σελίδα σκόπιμα δεν δείχνει αριθμό αποθέματος, γιατί μια κάρτα είναι εξάρτημα που τοποθετούμε παρά προϊόν που έρχεται και φεύγει — αλλά αν θέλετε ένα μηχάνημα σήμερα, οι instant servers είναι η λίστα με ό,τι πραγματικά στέκεται σε rack αυτή τη στιγμή.
Μπορώ να προσθέσω ή να αλλάξω την κάρτα αργότερα;
Ναι, στο μηχάνημα που ήδη έχετε — χωρίς μετεγκατάσταση, χωρίς επανεγκατάσταση, χωρίς νέα διεύθυνση. Είναι μια προγραμματισμένη επίσκεψη στο rack και μια σύντομη διακοπή όσο το μηχάνημα είναι κάτω, και το μηνιαίο ποσό αλλάζει κατά τη διαφορά μεταξύ των δύο καρτών. Μνήμη, δίσκοι και ταχύτητα θύρας αναβαθμίζονται με τον ίδιο τρόπο.
Τι συμβαίνει όταν χαλάσει μια κάρτα;
Αντικαθίσταται, και η συμφωνία βάζει χρόνο σε αυτό: τέσσερις ώρες από τη στιγμή που θα το αναφέρετε τηλεφωνικά ή με live chat. Μετά από αυτό σας οφείλεται πίστωση υπηρεσίας βάσει δημοσιευμένου προγράμματος και όχι κατόπιν αιτήματος. Η υποστήριξη έχει το πρόγραμμα και τον αριθμό τηλεφώνου γραπτώς.
Το bandwidth μετριέται; Πόσο κοστίζει το egress;
Τίποτα δεν μετριέται και το egress δεν κοστίζει τίποτα, σε κάθε ταχύτητα θύρας που πουλάμε. Δεν υπάρχει όριο μεταφοράς για υπέρβαση και καμία γραμμή υπέρβασης σε κανένα τιμολόγιο. Για εργασίες GPU αυτό είναι συνήθως το μεγαλύτερο κρυφό κόστος κάπου αλλού: μια εκπαίδευση που κατεβάζει ένα dataset και ανεβάζει checkpoints, ή ένα endpoint συμπερασμού που απαντά σε πραγματική κίνηση, μετακινεί πολλά bytes, και το egress ανά gigabyte σε έναν hyperscaler χρεώνεται για κάθε ένα από αυτά. Το unmetered bandwidth είναι η σκάλα πάνω από την περιλαμβανόμενη ταχύτητα θύρας.
Πώς συγκρίνεται αυτό με την ενοικίαση μιας GPU ανά ώρα;
Η αριθμητική το αποφασίζει. Μια ωριαία κάρτα είναι φθηνότερη αν η εργασία είναι εκρηκτική και πραγματικά σταματά — μερικές εκατοντάδες ώρες τον μήνα ή λιγότερο. Μετά από περίπου τα δύο τρίτα του μήνα δεν υπάρχει σύγκριση, και αυτό πριν από το egress, πριν από την αποθήκευση που πρέπει να επιμένει μεταξύ των εκτελέσεων, και πριν από τον χρόνο που η εργασία σας περνά σε ουρά για χωρητικότητα. Μηνιαία εδώ σημαίνει επίσης το ίδιο μηχάνημα, οι ίδιοι δίσκοι και η ίδια διεύθυνση τον επόμενο μήνα, κάτι που μετράει περισσότερο από όσο περιμένει κανείς μόλις κάτι μπει σε παραγωγή.
Μπορώ να κάνω mining ή να τρέχω κόμβους blockchain και αποκεντρωμένου υπολογισμού;
Ναι. Και τα δύο είναι συνηθισμένοι φόρτοι εργασίας εδώ και πάντα ήταν, και αρκετές από τις κάρτες σε αυτή τη σελίδα αγοράστηκαν ακριβώς γι' αυτό. Οι mining servers είναι η σελίδα για την περίπτωση του mining συγκεκριμένα, συμπεριλαμβανομένων των μερών που έχουν νόημα μόνο για αυτό.
Πώς πληρώνω και υπάρχει συμβόλαιο;
Κάρτα, PayPal, ACH, τραπεζικό έμβασμα ή κρυπτονόμισμα. Χωρίς συμβόλαιο: ο ένας μήνας είναι ο προεπιλεγμένος και μοναδικός όρος, οι κύκλοι τριών, έξι και δώδεκα μηνών έχουν έκπτωση, και η τιμή δεν ανεβαίνει στην ανανέωση. Το Crypto payments καλύπτει τα νομίσματα που δεχόμαστε· για μια μεγαλύτερη πρώτη παραγγελία ένα έμβασμα ή ένα stablecoin συνήθως εκκαθαρίζεται γρηγορότερα από μια κάρτα, κάτι που αξίζει να ξέρετε πριν ένας έλεγχος απάτης καθυστερήσει μια κατασκευή.
Μπορώ να πάρω επιστροφή χρημάτων αν δεν είναι αυτό που χρειαζόμουν;
Εντός τριών ημερολογιακών ημερών από την πρώτη ενεργοποίηση, αφού εξαντληθεί η αντιμετώπιση προβλημάτων — η πολιτική επιστροφών είναι η ακριβής διατύπωση. Γι' αυτό ακριβώς υπάρχουν οι ενότητες για το sizing και τη γενιά διαύλου παραπάνω: είναι φθηνότερο και για τους δύο μας αν αγοράσετε τη σωστή κάρτα την πρώτη φορά, και προτιμάμε να σας πείσουμε για μια μικρότερη παρά να σας πουλήσουμε μια επιστροφή.
Έχετε την πιο καινούργια κάρτα;
Μερικές φορές, και είναι η λάθος ερώτηση. Το πιο καινούργιο εξάρτημα είναι ένα σπάνιο εξάρτημα σε κατανομή, σε μια πλατφόρμα που δεν θα του δώσει τη γενιά διαύλου για την οποία σχεδιάστηκε, σε μια τιμή που υποθέτει ότι χρειάζεστε κάθε bit του. Η περισσότερη εργασία GPU εδώ δεν είναι εκπαίδευση ενός frontier μοντέλου — είναι εξυπηρέτηση ενός που ήδη χωράει, κωδικοποίηση βίντεο, rendering καρέ ή οδήγηση desktops, και για όλα αυτά η σωστή κάρτα είναι συνήθως δύο γενιές πίσω και το ένα τέταρτο των χρημάτων. Πείτε μας τη δουλειά. Αν η απάντηση είναι πραγματικά το πιο καινούργιο εξάρτημα θα το πούμε, και θα πούμε επίσης πόσο θα κοστίσει και πότε μπορεί να υπάρξει.

Πού να πάτε μετά

Οι σελίδες εκατέρωθεν αυτής.

Αυτή η σελίδα κατέχει μία ερώτηση: ποιες κάρτες τοποθετούμε και πόσο κοστίζουν. Ό,τι γειτνιάζει με αυτή την ερώτηση έχει τη δική του σελίδα, και αυτές είναι όλες, με τη σειρά που οι επισκέπτες αυτής της σελίδας πραγματικά κάνουν κλικ.

Ακόμα δεν είστε σίγουροι ποια κάρτα; και κάποιος που έχει διαστασιολογήσει ένα από αυτά στο παρελθόν θα απαντήσει — συμπεριλαμβανομένου του πότε η απάντηση είναι μια φθηνότερη κάρτα από αυτή για την οποία ήρθατε.

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.