GPU & AI · Edge inference
Ένας edge AI accelerator είναι ένα μικρό τσιπ που κάνει τους υπολογισμούς ενός εκπαιδευμένου μοντέλου, ώστε να μην χρειάζεται να τους κάνει ο επεξεργαστής σας. Προσθέστε ένα Hailo-8 ή ένα Google Coral Edge TPU σε έναν δικό σας dedicated server και τα καρέ βίντεο, το μοντέλο και οι απαντήσεις παραμένουν όλα σε ένα μηχάνημα.
Εκτελεί συμπαγή μοντέλα όρασης γρήγορα και με πολύ λίγη ενέργεια. Δεν εκτελεί γλωσσικά μοντέλα, και αυτό το λέμε πριν παραγγείλετε.
Τα νούμερα TOPS είναι της Google και της Hailo. Οι τιμές διαβάζονται από τον κατάλογο παραγγελιών μας.
01Πριν παραγγείλετε
Αυτά τα modules φτιάχτηκαν για ένα είδος δουλειάς: να κοιτάζουν εικόνες και βίντεο και να λένε τι υπάρχει μέσα τους. Βάλτε τα σε αυτή τη δουλειά και είναι γρήγορα και φθηνά στη λειτουργία. Βάλτε τα σε οτιδήποτε άλλο και θα απογοητευτείτε.
Ξεπεράσατε το module; Το επόμενο βήμα είναι μια πλήρης GPU σε έναν server φτιαγμένο για αυτήν. Κάθε GPU που τοποθετούμε κοστολογείται δίπλα στο μηχάνημά της στους GPU dedicated servers.
02Επιλέγοντας το module
Για ένα νέο έργο, διαλέξτε το Hailo-8. Έχει ονομαστική απόδοση πάνω από έξι φορές μεγαλύτερη από του Coral, δέχεται μοντέλα από περισσότερα frameworks και ο κατασκευαστής του εξακολουθεί να εκδίδει νέες εκδόσεις runtime για αυτό. Επιλέξτε το Coral όταν έχετε ήδη μοντέλα μεταγλωττισμένα για το Edge TPU και θέλετε να συνεχίσουν να λειτουργούν.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Ονομαστική απόδοση | up to 26 TOPS int8 | 4 TOPS int8 |
| Κατανάλωση, σύμφωνα με τον κατασκευαστή | Δεν δημοσιεύεται νούμερο στη σελίδα του module | Περίπου 2 TOPS ανά watt, άρα γύρω στα δύο watt στο μέγιστο |
| Μοντέλα από | PyTorch, ONNX, Keras και TensorFlow, συμπεριλαμβανομένου του TensorFlow Lite | TensorFlow Lite, κβαντισμένο σε int8 |
| Μεταγλώττιση με | Hailo Dataflow Compiler | Edge TPU Compiler |
| Runtime στον server σας | HailoRT 4.x, από το branch hailo8 | libedgetpu με τον οδηγό PCIe |
| Λογισμικό το 2026 | Συντηρείται: το HailoRT 4.24.0 κυκλοφόρησε τον Ιούνιο του 2026 | Η Google αρχειοθέτησε τα repositories· τα community builds το κρατούν σε λειτουργία |
| Προστίθεται στον server σας | $13.99/μήνα | $13.99/μήνα |
Το κύριο branch του HailoRT και οι εκδόσεις 5.x του προορίζονται για τα νεότερα Hailo-10 και Hailo-15. Το Hailo-8 τρέχει στη σειρά 4.x από το branch hailo8. Εγκαταστήστε ένα πακέτο 5.x και το module δεν θα εντοπιστεί.
Η Google έχει κάνει τα repositories libedgetpu, PyCoral και Edge TPU μόνο για ανάγνωση στο GitHub. Τα community forks εξακολουθούν να μεταγλωττίζουν το runtime και τον οδηγό PCIe για τρέχοντες πυρήνες και εκδόσεις TensorFlow, οπότε μια λειτουργική εγκατάσταση Coral παραμένει βιώσιμη. Μην περιμένετε νέα χαρακτηριστικά από την Google.
03Οι διακομιστές
Ο επιταχυντής μπαίνει στην υποδοχή M.2 μιας κασέτας HPE Moonshot, ενός συμπαγούς διακομιστή με δικό του επεξεργαστή, μνήμη και δίσκο NVMe. Διαλέξτε την κασέτα για τη δουλειά γύρω από το μοντέλο και προσθέστε τη μονάδα ως μία γραμμή στον διαμορφωτή της.
AΕργασίες βίντεο και κάμερας
Ένας τετραπύρηνος Intel Xeon E3-1585L v5 με γραφικά Intel Iris Pro P580, του οποίου η μηχανή Quick Sync μπορεί να αποκωδικοποιεί το βίντεο ώστε οι πυρήνες να μένουν ελεύθεροι. Το φυσικό σπίτι για αναλύσεις κάμερας.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BΠερισσότεροι πυρήνες γύρω από το μοντέλο
Ένας Intel Xeon D με 8 ή 16 πυρήνες και χώρο για περισσότερη μνήμη. Διαλέξτε τον όταν ο κώδικας γύρω από το μοντέλο είναι η μεγαλύτερη δουλειά: παρακολούθηση, βάσεις δεδομένων, πολλές ροές ταυτόχρονα.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Και οι δύο διακομιστές διατίθενται σε Νέα Υόρκη, Μαϊάμι, Σαν Φρανσίσκο, Άμστερνταμ και Βουκουρέστι. Οι παραγγελίες σε Άμστερνταμ και Βουκουρέστι χρεώνονται σε ευρώ, με τα ίδια ποσά.
Κάθε ένας περιλαμβάνει μια θύρα 1 Gbps που δεν μετρά τίποτα και δεν μοιράζεται κανένας άλλος πελάτης στον μεταγωγέα πρόσβασης, πρόσβαση root και μια κονσόλα που ανοίγετε από τον πίνακα ελέγχου αν η ρύθμιση δικτύου πάει στραβά.
Η χρέωση είναι μηνιαία χωρίς συμβόλαιο. Βλέπετε το πλήρες μηνιαίο σύνολο στον διαμορφωτή πριν πληρώσετε· όπου ισχύει φόρος πωλήσεων ΗΠΑ, το ταμείο τον προσθέτει.
04Ξεκινώντας
Ανοίξτε τον m710x ή τον m510, επιλέξτε μνήμη, αποθήκευση, πόλη και λειτουργικό σύστημα και μετά διαλέξτε τη μονάδα στην ενότητα Tensor Processing Unit. Μία μονάδα ανά διακομιστή.
Ένα μηχάνημα με πρόσθετη μονάδα είναι μια προσαρμοσμένη σύνθεση, που παραδίδεται σε 4 έως 24 ώρες. Ο εγκαταστάτης μας εντοπίζει τη μονάδα στον δίαυλο PCI και την προσθέτει στο αρχείο υλικού του διακομιστή, ώστε η υποστήριξή μας να βλέπει ότι είναι εκεί.
Εγκαταστήστε τον οδηγό και τον χρόνο εκτέλεσης του κατασκευαστή στο σύστημά σας και μετά φορτώστε το μεταγλωττισμένο μοντέλο σας. Η μονάδα εμφανίζεται στον δίαυλο PCI αμέσως.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'Κολλήσατε σε κάποιον οδηγό; Η υποστήριξή μας με τεχνητή νοημοσύνη στη ζωντανή συνομιλία απαντά σε δευτερόλεπτα και μπορεί να δει τον διακομιστή και τον λογαριασμό σας όσο μιλάτε. Ζητήστε έναν άνθρωπο οποιαδήποτε στιγμή και κάποιος από την ομάδα μας αναλαμβάνει.
05Ερωτήσεις
Ένας διακομιστής TPU είναι ένας υπολογιστής με μια μονάδα επεξεργασίας τανυστών, ένα τσιπ φτιαγμένο μόνο για τα μαθηματικά μέσα στα νευρωνικά δίκτυα. Εδώ αυτό σημαίνει έναν αποκλειστικό διακομιστή με ένα Google Coral Edge TPU στην υποδοχή M.2 του. Τοποθετούμε επίσης το Hailo-8, που κάνει την ίδια δουλειά και βαθμολογείται ως ταχύτερο.
Όχι. Τα Cloud TPU είναι μεγάλα τσιπ στα κέντρα δεδομένων της ίδιας της Google και μόνο το Google Cloud τα νοικιάζει. Αυτό που τοποθετούμε εμείς είναι το Edge TPU, το μικρό τσιπ συμπερασμού της Google, σε έναν διακομιστή που έχετε αποκλειστικά δικό σας.
Όχι. Ένα γλωσσικό μοντέλο χρειάζεται gigabytes γρήγορης μνήμης ακόμη και όταν συμπιεστεί σκληρά, και οι δύο μονάδες είναι φτιαγμένες γύρω από λίγα megabytes στο τσιπ. Για ένα γλωσσικό μοντέλο χρειάζεστε μια GPU: τι χρειάζεται για να τρέξετε ένα LLM υπολογίζει το μέγεθος και αποκλειστικοί διακομιστές GPU παραθέτει κάθε GPU που τοποθετούμε με την τιμή της.
Στα χαρτιά, ναι. Το νούμερο της ίδιας της Hailo για το Hailo-8 είναι έως 26 TOPS· της Google για το Edge TPU είναι 4 TOPS, και τα δύο μετρημένα σε ακέραιους 8-bit. Η πραγματική ταχύτητα εξαρτάται από το μοντέλο σας και από το πόσο καλά μεταγλωττίζεται, οπότε δοκιμάστε το δικό σας δίκτυο πριν σχεδιάσετε χωρητικότητα γύρω από οποιοδήποτε νούμερο.
Όχι. Κάθε κασέτα δέχεται μία μονάδα. Για περισσότερο συμπερασμό, παραγγείλτε πολλές κασέτες και μοιράστε τις ροές κάμερας σε αυτές· η καθεμία είναι ξεχωριστός διακομιστής με δική της θύρα και δική της διεύθυνση.
Όχι ως ένα προϊόν. Αυτό που μπορείτε να κάνετε είναι να παραγγείλετε όσες κασέτες επιταχυντή χρειάζεστε στην ίδια πόλη. Όταν η δουλειά χρειάζεται περισσότερα από όσα μπορούν να δώσουν οι μικρές μονάδες, πολλές GPU σε ένα μηχάνημα ή σε πολλά μηχανήματα βρίσκονται στους διακομιστές πολλαπλών GPU.
Ένα πρόσφατο Linux. Το Ubuntu είναι η προεπιλεγμένη σύνθεση στον διαμορφωτή και οι δύο κατασκευαστές δημοσιεύουν πρώτα τους οδηγούς τους για Linux. Η Hailo υποστηρίζει επίσης Windows. Εγκαταστήστε τον χρόνο εκτέλεσης μόνοι σας μετά την παράδοση, στην έκδοση για την οποία μεταγλωττίστηκε το μοντέλο σας, και παραμένει σε αυτή την έκδοση μέχρι να την αλλάξετε.
Εκτελέστε lspci αφού συνδεθείτε: αναζητήστε 1e60:2864 (Hailo-8) ή 1ac1:089a (Coral). Ο εγκαταστάτης μας ελέγχει τον ίδιο δίαυλο PCI και προσθέτει τη μονάδα στη λίστα υλικού του διακομιστή, την οποία η υποστήριξή μας μπορεί να διαβάσει αν χρειαστείτε ποτέ βοήθεια.
06Κάπου αλλού να κοιτάξετε
Επιλέξτε την κασέτα, προσθέστε ένα Hailo-8 ή ένα Coral και ο διακομιστής είναι δικός σας σε 4 έως 24 ώρες.