Η ανίχνευση αντικειμένων, η ταξινόμηση και η κατάτμηση είναι αυτά για τα οποία κατασκευάστηκαν αυτά τα εξαρτήματα. Τα δίκτυα είναι μικρά και κβαντισμένα σε int8 — της κατηγορίας MobileNet και EfficientDet, μεταγλωττισμένα για τη μονάδα εκ των προτέρων — και απαντούν σε χιλιοστά του δευτερολέπτου στο μηχάνημα που κρατά τα καρέ.
Και οι δύο μονάδες καταναλώνουν μονοψήφια watt, οπότε μια ροή κάμερας ή ένα ρεύμα αισθητήρων μπορεί να βαθμολογείται όλο το εικοσιτετράωρο χωρίς να απασχολεί τον κεντρικό επεξεργαστή. Οι πυρήνες παραμένουν ελεύθεροι για την εφαρμογή σας· η μονάδα κάνει τους υπολογισμούς.
Ένα μοντέλο με δισεκατομμύρια παραμέτρους δεν χωρά σε καμία από τις δύο μονάδες, σε κανέναν κβαντισμό, και αυτή η σελίδα δεν θα προσποιηθεί το αντίθετο. Η διαστασιολόγηση ενός γλωσσικού μοντέλου είναι δική της αριθμητική και βρίσκεται στο τι χρειάζεται για να εκτελεστεί ένα μοντέλο· οι διακριτές κάρτες που εκτελούν ένα, η καθεμία με τιμή δίπλα στο μηχάνημά της, βρίσκονται στους αποκλειστικούς διακομιστές GPU.
Η μονάδα Coral της Google φέρει το Edge TPU, το οποίο η Google βαθμολογεί στα 4 τρισεκατομμύρια πράξεις ανά δευτερόλεπτο σε ακέραιους 8-bit στα περίπου δύο watt. Αυτά είναι τα στοιχεία του κατασκευαστή, παρατιθέμενα όπως δημοσιεύτηκαν — όχι δική μας μέτρηση.
Εκτελεί μοντέλα TensorFlow Lite που έχουν κβαντιστεί σε int8 και μεταγλωττιστεί για το Edge TPU εκ των προτέρων. Αυτό το βήμα μεταγλώττισης είναι το ειλικρινές κόστος του εξαρτήματος: ένα μοντέλο είτε μεταγλωττίζεται για αυτό είτε όχι, και τα κλασικά δίκτυα αιχμής — ταξινόμηση, ανίχνευση, στάση — είναι αυτά που μεταγλωττίζονται.
Η Hailo βαθμολογεί το Hailo-8 έως και 26 tera-πράξεις ανά δευτερόλεπτο σε ακέραιους 8-bit — και πάλι το στοιχείο του κατασκευαστή, παρατιθέμενο όπως δημοσιεύτηκε. Είναι η μεγαλύτερη από τις δύο μονάδες κατά πολύ, και αυτή που πρέπει να ζητήσετε όταν ένα δίκτυο μεγέθους Coral δεν αρκεί.
Τα μοντέλα φτάνουν σε αυτό από το TensorFlow ή το ONNX μέσω του μεταγλωττιστή της Hailo, και ο χρόνος εκτέλεσής του τα εξυπηρετεί στο μηχάνημά σας. Όπως και με το Coral, το βήμα μεταγλώττισης αποφασίζει τι εκτελείται: αυτό είναι εξάρτημα νευρωνικού δικτύου, όχι υπολογιστικής γενικής χρήσης.
Η μονάδα δεν είναι βαθμίδα προϊόντος: είναι μία γραμμή στον διαμορφωτή της κασέτας, προστιθέμενη στο ποσό του ίδιου του μηχανήματος. Κανένας αριθμός δεν αναγράφεται εδώ, επειδή μια τιμή ανήκει δίπλα στο μηχάνημα με το οποίο έρχεται — ο ίδιος κανόνας που ακολουθεί κάθε σελίδα αυτής της οικογένειας.
Η υποδοχή M.2 βρίσκεται σε μια κασέτα HPE Moonshot. Διαμορφώστε την m710x (τετραπύρηνος Xeon E3-1585L v5) ή την m510 (Xeon D, οκτώ ή δεκαέξι πυρήνες) και προσθέστε τη μονάδα ως επιλογή.
Το μηχάνημα είναι αποκλειστικά δικό σας, με root. Ο χρόνος εκτέλεσης του κατασκευαστή — TensorFlow Lite με τη βιβλιοθήκη Edge TPU για το Coral, το HailoRT της Hailo για το Hailo-8 — εγκαθίσταται στο λειτουργικό σας σύστημα και παραμένει στην έκδοση που καθορίζετε. Τίποτα δεν αναβαθμίζεται κάτω από τα πόδια σας.
Το επόμενο βήμα δεν είναι μεγαλύτερη μονάδα· είναι μια διακριτή κάρτα σε ένα μηχάνημα κατασκευασμένο για να τη δεχτεί. Οι αποκλειστικοί διακομιστές GPU είναι κάθε κάρτα που τοποθετούμε, με τιμή δίπλα στο μηχάνημά της· οι πολλαπλές GPU και πολλαπλοί κόμβοι είναι περισσότερες από μία.
