GPU & IA · Inférence en périphérie
Un accélérateur IA en périphérie est une petite puce qui effectue les calculs d’un modèle entraîné, pour que votre processeur n’ait pas à le faire. Ajoutez un Hailo-8 ou un Google Coral Edge TPU à un serveur dédié qui vous est propre, et les images vidéo, le modèle et les réponses restent tous sur une seule machine.
Il exécute rapidement des modèles de vision compacts avec une très faible consommation. Il n’exécute pas de modèles de langage, et nous vous le disons avant que vous ne commandiez.
Les chiffres TOPS sont ceux de Google et de Hailo. Les prix sont lus dans notre catalogue de commande.
01Avant de commander
Ces modules ont été conçus pour un seul type de tâche : regarder des images et des vidéos et dire ce qu’elles contiennent. Confiez-leur cette tâche et ils sont rapides et économiques à faire tourner. Confiez-leur autre chose et vous serez déçu.
Le module est devenu trop petit ? L’étape suivante est un GPU complet dans un serveur conçu pour cela. Chaque GPU que nous installons est affiché avec son prix à côté de sa machine sur serveurs dédiés GPU.
02Choisir le module
Pour un nouveau projet, choisissez le Hailo-8. Il est annoncé pour plus de six fois le débit du Coral, il accepte des modèles issus de davantage de frameworks, et son fabricant publie encore de nouvelles versions de son environnement d’exécution. Choisissez le Coral lorsque vous avez déjà des modèles compilés pour l’Edge TPU et que vous voulez qu’ils continuent de fonctionner.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Débit annoncé | jusqu’à 26 TOPS int8 | 4 TOPS int8 |
| Consommation, selon le fabricant | Aucun chiffre publié sur la page du module | Environ 2 TOPS par watt, soit à peu près deux watts à pleine charge |
| Modèles issus de | PyTorch, ONNX, Keras et TensorFlow, y compris TensorFlow Lite | TensorFlow Lite, quantifié en int8 |
| Compilé avec | Hailo Dataflow Compiler | Edge TPU Compiler |
| Environnement d’exécution sur votre serveur | HailoRT 4.x, depuis la branche hailo8 | libedgetpu avec le pilote PCIe |
| Logiciel en 2026 | Maintenu : HailoRT 4.24.0 est sorti en juin 2026 | Google a archivé les dépôts ; des builds communautaires le maintiennent en vie |
| Ajouté à votre serveur | $13.99/mois | $13.99/mois |
La branche principale de HailoRT et ses versions 5.x sont destinées aux plus récents Hailo-10 et Hailo-15. Le Hailo-8 fonctionne avec la lignée 4.x de la branche hailo8. Installez un paquet 5.x et le module ne sera pas détecté.
Google a rendu ses dépôts libedgetpu, PyCoral et Edge TPU en lecture seule sur GitHub. Des forks communautaires compilent toujours l’environnement d’exécution et le pilote PCIe pour les noyaux et les versions de TensorFlow actuels, de sorte qu’une installation Coral qui fonctionne reste exploitable. N’attendez aucune nouvelle fonctionnalité de Google.
03Les serveurs
L’accélérateur se place dans le slot M.2 d’une cartouche HPE Moonshot, un serveur compact doté de son propre processeur, de sa mémoire et d’un disque NVMe. Choisissez la cartouche adaptée au travail autour du modèle, puis ajoutez le module en une ligne dans son configurateur.
AVidéo et travail de caméra
Un Intel Xeon E3-1585L v5 quadricœur avec graphiques Intel Iris Pro P580, dont le moteur Quick Sync peut décoder la vidéo pour laisser les cœurs libres. Le choix naturel pour l’analyse de caméra.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BPlus de cœurs autour du modèle
Un Intel Xeon D avec 8 ou 16 cœurs et de la place pour davantage de mémoire. Choisissez-le quand le code autour du modèle est la tâche la plus lourde : suivi, bases de données, nombreux flux simultanés.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Les deux serveurs sont disponibles à New York, Miami, San Francisco, Amsterdam et Bucarest. Les commandes à Amsterdam et à Bucarest sont facturées en euros, avec les mêmes montants.
Chacun comprend un port 1 Gbps sans mesure de trafic et qu’aucun autre client ne partage au niveau du commutateur d’accès, un accès root et une console que vous ouvrez depuis le panneau de contrôle si la configuration réseau pose problème.
La facturation est mensuelle, sans engagement. Vous voyez le total mensuel complet dans le configurateur avant de payer ; lorsque la taxe de vente américaine s’applique, le paiement l’ajoute.
04Pour commencer
Ouvrez le m710x ou le m510, choisissez la mémoire, le stockage, la ville et le système d’exploitation, puis sélectionnez le module sous Tensor Processing Unit. Un module par serveur.
Une machine avec un module ajouté est une configuration personnalisée, livrée en 4 à 24 heures. Notre installateur trouve le module sur le bus PCI et l’ajoute au registre matériel du serveur, afin que notre support puisse voir qu’il est bien là.
Installez le pilote et l’environnement d’exécution du fabricant sur votre système, puis chargez votre modèle compilé. Le module apparaît immédiatement sur le bus PCI.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'Bloqué sur un pilote ? Notre support IA sur le chat en direct répond en quelques secondes et peut consulter votre serveur et votre compte pendant que vous discutez. Demandez à tout moment une personne et un membre de notre équipe prend le relais.
05Questions
Un serveur TPU est un ordinateur doté d’une unité de traitement tensoriel, une puce conçue uniquement pour les mathématiques des réseaux neuronaux. Ici, cela signifie un serveur dédié avec un Google Coral Edge TPU dans son slot M.2. Nous installons aussi le Hailo-8, qui fait le même travail et est réputé plus rapide.
Non. Les Cloud TPU sont de grandes puces dans les centres de données de Google, et seul Google Cloud les loue. Ce que nous installons est l’Edge TPU, la petite puce d’inférence de Google, sur un serveur qui vous appartient.
Non. Un modèle de langage a besoin de gigaoctets de mémoire rapide même fortement quantifié, et les deux modules sont construits autour de quelques mégaoctets sur la puce. Pour un modèle de langage, il vous faut un GPU : ce qu’il faut pour exécuter un LLM calcule la taille, et les serveurs dédiés GPU listent chaque GPU que nous installons avec son prix.
Sur le papier, oui. Le chiffre de Hailo pour le Hailo-8 va jusqu’à 26 TOPS ; celui de Google pour l’Edge TPU est de 4 TOPS, tous deux comptés sur des entiers 8 bits. La vitesse réelle dépend de votre modèle et de la qualité de sa compilation, alors testez votre propre réseau avant de planifier la capacité sur l’un ou l’autre chiffre.
Non. Chaque cartouche accepte un seul module. Pour plus d’inférence, commandez plusieurs cartouches et répartissez les flux de caméra entre elles ; chacune est un serveur distinct avec son propre port et sa propre adresse.
Pas en tant que produit unique. Ce que vous pouvez faire, c’est commander autant de cartouches accélératrices que nécessaire dans la même ville. Quand le travail dépasse ce que de petits modules peuvent offrir, plusieurs GPU dans une machine ou répartis sur plusieurs machines sont disponibles sur les serveurs multi-GPU.
Un Linux récent. Ubuntu est la configuration par défaut dans le configurateur, et les deux fabricants publient d’abord leurs pilotes pour Linux. Hailo prend aussi en charge Windows. Installez vous-même l’environnement d’exécution après la remise, à la version pour laquelle votre modèle a été compilé, et il reste à cette version jusqu’à ce que vous la changiez.
Exécutez lspci après vous être connecté : cherchez 1e60:2864 (Hailo-8) ou 1ac1:089a (Coral). Notre installateur vérifie le même bus PCI et ajoute le module à la liste matérielle du serveur, que notre support peut lire si vous avez besoin d’aide.
06Un autre endroit où regarder
Choisissez la cartouche, ajoutez un Hailo-8 ou un Coral, et le serveur est à vous en 4 à 24 heures.