GPU e IA · Inferencia en el borde
Un acelerador de IA en el borde es un chip pequeño que hace la aritmética de un modelo entrenado, para que tu procesador no tenga que hacerla. Añade un Hailo-8 o un Google Coral Edge TPU a un servidor dedicado propio, y los fotogramas de vídeo, el modelo y las respuestas se quedan todos en una sola máquina.
Ejecuta modelos de visión compactos con rapidez y con muy poco consumo. No ejecuta modelos de lenguaje, y te lo decimos antes de que hagas el pedido.
Las cifras de TOPS son las que publican Google y Hailo. Los precios se leen de nuestro catálogo de pedidos.
01Antes de hacer el pedido
Estos módulos se fabricaron para un solo tipo de trabajo: mirar imágenes y vídeo y decir qué hay en ellos. Ponlos ante esa tarea y son rápidos y baratos de mantener. Ponlos ante cualquier otra cosa y te llevarás una decepción.
¿Se te ha quedado pequeño el módulo? El siguiente paso es una GPU completa en un servidor construido para ello. Cada GPU que instalamos aparece con su precio junto a su máquina en servidores dedicados con GPU.
02Elegir el módulo
Para un proyecto nuevo, elige el Hailo-8. Su rendimiento nominal es más de seis veces el del Coral, admite modelos de más frameworks y su fabricante sigue publicando nuevas versiones del runtime. Elige el Coral cuando ya tengas modelos compilados para el Edge TPU y quieras que sigan funcionando.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Rendimiento nominal | up to 26 TOPS int8 | 4 TOPS int8 |
| Consumo, según el fabricante | No se publica ninguna cifra en la página del módulo | Unos 2 TOPS por vatio, es decir, alrededor de dos vatios a pleno rendimiento |
| Modelos desde | PyTorch, ONNX, Keras y TensorFlow, incluido TensorFlow Lite | TensorFlow Lite, cuantizado a int8 |
| Compilado con | Hailo Dataflow Compiler | Edge TPU Compiler |
| Runtime en tu servidor | HailoRT 4.x, de la rama hailo8 | libedgetpu con el controlador PCIe |
| Software en 2026 | Con mantenimiento: HailoRT 4.24.0 salió en junio de 2026 | Google archivó los repositorios; las compilaciones de la comunidad lo mantienen en funcionamiento |
| Añadido a tu servidor | $13.99/mes | $13.99/mes |
La rama principal de HailoRT y sus versiones 5.x son para los nuevos Hailo-10 y Hailo-15. El Hailo-8 funciona con la línea 4.x de la rama hailo8. Si instalas un paquete 5.x, el módulo no se detectará.
Google ha puesto sus repositorios libedgetpu, PyCoral y Edge TPU en modo de solo lectura en GitHub. Los forks de la comunidad siguen compilando el runtime y el controlador PCIe para los kernels y las versiones de TensorFlow actuales, así que una configuración de Coral que funcione sigue siendo viable. No esperes nuevas funciones de Google.
03Los servidores
El acelerador se inserta en la ranura M.2 de un cartucho HPE Moonshot, un servidor compacto con su propio procesador, memoria y unidad NVMe. Elija el cartucho para el trabajo alrededor del modelo y añada el módulo como una línea más en su configurador.
ATrabajo de vídeo y cámara
Un Intel Xeon E3-1585L v5 de cuatro núcleos con gráficos Intel Iris Pro P580, cuyo motor Quick Sync puede decodificar el vídeo para que los núcleos queden libres. El hogar natural para el análisis de cámaras.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BMás núcleos alrededor del modelo
Un Intel Xeon D con 8 o 16 núcleos y espacio para más memoria. Elíjalo cuando el código alrededor del modelo sea el trabajo mayor: seguimiento, bases de datos, muchas transmisiones a la vez.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Ambos servidores están disponibles en Nueva York, Miami, San Francisco, Ámsterdam y Bucarest. Los pedidos en Ámsterdam y Bucarest se facturan en euros, con las mismas cifras.
Cada uno incluye un puerto de 1 Gbps que nada mide y que ningún otro cliente comparte en el conmutador de acceso, acceso root y una consola que se abre desde el panel de control si la configuración de red falla.
La facturación es mensual y sin contrato. Verá el total mensual completo en el configurador antes de pagar; cuando se aplique el impuesto sobre las ventas de EE. UU., el pago lo añadirá.
04Primeros pasos
Abra el m710x o el m510, elija memoria, almacenamiento, ciudad y sistema operativo, y luego seleccione el módulo en Unidad de procesamiento tensorial. Un módulo por servidor.
Una máquina con un módulo añadido es una configuración personalizada, entregada en 4 a 24 horas. Nuestro instalador encuentra el módulo en el bus PCI y lo añade al registro de hardware del servidor, para que nuestro soporte pueda ver que está allí.
Instale el controlador y el entorno de ejecución del fabricante en su sistema y luego cargue su modelo compilado. El módulo aparece en el bus PCI de inmediato.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'¿Atascado con un controlador? Nuestro soporte de IA en el chat en vivo responde en segundos y puede ver su servidor y su cuenta mientras habla. Pida una persona en cualquier momento y uno de nuestro equipo tomará el relevo.
05Preguntas
Un servidor TPU es un ordenador con una unidad de procesamiento tensorial, un chip construido solo para las matemáticas dentro de las redes neuronales. Aquí eso significa un servidor dedicado con un Google Coral Edge TPU en su ranura M.2. También instalamos el Hailo-8, que hace el mismo trabajo y está clasificado como más rápido.
No. Las TPU de Cloud son chips grandes en los centros de datos propios de Google, y solo Google Cloud los alquila. Lo que instalamos es la Edge TPU, el pequeño chip de inferencia de Google, en un servidor que es solo suyo.
No. Un modelo de lenguaje necesita gigabytes de memoria rápida incluso cuando se cuantiza con fuerza, y ambos módulos están construidos en torno a unos pocos megabytes en el chip. Para un modelo de lenguaje necesita una GPU: qué se necesita para ejecutar un LLM calcula el tamaño, y servidores dedicados con GPU enumera cada GPU que instalamos con su precio.
Sobre el papel, sí. La cifra propia de Hailo para el Hailo-8 es de hasta 26 TOPS; la de Google para la Edge TPU es de 4 TOPS, ambas contadas en enteros de 8 bits. La velocidad real depende de su modelo y de lo bien que se compile, así que pruebe su propia red antes de planificar la capacidad en torno a cualquiera de las dos cifras.
No. Cada cartucho admite un módulo. Para más inferencia, pida varios cartuchos y reparta las fuentes de cámara entre ellos; cada uno es un servidor independiente con su propio puerto y su propia dirección.
No como un solo producto. Lo que puede hacer es pedir tantos cartuchos aceleradores como necesite en la misma ciudad. Cuando el trabajo necesita más de lo que los módulos pequeños pueden dar, varias GPU en una máquina o entre máquinas están en servidores multi-GPU.
Un Linux reciente. Ubuntu es la configuración predeterminada en el configurador, y ambos fabricantes publican sus controladores para Linux primero. Hailo también es compatible con Windows. Instale el entorno de ejecución usted mismo después de la entrega, en la versión para la que se compiló su modelo, y permanecerá en esa versión hasta que la cambie.
Ejecute lspci después de iniciar sesión: busque 1e60:2864 (Hailo-8) o 1ac1:089a (Coral). Nuestro instalador comprueba el mismo bus PCI y añade el módulo a la lista de hardware del servidor, que nuestro soporte puede leer si alguna vez necesita ayuda.
06Otro lugar donde mirar
Elija el cartucho, añada un Hailo-8 o un Coral, y el servidor es suyo en 4 a 24 horas.