GPU & IA · Inferência na borda
Um acelerador de IA na borda é um chip pequeno que faz a aritmética de um modelo treinado, para que seu processador não precise fazer. Adicione um Hailo-8 ou um Google Coral Edge TPU a um servidor dedicado só seu, e os quadros de vídeo, o modelo e as respostas ficam todos em uma única máquina.
Ele roda modelos compactos de visão com rapidez e consumindo muito pouca energia. Ele não roda modelos de linguagem, e avisamos isso antes de você comprar.
Os números de TOPS são do Google e da Hailo. Os preços são lidos do nosso catálogo de pedidos.
01Antes de comprar
Esses módulos foram feitos para um tipo de trabalho: olhar imagens e vídeos e dizer o que há neles. Aponte-os para esse trabalho e eles são rápidos e baratos de operar. Aponte-os para qualquer outra coisa e você vai se decepcionar.
O módulo ficou pequeno? O próximo passo é uma GPU completa em um servidor feito para ela. Cada GPU que instalamos tem o preço ao lado da máquina em servidores dedicados com GPU.
02Escolhendo o módulo
Para um projeto novo, escolha o Hailo-8. Ele tem classificação de mais de seis vezes a vazão do Coral, aceita modelos de mais frameworks, e o fabricante ainda lança novas versões de runtime para ele. Escolha o Coral quando você já tem modelos compilados para o Edge TPU e quer que eles continuem funcionando.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Vazão classificada | até 26 TOPS int8 | 4 TOPS int8 |
| Consumo, segundo o fabricante | Nenhum número publicado na página do módulo | Cerca de 2 TOPS por watt, então em torno de dois watts a plena carga |
| Modelos de | PyTorch, ONNX, Keras e TensorFlow, incluindo TensorFlow Lite | TensorFlow Lite, quantizado para int8 |
| Compilado com | Hailo Dataflow Compiler | Edge TPU Compiler |
| Runtime no seu servidor | HailoRT 4.x, do branch hailo8 | libedgetpu com o driver PCIe |
| Software em 2026 | Mantido: HailoRT 4.24.0 saiu em junho de 2026 | O Google arquivou os repositórios; builds da comunidade o mantêm funcionando |
| Adicionado ao seu servidor | $13.99/mês | $13.99/mês |
O branch principal do HailoRT e seus lançamentos 5.x são para os mais novos Hailo-10 e Hailo-15. O Hailo-8 roda na linha 4.x do branch hailo8. Instale um pacote 5.x e o módulo não será encontrado.
O Google tornou seus repositórios libedgetpu, PyCoral e Edge TPU somente leitura no GitHub. Forks da comunidade ainda compilam o runtime e o driver PCIe para kernels e versões atuais do TensorFlow, então uma configuração Coral que funciona continua viável. Não espere novos recursos do Google.
03Os servidores
O acelerador entra no slot M.2 de um cartucho HPE Moonshot, um servidor compacto com processador, memória e unidade NVMe próprios. Escolha o cartucho para o trabalho em torno do modelo e adicione o módulo como uma linha no configurador.
ATrabalho com vídeo e câmeras
Um Intel Xeon E3-1585L v5 quad-core com gráficos Intel Iris Pro P580, cujo motor Quick Sync pode decodificar o vídeo para que os núcleos fiquem livres. O lar natural para análise de câmeras.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BMais núcleos em torno do modelo
Um Intel Xeon D com 8 ou 16 núcleos e espaço para mais memória. Escolha-o quando o código em torno do modelo é o trabalho maior: rastreamento, bancos de dados, muitos fluxos ao mesmo tempo.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Ambos os servidores estão disponíveis em Nova York, Miami, São Francisco, Amsterdã e Bucareste. Pedidos em Amsterdã e Bucareste são faturados em euros, com os mesmos valores.
Cada um inclui uma porta de 1 Gbps sem medição e que nenhum outro cliente compartilha no switch de acesso, acesso root e um console que você abre no painel de controle se a configuração de rede der errado.
O faturamento é mensal, sem contrato. Você vê o total mensal completo no configurador antes de pagar; onde o imposto sobre vendas dos EUA se aplica, o checkout o adiciona.
04Primeiros passos
Abra o m710x ou o m510, escolha memória, armazenamento, cidade e sistema operacional e selecione o módulo em Unidade de Processamento de Tensor. Um módulo por servidor.
Uma máquina com um módulo adicionado é uma montagem personalizada, entregue em 4 a 24 horas. Nosso instalador encontra o módulo no barramento PCI e o adiciona ao registro de hardware do servidor, para que nosso suporte possa ver que ele está lá.
Instale o driver e o runtime do fabricante no seu sistema e carregue seu modelo compilado. O módulo aparece no barramento PCI imediatamente.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'Preso em um driver? Nosso suporte de IA no chat ao vivo responde em segundos e pode olhar seu servidor e sua conta enquanto você conversa. Peça uma pessoa a qualquer momento e alguém da nossa equipe assume.
05Perguntas
Um servidor TPU é um computador com uma unidade de processamento de tensor, um chip construído apenas para a matemática dentro das redes neurais. Aqui isso significa um servidor dedicado com um Google Coral Edge TPU no slot M.2. Também instalamos o Hailo-8, que faz o mesmo trabalho e é classificado como mais rápido.
Não. As Cloud TPUs são chips grandes nos data centers do próprio Google, e apenas o Google Cloud as aluga. O que instalamos é a Edge TPU, o pequeno chip de inferência do Google, em um servidor que é só seu.
Não. Um modelo de linguagem precisa de gigabytes de memória rápida mesmo quando fortemente quantizado, e ambos os módulos são construídos em torno de alguns megabytes no chip. Para um modelo de linguagem você precisa de uma GPU: o que é necessário para rodar um LLM calcula o tamanho, e servidores dedicados com GPU lista cada GPU que instalamos com seu preço.
No papel, sim. O número do próprio Hailo para o Hailo-8 é de até 26 TOPS; o do Google para a Edge TPU é de 4 TOPS, ambos contados em inteiros de 8 bits. A velocidade real depende do seu modelo e de quão bem ele compila, então teste sua própria rede antes de planejar capacidade com base em qualquer um dos números.
Não. Cada cartucho aceita um módulo. Para mais inferência, peça vários cartuchos e distribua os feeds de câmera entre eles; cada um é um servidor separado com sua própria porta e seu próprio endereço.
Não como um único produto. O que você pode fazer é pedir quantos cartuchos aceleradores precisar na mesma cidade. Quando o trabalho exige mais do que módulos pequenos podem oferecer, várias GPUs em uma máquina ou entre máquinas estão em servidores multi-GPU.
Um Linux recente. O Ubuntu é a compilação padrão no configurador, e ambos os fabricantes publicam seus drivers para Linux primeiro. A Hailo também suporta Windows. Instale o runtime você mesmo após a entrega, na versão para a qual seu modelo foi compilado, e ele permanece nessa versão até você alterá-la.
Execute lspci depois de fazer login: procure por 1e60:2864 (Hailo-8) ou 1ac1:089a (Coral). Nosso instalador verifica o mesmo barramento PCI e adiciona o módulo à lista de hardware do servidor, que nosso suporte pode ler se você precisar de ajuda.
06Outro lugar para olhar
Escolha o cartucho, adicione um Hailo-8 ou um Coral, e o servidor é seu em 4 a 24 horas.