GPU & AI · Inferenza edge
Un acceleratore AI edge è un piccolo chip che esegue i calcoli di un modello addestrato, così il tuo processore non deve farlo. Aggiungi un Hailo-8 o un Google Coral Edge TPU a un server dedicato tutto tuo, e i fotogrammi video, il modello e le risposte restano tutti su una sola macchina.
Esegue modelli visivi compatti velocemente e con pochissima energia. Non esegue modelli linguistici, e te lo diciamo prima che tu ordini.
I valori TOPS sono quelli dichiarati da Google e da Hailo. I prezzi sono letti dal nostro catalogo ordini.
01Prima di ordinare
Questi moduli sono stati creati per un solo tipo di lavoro: guardare immagini e video e dire cosa contengono. Indirizzali verso quel lavoro e sono veloci ed economici da gestire. Indirizzali verso qualsiasi altra cosa e rimarrai deluso.
Hai superato il modulo? Il passo successivo è una GPU completa in un server costruito per ospitarne una. Ogni GPU che installiamo ha il prezzo accanto alla sua macchina su Server dedicati con GPU.
02Scegliere il modulo
Per un nuovo progetto, scegli l'Hailo-8. Ha una capacità dichiarata più di sei volte superiore a quella del Coral, accetta modelli da più framework e il suo produttore pubblica ancora nuove versioni del runtime. Scegli il Coral quando hai già modelli compilati per l'Edge TPU e vuoi che continuino a funzionare.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Capacità dichiarata | fino a 26 TOPS int8 | 4 TOPS int8 |
| Consumo, secondo il produttore | Nessun dato pubblicato sulla pagina del modulo | Circa 2 TOPS per watt, quindi circa due watt a pieno regime |
| Modelli da | PyTorch, ONNX, Keras e TensorFlow, incluso TensorFlow Lite | TensorFlow Lite, quantizzato a int8 |
| Compilato con | Hailo Dataflow Compiler | Edge TPU Compiler |
| Runtime sul tuo server | HailoRT 4.x, dal ramo hailo8 | libedgetpu con il driver PCIe |
| Software nel 2026 | Manutenuto: HailoRT 4.24.0 è uscito a giugno 2026 | Google ha archiviato i repository; le build della community lo mantengono funzionante |
| Aggiunto al tuo server | $13.99/mese | $13.99/mese |
Il ramo principale di HailoRT e le sue versioni 5.x sono per i più recenti Hailo-10 e Hailo-15. L'Hailo-8 funziona con la linea 4.x del ramo hailo8. Installa un pacchetto 5.x e il modulo non verrà rilevato.
Google ha reso i suoi repository libedgetpu, PyCoral ed Edge TPU di sola lettura su GitHub. I fork della community compilano ancora il runtime e il driver PCIe per i kernel e le versioni di TensorFlow attuali, quindi una configurazione Coral funzionante resta utilizzabile. Non aspettarti nuove funzionalità da Google.
03I server
L'acceleratore si inserisce nello slot M.2 di una cartuccia HPE Moonshot, un server compatto con processore, memoria e unità NVMe propri. Scegliete la cartuccia adatta al lavoro attorno al modello, poi aggiungete il modulo come una voce nel suo configuratore.
AVideo e telecamere
Un Intel Xeon E3-1585L v5 quad-core con grafica Intel Iris Pro P580, il cui motore Quick Sync può decodificare il video lasciando liberi i core. La sede naturale per l'analisi delle telecamere.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BPiù core attorno al modello
Un Intel Xeon D con 8 o 16 core e spazio per più memoria. Sceglietelo quando il codice attorno al modello è il lavoro più impegnativo: tracciamento, database, molti flussi contemporanei.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Entrambi i server sono disponibili a New York, Miami, San Francisco, Amsterdam e Bucarest. Gli ordini ad Amsterdam e Bucarest vengono fatturati in euro, con le stesse cifre.
Ogni server include una porta da 1 Gbps senza alcun limite di traffico e non condivisa con altri clienti sullo switch di accesso, accesso root e una console che si apre dal pannello di controllo se la configurazione di rete presenta problemi.
La fatturazione è mensile e senza contratto. Vedete il totale mensile completo nel configuratore prima di pagare; dove si applica l'imposta sulle vendite statunitense, il checkout la aggiunge.
04Per iniziare
Aprite l'm710x o l'm510, scegliete memoria, storage, città e sistema operativo, poi selezionate il modulo sotto Tensor Processing Unit. Un modulo per server.
Una macchina con un modulo aggiunto è una configurazione personalizzata, consegnata in 4-24 ore. Il nostro installatore rileva il modulo sul bus PCI e lo aggiunge alla scheda hardware del server, così il nostro supporto può vederlo.
Installate il driver e il runtime del produttore sul vostro sistema, poi caricate il modello compilato. Il modulo compare subito sul bus PCI.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'Problemi con un driver? La nostra assistenza AI in chat dal vivo risponde in pochi secondi e può controllare il vostro server e il vostro account mentre parlate. Chiedete in qualsiasi momento di parlare con una persona e un membro del nostro team prenderà il controllo.
05Domande
Un server TPU è un computer con un'unità di elaborazione tensoriale, un chip progettato solo per i calcoli all'interno delle reti neurali. Qui significa un server dedicato con un Google Coral Edge TPU nello slot M.2. Installiamo anche l'Hailo-8, che svolge lo stesso compito ed è valutato come più veloce.
No. Le Cloud TPU sono chip di grandi dimensioni nei data center di Google, e solo Google Cloud li affitta. Ciò che installiamo è l'Edge TPU, il piccolo chip di inferenza di Google, su un server tutto vostro.
No. Un modello linguistico richiede gigabyte di memoria veloce anche quando è fortemente quantizzato, ed entrambi i moduli sono costruiti attorno a pochi megabyte sul chip. Per un modello linguistico serve una GPU: cosa serve per eseguire un LLM calcola la dimensione, e server dedicati con GPU elenca ogni GPU che installiamo con il relativo prezzo.
Sulla carta, sì. Il dato dichiarato da Hailo per l'Hailo-8 è fino a 26 TOPS; quello di Google per l'Edge TPU è 4 TOPS, entrambi calcolati su interi a 8 bit. La velocità reale dipende dal vostro modello e da quanto bene viene compilato, quindi testate la vostra rete prima di pianificare la capacità su uno dei due valori.
No. Ogni cartuccia accetta un solo modulo. Per più inferenza, ordinate più cartucce e distribuite i flussi delle telecamere tra di esse; ognuna è un server separato con la propria porta e il proprio indirizzo.
Non come prodotto unico. Ciò che potete fare è ordinare tutte le cartucce con acceleratore di cui avete bisogno nella stessa città. Quando il lavoro richiede più di quanto i piccoli moduli possano offrire, diverse GPU in una macchina o su più macchine sono disponibili su server multi-GPU.
Un Linux recente. Ubuntu è la configurazione predefinita nel configuratore, ed entrambi i produttori pubblicano prima i driver per Linux. Hailo supporta anche Windows. Installate il runtime da soli dopo la consegna, alla versione per cui il vostro modello è stato compilato, e rimarrà a quella versione finché non la modificate.
Eseguite lspci dopo aver effettuato l'accesso: cercate 1e60:2864 (Hailo-8) o 1ac1:089a (Coral). Il nostro installatore controlla lo stesso bus PCI e aggiunge il modulo all'elenco hardware del server, che il nostro supporto può leggere se avete bisogno di aiuto.
06Un'altra direzione da esplorare
Scegliete la cartuccia, aggiungete un Hailo-8 o un Coral, e il server è vostro in 4-24 ore.