GPU & AI · Inferență la margine
Un accelerator AI edge este un cip mic care face calculele unui model antrenat, astfel încât procesorul tău nu trebuie să le facă. Adaugă un Hailo-8 sau un Google Coral Edge TPU la un server dedicat al tău, iar cadrele video, modelul și răspunsurile rămân toate pe o singură mașină.
Rulează modele compacte de vedere rapid și cu un consum foarte mic de energie. Nu rulează modele de limbaj și spunem asta înainte să comanzi.
Cifrele TOPS sunt ale Google și Hailo. Prețurile sunt citite din catalogul nostru de comenzi.
01Înainte să comanzi
Aceste module au fost făcute pentru un singur tip de sarcină: să se uite la imagini și video și să spună ce este în ele. Îndreaptă-le către acea sarcină și sunt rapide și ieftine de rulat. Îndreaptă-le către orice altceva și vei fi dezamăgit.
Ai depășit modulul? Următorul pas este un GPU complet într-un server construit pentru unul. Fiecare GPU pe care îl montăm are prețul afișat lângă mașina sa pe servere dedicate cu GPU.
02Alegerea modulului
Pentru un proiect nou, alege Hailo-8. Are un rating de peste șase ori mai mare decât debitul Coralului, acceptă modele din mai multe framework-uri, iar producătorul său încă lansează versiuni noi de runtime pentru el. Alege Coral atunci când ai deja modele compilate pentru Edge TPU și vrei să continue să funcționeze.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Debit nominal | up to 26 TOPS int8 | 4 TOPS int8 |
| Putere, conform producătorului | Nicio cifră publicată pe pagina modulului | Aproximativ 2 TOPS pe watt, deci în jur de doi wați la capacitate maximă |
| Modele din | PyTorch, ONNX, Keras și TensorFlow, inclusiv TensorFlow Lite | TensorFlow Lite, cuantizat la int8 |
| Compilat cu | Hailo Dataflow Compiler | Edge TPU Compiler |
| Runtime pe serverul tău | HailoRT 4.x, din ramura hailo8 | libedgetpu cu driverul PCIe |
| Software în 2026 | Întreținut: HailoRT 4.24.0 a apărut în iunie 2026 | Google a arhivat depozitele; build-urile comunității îl mențin în funcțiune |
| Adăugat la serverul tău | $13.99/lună | $13.99/lună |
Ramura principală a HailoRT și versiunile sale 5.x sunt pentru noile Hailo-10 și Hailo-15. Hailo-8 rulează pe linia 4.x din ramura hailo8. Instalează un pachet 5.x și modulul nu va fi găsit.
Google a făcut depozitele libedgetpu, PyCoral și Edge TPU doar pentru citire pe GitHub. Fork-urile comunității încă compilează runtime-ul și driverul PCIe pentru nuclee și versiuni TensorFlow actuale, așa că o configurație Coral funcțională rămâne utilizabilă. Nu te aștepta la funcții noi de la Google.
03Servere
Acceleratorul se introduce în slotul M.2 al unui cartuș HPE Moonshot, un server compact cu procesor propriu, memorie și unitate NVMe. Alegeți cartușul potrivit pentru lucrul din jurul modelului, apoi adăugați modulul ca o singură linie în configuratorul său.
ALucru video și cu camere
Un Intel Xeon E3-1585L v5 quad-core cu grafică Intel Iris Pro P580, al cărui motor Quick Sync poate decoda video-ul, astfel încât nucleele rămân libere. Locul natural pentru analiza camerelor.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BMai multe nuclee în jurul modelului
Un Intel Xeon D cu 8 sau 16 nuclee și loc pentru mai multă memorie. Alegeți-l atunci când codul din jurul modelului este sarcina mai mare: urmărire, baze de date, multe fluxuri simultan.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Ambele servere sunt disponibile în New York, Miami, San Francisco, Amsterdam și București. Comenzile din Amsterdam și București sunt facturate în euro, cu aceleași valori.
Fiecare include un port de 1 Gbps care nu este contorizat și pe care niciun alt client nu îl partajează la switch-ul de acces, acces root și o consolă pe care o deschideți din panoul de control dacă configurarea rețelei dă greș.
Facturarea este lunară, fără contract. Vedeți totalul lunar complet în configurator înainte de plată; acolo unde se aplică taxa de vânzare din SUA, checkout-ul o adaugă.
04Primii pași
Deschideți m710x sau m510, alegeți memoria, stocarea, orașul și sistemul de operare, apoi selectați modulul de sub Tensor Processing Unit. Un modul per server.
O mașină cu un modul adăugat este o configurație personalizată, livrată în 4 până la 24 de ore. Instalatorul nostru găsește modulul pe magistrala PCI și îl adaugă în registrul hardware al serverului, astfel încât suportul nostru poate vedea că este acolo.
Instalați driverul și runtime-ul producătorului pe sistemul dumneavoastră, apoi încărcați modelul compilat. Modulul apare imediat pe magistrala PCI.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'V-ați blocat la un driver? Suportul nostru AI pe chat live răspunde în câteva secunde și poate să se uite la serverul și contul dumneavoastră în timp ce discutați. Cereți o persoană în orice moment și un membru al echipei noastre preia conversația.
05Întrebări
Un server TPU este un computer cu o unitate de procesare tensorială, un cip construit doar pentru matematica din interiorul rețelelor neuronale. Aici înseamnă un server dedicat cu un Google Coral Edge TPU în slotul său M.2. Montăm și Hailo-8, care face aceeași treabă și este cotat ca fiind mai rapid.
Nu. Cloud TPU-urile sunt cipuri mari din centrele de date proprii ale Google și doar Google Cloud le închiriază. Ce montăm noi este Edge TPU, micul cip de inferență al Google, pe un server pe care îl aveți doar pentru dumneavoastră.
Nu. Un model de limbaj are nevoie de gigaocteți de memorie rapidă chiar și atunci când este puternic cuantizat, iar ambele module sunt construite în jurul câtorva megaocteți pe cip. Pentru un model de limbaj aveți nevoie de un GPU: ce este necesar pentru a rula un LLM calculează dimensiunea, iar servere dedicate cu GPU listează fiecare GPU pe care îl montăm, cu prețul său.
Pe hârtie, da. Cifra proprie a Hailo pentru Hailo-8 este de până la 26 TOPS; cea a Google pentru Edge TPU este de 4 TOPS, ambele calculate pe numere întregi de 8 biți. Viteza reală depinde de modelul dumneavoastră și de cât de bine se compilează, așa că testați-vă propria rețea înainte de a planifica capacitatea în jurul oricărei cifre.
Nu. Fiecare cartuș acceptă un singur modul. Pentru mai multă inferență, comandați mai multe cartușe și distribuiți fluxurile camerelor între ele; fiecare este un server separat cu propriul port și propria adresă.
Nu ca un singur produs. Ce puteți face este să comandați câte cartușe de accelerare aveți nevoie în același oraș. Când sarcina necesită mai mult decât pot oferi modulele mici, mai multe GPU-uri într-o singură mașină sau pe mai multe mașini sunt disponibile pe servere multi-GPU.
Un Linux recent. Ubuntu este configurația implicită în configurator, iar ambii producători își publică driverele pentru Linux mai întâi. Hailo acceptă și Windows. Instalați runtime-ul dumneavoastră după predare, la versiunea pentru care a fost compilat modelul, și rămâne la acea versiune până când o schimbați.
Rulați lspci după autentificare: căutați 1e60:2864 (Hailo-8) sau 1ac1:089a (Coral). Instalatorul nostru verifică aceeași magistrală PCI și adaugă modulul în lista hardware a serverului, pe care suportul nostru o poate citi dacă aveți vreodată nevoie de ajutor.
06Altceva de văzut
Alegeți cartușul, adăugați un Hailo-8 sau un Coral, iar serverul este al dumneavoastră în 4 până la 24 de ore.