GPU i AI · Wnioskowanie brzegowe
Akcelerator Edge AI to niewielki układ, który wykonuje obliczenia wytrenowanego modelu, dzięki czemu Twój procesor nie musi tego robić. Dodaj Hailo-8 lub Google Coral Edge TPU do własnego serwera dedykowanego, a klatki wideo, model i odpowiedzi pozostaną na jednej maszynie.
Szybko uruchamia kompaktowe modele wizyjne przy bardzo niskim poborze mocy. Nie uruchamia modeli językowych i mówimy o tym wprost, zanim złożysz zamówienie.
Wartości TOPS pochodzą od Google i Hailo. Ceny są odczytywane z naszego katalogu zamówień.
01Zanim złożysz zamówienie
Te moduły powstały do jednego zadania: patrzenia na obrazy i wideo oraz określania, co się na nich znajduje. Skieruj je do tego zadania, a działają szybko i tanio. Skieruj je do czegokolwiek innego, a się rozczarujesz.
Wyrósłeś z modułu? Następnym krokiem jest pełny GPU w serwerze zbudowanym pod niego. Każdy GPU, który montujemy, jest wyceniony obok swojej maszyny na stronie serwery dedykowane z GPU.
02Wybór modułu
Do nowego projektu wybierz Hailo-8. Ma ponad sześciokrotnie wyższą przepustowość niż Coral, obsługuje modele z większej liczby frameworków, a jego producent wciąż wydaje nowe wersje środowiska uruchomieniowego. Wybierz Coral, gdy masz już modele skompilowane dla Edge TPU i chcesz, aby nadal działały.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Przepustowość znamionowa | do 26 TOPS int8 | 4 TOPS int8 |
| Pobór mocy, wg producenta | Brak danych na stronie modułu | Około 2 TOPS na wat, czyli około dwóch watów przy pełnym obciążeniu |
| Modele z | PyTorch, ONNX, Keras i TensorFlow, w tym TensorFlow Lite | TensorFlow Lite, skwantyzowane do int8 |
| Kompilacja za pomocą | Hailo Dataflow Compiler | Edge TPU Compiler |
| Środowisko na serwerze | HailoRT 4.x, z gałęzi hailo8 | libedgetpu ze sterownikiem PCIe |
| Oprogramowanie w 2026 | Utrzymywane: HailoRT 4.24.0 ukazał się w czerwcu 2026 | Google zarchiwizował repozytoria; kompilacje społeczności utrzymują je przy życiu |
| Dodatek do serwera | $13.99/mies. | $13.99/mies. |
Główna gałąź HailoRT i wydania 5.x są przeznaczone dla nowszych Hailo-10 i Hailo-15. Hailo-8 działa na linii 4.x z gałęzi hailo8. Zainstaluj pakiet 5.x, a moduł nie zostanie wykryty.
Google oznaczyło swoje repozytoria libedgetpu, PyCoral i Edge TPU na GitHubie jako tylko do odczytu. Społecznościowe forki wciąż budują środowisko uruchomieniowe i sterownik PCIe dla aktualnych jąder i wydań TensorFlow, więc działająca konfiguracja Coral pozostaje użyteczna. Nie oczekuj nowych funkcji od Google.
03Serwery
Akcelerator trafia do gniazda M.2 kasety HPE Moonshot — kompaktowego serwera z własnym procesorem, pamięcią i dyskiem NVMe. Wybierz kasetę odpowiednią do pracy wokół modelu, a następnie dodaj moduł jako jedną pozycję w jej konfiguratorze.
APraca z wideo i kamerami
Czterordzeniowy Intel Xeon E3-1585L v5 z grafiką Intel Iris Pro P580, którego silnik Quick Sync potrafi dekodować wideo, dzięki czemu rdzenie pozostają wolne. Naturalne środowisko dla analityki obrazu z kamer.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BWięcej rdzeni wokół modelu
Intel Xeon D z 8 lub 16 rdzeniami i miejscem na więcej pamięci. Wybierz go, gdy kod wokół modelu jest większym zadaniem: śledzenie, bazy danych, wiele strumieni jednocześnie.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Oba serwery są dostępne w Nowym Jorku, Miami, San Francisco, Amsterdamie i Bukareszcie. Zamówienia w Amsterdamie i Bukareszcie są rozliczane w euro, z tymi samymi kwotami.
Każdy obejmuje port 1 Gbps bez pomiaru ruchu, którego żaden inny klient nie współdzieli na przełączniku dostępowym, dostęp root oraz konsolę otwieraną z panelu sterowania, gdyby konfiguracja sieci poszła nie tak.
Rozliczenie jest miesięczne, bez umowy. Pełną miesięczną sumę widzisz w konfiguratorze przed płatnością; jeśli obowiązuje amerykański podatek od sprzedaży, dolicza go kasa.
04Pierwsze kroki
Otwórz m710x lub m510, wybierz pamięć, dysk, miasto i system operacyjny, a następnie wybierz moduł w sekcji Tensor Processing Unit. Jeden moduł na serwer.
Maszyna z dodanym modułem to konfiguracja niestandardowa, dostarczana w ciągu 4 do 24 godzin. Nasz instalator znajduje moduł na magistrali PCI i dodaje go do rekordu sprzętowego serwera, dzięki czemu nasze wsparcie widzi, że tam jest.
Zainstaluj sterownik i środowisko uruchomieniowe producenta w swoim systemie, a następnie wczytaj skompilowany model. Moduł od razu pojawia się na magistrali PCI.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'Utknąłeś przy sterowniku? Nasze wsparcie AI na czacie na żywo odpowiada w kilka sekund i może zajrzeć do Twojego serwera oraz konta, gdy rozmawiasz. W każdej chwili poproś o człowieka, a ktoś z naszego zespołu przejmie rozmowę.
05Pytania
Serwer TPU to komputer z jednostką przetwarzania tensorowego, układem zbudowanym wyłącznie do obliczeń wewnątrz sieci neuronowych. U nas oznacza to serwer dedykowany z Google Coral Edge TPU w gnieździe M.2. Montujemy też Hailo-8, który wykonuje to samo zadanie i według specyfikacji jest szybszy.
Nie. Cloud TPU to duże układy w centrach danych Google i wynajmuje je wyłącznie Google Cloud. My montujemy Edge TPU, mały układ inferencyjny Google, na serwerze, który masz tylko dla siebie.
Nie. Model językowy potrzebuje gigabajtów szybkiej pamięci nawet przy mocnej kwantyzacji, a oba moduły mają na chipie zaledwie kilka megabajtów. Do modelu językowego potrzebujesz GPU: czego wymaga uruchomienie LLM wylicza rozmiar, a serwery dedykowane z GPU wymieniają każde GPU, które montujemy, wraz z ceną.
Na papierze tak. Własna wartość Hailo dla Hailo-8 to do 26 TOPS; Google dla Edge TPU podaje 4 TOPS, obie liczone na liczbach całkowitych 8-bitowych. Rzeczywista prędkość zależy od Twojego modelu i od tego, jak dobrze się kompiluje, więc przetestuj własną sieć, zanim zaplanujesz wydajność na podstawie którejkolwiek z tych liczb.
Nie. Każda kaseta przyjmuje jeden moduł. Aby uzyskać większą moc inferencji, zamów kilka kaset i rozdziel między nie strumienie z kamer; każda to osobny serwer z własnym portem i własnym adresem.
Nie jako jeden produkt. Możesz natomiast zamówić tyle kaset z akceleratorem, ile potrzebujesz, w tym samym mieście. Gdy zadanie wymaga więcej, niż dają małe moduły, kilka GPU w jednej maszynie lub w wielu maszynach znajdziesz na serwerach multi-GPU.
Niedawny Linux. Ubuntu to domyślna konfiguracja w konfiguratorze, a obaj producenci publikują sterowniki najpierw dla Linuksa. Hailo obsługuje również Windows. Zainstaluj środowisko uruchomieniowe samodzielnie po przekazaniu, w wersji, dla której skompilowano Twój model, a pozostanie w tej wersji, dopóki jej nie zmienisz.
Uruchom lspci po zalogowaniu: szukaj 1e60:2864 (Hailo-8) lub 1ac1:089a (Coral). Nasz instalator sprawdza tę samą magistralę PCI i dodaje moduł do listy sprzętowej serwera, którą nasze wsparcie może odczytać, jeśli kiedykolwiek będziesz potrzebować pomocy.
06Gdzie indziej szukać
Wybierz kasetę, dodaj Hailo-8 lub Coral, a serwer będzie Twój w ciągu 4 do 24 godzin.