GPU & KI · Edge-Inferenz
Ein Edge-KI-Beschleuniger ist ein kleiner Chip, der die Rechenarbeit eines trainierten Modells übernimmt, damit Ihr Prozessor das nicht tun muss. Fügen Sie einen Hailo-8 oder eine Google Coral Edge TPU zu einem eigenen dedizierten Server hinzu, und die Videobilder, das Modell und die Antworten bleiben alle auf einer Maschine.
Er führt kompakte Vision-Modelle schnell und mit sehr wenig Strom aus. Sprachmodelle führt er nicht aus, und das sagen wir Ihnen, bevor Sie bestellen.
Die TOPS-Angaben stammen von Google und Hailo selbst. Die Preise werden aus unserem Bestellkatalog ausgelesen.
01Bevor Sie bestellen
Diese Module wurden für eine Art von Aufgabe gebaut: Bilder und Videos anzusehen und zu sagen, was darauf zu sehen ist. Setzen Sie sie für diese Aufgabe ein, sind sie schnell und günstig im Betrieb. Setzen Sie sie für irgendetwas anderes ein, werden Sie enttäuscht sein.
Dem Modul entwachsen? Der nächste Schritt ist eine vollwertige GPU in einem Server, der dafür gebaut ist. Jede GPU, die wir einbauen, ist neben ihrer Maschine auf GPU-Dedicated-Server ausgepreist.
02Das Modul auswählen
Für ein neues Projekt wählen Sie den Hailo-8. Er ist mit mehr als dem Sechsfachen des Coral-Durchsatzes bewertet, nimmt Modelle aus mehr Frameworks an, und sein Hersteller veröffentlicht weiterhin neue Laufzeitversionen dafür. Wählen Sie die Coral, wenn Sie bereits Modelle für die Edge TPU kompiliert haben und möchten, dass sie weiter funktionieren.
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| Bewerteter Durchsatz | up to 26 TOPS int8 | 4 TOPS int8 |
| Leistungsaufnahme, laut Hersteller | Auf der Modulseite ist keine Angabe veröffentlicht | Etwa 2 TOPS pro Watt, also rund zwei Watt bei Volllast |
| Modelle aus | PyTorch, ONNX, Keras und TensorFlow, einschließlich TensorFlow Lite | TensorFlow Lite, auf int8 quantisiert |
| Kompiliert mit | Hailo Dataflow Compiler | Edge TPU Compiler |
| Laufzeit auf Ihrem Server | HailoRT 4.x, aus dem hailo8-Zweig | libedgetpu mit dem PCIe-Treiber |
| Software im Jahr 2026 | Gepflegt: HailoRT 4.24.0 erschien im Juni 2026 | Google hat die Repositories archiviert; Community-Builds halten es am Laufen |
| Zu Ihrem Server hinzugefügt | $13.99/Monat | $13.99/Monat |
Der Hauptzweig von HailoRT und seine 5.x-Versionen sind für die neueren Hailo-10 und Hailo-15 gedacht. Der Hailo-8 läuft auf der 4.x-Linie aus dem hailo8-Zweig. Installieren Sie ein 5.x-Paket, wird das Modul nicht gefunden.
Google hat seine libedgetpu-, PyCoral- und Edge-TPU-Repositories auf GitHub schreibgeschützt gemacht. Community-Forks bauen die Laufzeit und den PCIe-Treiber weiterhin für aktuelle Kernel und TensorFlow-Versionen, sodass ein funktionierendes Coral-Setup weiter nutzbar bleibt. Erwarten Sie keine neuen Funktionen von Google.
03Die Server
Der Beschleuniger kommt in den M.2-Steckplatz einer HPE-Moonshot-Cartridge, eines kompakten Servers mit eigenem Prozessor, Arbeitsspeicher und NVMe-Laufwerk. Wählen Sie die Cartridge für die Arbeit rund um das Modell und fügen Sie das Modul dann als eine Zeile im Konfigurator hinzu.
AVideo- und Kameraarbeit
Ein Quad-Core Intel Xeon E3-1585L v5 mit Intel Iris Pro P580-Grafik, dessen Quick-Sync-Engine das Video dekodieren kann, damit die Kerne frei bleiben. Die natürliche Heimat für Kameraanalysen.
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
BMehr Kerne rund um das Modell
Ein Intel Xeon D mit 8 oder 16 Kernen und Platz für mehr Arbeitsspeicher. Wählen Sie ihn, wenn der Code rund um das Modell die größere Aufgabe ist: Tracking, Datenbanken, viele Streams gleichzeitig.
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
Beide Server sind in New York, Miami, San Francisco, Amsterdam und Bukarest verfügbar. Bestellungen in Amsterdam und Bukarest werden in Euro abgerechnet, mit denselben Beträgen.
Jeder umfasst einen 1-Gbit/s-Port, der nicht gemessen wird und den am Zugangs-Switch kein anderer Kunde teilt, Root-Zugang und eine Konsole, die Sie über das Bedienfeld öffnen können, falls die Netzwerkeinrichtung schiefgeht.
Die Abrechnung erfolgt monatlich ohne Vertrag. Sie sehen den vollen Monatsbetrag im Konfigurator, bevor Sie zahlen; wo US-Umsatzsteuer anfällt, wird sie an der Kasse hinzugefügt.
04Erste Schritte
Öffnen Sie den m710x oder den m510, wählen Sie Arbeitsspeicher, Speicher, Stadt und Betriebssystem und wählen Sie dann das Modul unter Tensor Processing Unit. Ein Modul pro Server.
Eine Maschine mit eingebautem Modul ist eine Sonderanfertigung und wird in 4 bis 24 Stunden geliefert. Unser Installer findet das Modul am PCI-Bus und trägt es in den Hardware-Datensatz des Servers ein, damit unser Support sehen kann, dass es vorhanden ist.
Installieren Sie Treiber und Laufzeitumgebung des Herstellers auf Ihrem System und laden Sie dann Ihr kompiliertes Modell. Das Modul erscheint sofort am PCI-Bus.
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'Hängen Sie bei einem Treiber fest? Unser KI-Support im Live-Chat antwortet in Sekunden und kann sich Ihren Server und Ihr Konto ansehen, während Sie sprechen. Bitten Sie jederzeit um eine Person, und jemand aus unserem Team übernimmt.
05Fragen
Ein TPU-Server ist ein Computer mit einer Tensor Processing Unit, einem Chip, der nur für die Mathematik in neuronalen Netzen gebaut wurde. Hier bedeutet das einen dedizierten Server mit einer Google Coral Edge TPU im M.2-Steckplatz. Wir bauen auch die Hailo-8 ein, die dieselbe Aufgabe erfüllt und als schneller eingestuft wird.
Nein. Cloud-TPUs sind große Chips in Googles eigenen Rechenzentren, und nur Google Cloud vermietet sie. Was wir einbauen, ist die Edge TPU, Googles kleiner Inferenz-Chip, auf einem Server, den Sie für sich allein haben.
Nein. Ein Sprachmodell braucht Gigabytes an schnellem Speicher, selbst wenn es stark quantisiert ist, und beide Module sind um einige Megabytes auf dem Chip herum gebaut. Für ein Sprachmodell brauchen Sie eine GPU: Was es braucht, um ein LLM auszuführen berechnet die Größe, und GPU-Dedicated-Server listet jede GPU, die wir einbauen, mit ihrem Preis.
Auf dem Papier ja. Hailos eigene Angabe für die Hailo-8 liegt bei bis zu 26 TOPS; Googles Angabe für die Edge TPU bei 4 TOPS, beide mit 8-Bit-Ganzzahlen gezählt. Die tatsächliche Geschwindigkeit hängt von Ihrem Modell ab und davon, wie gut es kompiliert, also testen Sie Ihr eigenes Netz, bevor Sie Kapazität um eine der beiden Zahlen herum planen.
Nein. Jede Cartridge nimmt ein Modul auf. Für mehr Inferenz bestellen Sie mehrere Cartridges und verteilen die Kamera-Feeds darauf; jede ist ein eigener Server mit eigenem Port und eigener Adresse.
Nicht als ein Produkt. Was Sie tun können, ist, so viele Beschleuniger-Cartridges zu bestellen, wie Sie in derselben Stadt brauchen. Wenn die Aufgabe mehr braucht, als kleine Module leisten können, finden Sie mehrere GPUs in einer Maschine oder über Maschinen verteilt unter Multi-GPU-Server.
Ein aktuelles Linux. Ubuntu ist die Standardausführung im Konfigurator, und beide Hersteller veröffentlichen ihre Treiber zuerst für Linux. Hailo unterstützt auch Windows. Installieren Sie die Laufzeitumgebung nach der Übergabe selbst, in der Version, für die Ihr Modell kompiliert wurde, und sie bleibt auf dieser Version, bis Sie sie ändern.
Führen Sie lspci nach der Anmeldung aus: Suchen Sie nach 1e60:2864 (Hailo-8) oder 1ac1:089a (Coral). Unser Installer prüft denselben PCI-Bus und fügt das Modul der Hardware-Liste des Servers hinzu, die unser Support lesen kann, falls Sie jemals Hilfe brauchen.
06Ein anderer Blickwinkel
Wählen Sie die Cartridge, fügen Sie eine Hailo-8 oder eine Coral hinzu, und der Server gehört Ihnen in 4 bis 24 Stunden.