GPU 与 AI · 边缘推理
边缘 AI 加速器是一块小芯片，专门负责已训练模型的运算，让你的处理器不必承担这份工作。把 Hailo-8 或 Google Coral Edge TPU 加装到你自己的独立服务器上，视频帧、模型和结果就都留在一台机器里。
它能以极低的功耗快速运行紧凑型视觉模型。它不能运行语言模型，这一点我们在你下单前就说清楚。
TOPS 数据来自 Google 和 Hailo 官方。价格以我们的订购目录为准。
01下单之前
这些模块为一种工作而生：查看图像和视频，说出里面有什么。让它们做这件事，它们又快又省。让它们做别的，你会失望的。
模块不够用了？下一步就是为 GPU 专门打造的服务器里装一块完整 GPU。我们安装的每一块 GPU 都在 GPU 独立服务器 页面与其机器并列标价。
02选择模块
新项目选 Hailo-8。它的标称吞吐量是 Coral 的六倍以上，支持更多框架的模型，而且厂商仍在为它发布新的运行时版本。当你已有为 Edge TPU 编译好的模型、希望它们继续工作时，再选 Coral。
| Hailo-8 | Google Coral Edge TPU | |
|---|---|---|
| 标称吞吐量 | up to 26 TOPS int8 | 4 TOPS int8 |
| 功耗，据厂商 | 模块页面未公布数据 | 约每瓦 2 TOPS，满载时约两瓦 |
| 支持的模型来源 | PyTorch、ONNX、Keras 和 TensorFlow，包括 TensorFlow Lite | TensorFlow Lite，量化为 int8 |
| 编译工具 | Hailo Dataflow Compiler | Edge TPU Compiler |
| 服务器上的运行时 | HailoRT 4.x，来自 hailo8 分支 | libedgetpu 配合 PCIe 驱动 |
| 2026 年的软件状况 | 持续维护：HailoRT 4.24.0 于 2026 年 6 月发布 | Google 已将仓库归档；社区构建版本让它继续运行 |
| 加装到你的服务器 | $13.99/月 | $13.99/月 |
HailoRT 的主分支及其 5.x 版本是给较新的 Hailo-10 和 Hailo-15 用的。Hailo-8 运行在 hailo8 分支的 4.x 系列上。装了 5.x 的包，模块就不会被识别。
Google 已将其 libedgetpu、PyCoral 和 Edge TPU 仓库在 GitHub 上设为只读。社区分支仍在为当前内核和 TensorFlow 版本构建运行时和 PCIe 驱动，所以一套能用的 Coral 配置依然可以继续工作。别指望 Google 再出新功能了。
03服务器
加速器装入 HPE Moonshot 卡匣的 M.2 插槽，这是一台紧凑型服务器，自带处理器、内存和 NVMe 硬盘。根据模型周边的工作选择卡匣，然后在其配置器中添加模块，只需一行即可。
A视频与摄像头工作
四核 Intel Xeon E3-1585L v5 配备 Intel Iris Pro P580 显卡，其 Quick Sync 引擎可以解码视频，让核心保持空闲。这是摄像头分析的自然归宿。
Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
B模型周边更多核心
Intel Xeon D 拥有 8 或 16 个核心，并有更多内存空间。当模型周围的代码是更大的工作时选择它：跟踪、数据库、同时处理多路视频流。
Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps
两台服务器均可在纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特使用。阿姆斯特丹和布加勒斯特的订单以欧元计费，金额相同。
每台都包含一个 1 Gbps 端口，不计量，接入交换机上也没有其他客户共享，还提供 root 访问权限，以及网络设置出错时从控制面板打开的终端。
按月计费，无合同。付款前可在配置器中看到完整的月度总额；适用美国销售税的地方，结账时会加上。
04开始使用
打开 m710x 或 m510，选择内存、存储、城市和操作系统，然后在 Tensor Processing Unit 下选择模块。每台服务器一个模块。
加装模块的机器属于定制配置，4 到 24 小时内交付。我们的安装人员会在 PCI 总线上找到该模块，并将其添加到服务器的硬件记录中，以便我们的支持人员能看到它已就位。
在您的系统上安装厂商的驱动程序和运行时，然后加载您编译好的模型。模块会立即出现在 PCI 总线上。
# Hailo-8 shows as 1e60:2864, the Coral Edge TPU as 1ac1:089alspci -nn | grep -E '1e60:2864|1ac1:089a'驱动程序卡住了？我们的 AI 支持在实时聊天中几秒内即可回复，并能在您交谈时查看您的服务器和账户。随时可以要求人工服务，我们团队会有人接手。
05问题
TPU 服务器是一台配备张量处理单元的计算机，这种芯片专为神经网络内部的数学运算而设计。在这里，它指的是一台在 M.2 插槽中装有 Google Coral Edge TPU 的独立服务器。我们也可以安装 Hailo-8，它执行相同的任务，且标称速度更快。
不一样。Cloud TPU 是 Google 自家数据中心里的大型芯片，只有 Google Cloud 出租它们。我们安装的是 Edge TPU，这是 Google 的小型推理芯片，装在一台完全属于您自己的服务器上。
不能。语言模型即使经过大幅量化，也需要数 GB 的快速内存，而这两款模块都只围绕芯片上的几 MB 内存构建。要运行语言模型，您需要 GPU：运行 LLM 需要什么可以算出所需规模，GPU 独立服务器则列出了我们安装的每一款 GPU 及其价格。
从纸面数据看，是的。Hailo 官方给出的 Hailo-8 数据最高为 26 TOPS；Google 给出的 Edge TPU 为 4 TOPS，两者均按 8 位整数计算。实际速度取决于您的模型及其编译效果，因此在围绕任一数据规划容量之前，请先测试您自己的网络。
不能。每个卡匣只能安装一个模块。如需更多推理能力，可以订购多个卡匣并将摄像头视频流分散到它们上面；每台都是独立的服务器，拥有自己的端口和地址。
不作为单一产品销售。您可以做的是在同一城市订购任意数量的加速卡匣。当工作负载超出小型模块的能力时，一台或多台机器中的多个 GPU 可在多 GPU 服务器上找到。
较新的 Linux。Ubuntu 是配置器中的默认构建版本，且两家厂商都优先发布 Linux 驱动程序。Hailo 还支持 Windows。交付后请自行安装运行时，版本应与您的模型编译时所用版本一致，并且会一直保持该版本，直到您更改它。
登录后运行 lspci：查找 1e60:2864（Hailo-8）或 1ac1:089a（Coral）。我们的安装人员会检查同一条 PCI 总线，并将模块添加到服务器的硬件列表中，如果您需要帮助，我们的支持人员可以读取该列表。