带宽是狭窄的部分 每个生成的 token 都要重新读取权重,而系统内存的读取速度比显卡内存慢。一个小模型上只有一个用户时无所谓;用户排起队来就有所谓了。我们不发布任何速度数据 — 这里没有,任何地方都没有 — 而是如实说明这一点。
显卡只隔一页之遥 超出这个范围也不会前功尽弃:你的模型需要多少内存在 LLM 页面上有完整推演,我们安装的每一块显卡都标明了价格,DGX Spark 则是同一理念的顶级版本,配备 GPU 可寻址的 128 GB 内存。如果工作负载需要的是大量处理器核心而非加速器,AMD 独立服务器列出了我们出租的每一台 EPYC 和 Opteron 机器,以及每颗核心的价格。