这些加速卡 — 以及它们做不到的事

两件让人意外的事

它们完全不能编码视频。

NVIDIA’ 自己的编码与解码支持矩阵显示，A100 上的 NVENC 引擎数量为零，H100 上也是零。它们能解码 — A100 有五个引擎，H100 有七个 — 但板上没有编码器，所以这些卡产生的每一帧都必须由处理器来编码。如果您的管线会输出视频，那您选错了货架，带三个 AV1 编码器的 L40S 才是正确选择。详情见 /l40s。

这些卡也没有显示输出。它们是无头计算部件。任何需要帧缓冲的东西 — 虚拟桌面、远程工作站、游戏服务器 — 都不该放在它们上面。

A100 并未过时，40 GB 版本也不是错误的选择

A100 是上一代产品，40 GB 版本的权重读取速度为 1,555 GB/s，80 GB 版本为 1,935 GB/s。对于能装下的模型，这个读取速率决定了每秒能生成多少 token，而且它仍然远超目录中所有非堆叠式显存的卡。40 GB 的卡能轻松容纳一个三百亿参数的八位精度模型，这覆盖了大多数人实际部署的场景，而月租成本只是 H100 的一小部分。

当模型确实需要 Hopper 架构时 — 比如 Transformer 引擎、FP8、更新的张量单元 — 或者任务必须更快完成而不只是完成，就买 H100。当问题只是模型能否装下、读取速度有多快时，就买 A100，而后者是更常见的问题。

官方公布的规格

数据来自 NVIDIA’ 自己的数据表和 Tesla 规格表，本页源代码中已注明出处。如果某项数据无法对应到我们实际安装的具体部件，本页宁可留空也不猜测。

上面的 H100 没有显示核心数和带宽，这是有意为之。我们商店记录中的核心数属于 SXM 模块，那是一种固定在基板上的卡，而非插槽式；而它记录的 80 GB HBM2e 显存则属于 PCIe 卡，那才是实际装进这些机器的部件。与其选一个数字自信地展示，本页只展示两个来源都一致的显存容量，其余一律省略。问我们，我们会告诉您装进您机器里的具体是哪块板。

三张卡并排对比，以及更高一档的选择

来自我们自己的货架。所有这些今天都可下单，装在相同的机箱里，所以问题只是哪一张值得多花的钱。

最后一行之所以存在，是因为这才是诚实的对比，而大多数列表都把它藏起来：RTX PRO 6000 Blackwell 拥有 96 GB 显存，比本页任何加速卡都多。请对照上表中 H100 的显存和价格来读它的数据，而不是听我们的一面之词。它牺牲的是读取速率和 NVLink；换来的是四个视频编码器和光线追踪。如果您的问题是能不能装下，在决定选这一档之前，先看看 /rtx60。

它们装进哪台机器，以及获得什么链路

A100 是 PCIe Gen 4 卡，H100 是 Gen 5，而我们的平台是 Gen 3 和 Gen 4。因此，在我们运行的任何机器上，H100 都永远无法获得它设计时的完整总线带宽，本页如实说明，而不是让您自己去发现。

这是否会让您付出代价，完全取决于工作负载的形态。权重驻留的推理端点几乎不碰插槽，根本察觉不到。每一步都从主机内存流式传输新批次的训练循环，则每一步都会察觉。如果您不确定自己属于哪种，下单前告诉我们任务是什么 — 这决定的是机器，而不是卡。

80 GB 实际能装下什么

40 GB 的 A100 对应同一张表低一档的位置：三百亿到三百四十亿参数的模型只有在四比特精度下才勉强装下，而在八比特精度下，其 34 GB 的权重连最低门槛都过不了。七百亿参数的十六比特模型装不进我们出售的任何单卡 — 那需要双卡方案，也正是上面 NVLink 一行重要的原因。

那张表回答的是“这张卡能装下什么”。反过来问 — 一个模型需要多少显存，哪张卡能满足 — 则有专门的页面。

它们搭配整机的价格

显卡是发票上的一行，整机是另一行。下面两部分都来自订单目录的同一次读取，因此价格和旁边的规格始终相互对应。

带宽双向不限量，无出站流量费，而在这一档产品中，这通常是别处最大的隐藏成本 — 一个训练任务拉入数据集、推出检查点，会移动海量字节，而每 GB 的出站流量都要收费。包含一个 IPv4 地址，无合约，默认租期一个月。其他所有我们安装的卡，按同样方式定价，请阅读完整目录及价格。今天已上架就绪的机器，见 /instant。