这些加速卡 — 以及它们做不到的事

两件让人意外的事

它们完全不能编码视频。

NVIDIA’ 自己的编码与解码支持矩阵显示，A100 上的 NVENC 引擎数量为零，H100 上也是零。它们能解码 — A100 有五个引擎，H100 有七个 — 但板卡上没有编码器，所以这些卡产生的每一帧都必须由处理器来编码。如果您的管线会输出视频，那您选错了货架，带三个 AV1 编码器的 L40S 才是正确选择。详情见 /l40s。

这些卡也没有显示输出。它们是纯计算的无头部件。任何需要帧缓冲的东西 — 虚拟桌面、远程工作站、游戏服务器 — 都不该放在它们上面。

A100 并未过时，40 GB 版本也不是错误的选择

A100 是上一代产品，40 GB 版本以 1,555 GB/s 的速度读取权重，80 GB 版本则是 1,935 GB/s。对于能装下的模型，这个读取速率决定了您每秒能获得多少 token，而且它仍然远超目录中所有非堆叠式显存的卡。40 GB 的卡能以八位精度轻松容纳一个三百亿参数的模型，这覆盖了大多数人实际部署的场景，而每月成本只是 H100 的零头。

当模型真正需要 Hopper 架构时 — 比如 Transformer 引擎、FP8、更新的张量核心 — 或者当任务必须尽快完成而不只是完成时，买 H100。当问题在于模型能否装下以及读取速度有多快时，买 A100，而后者才是更常见的问题。

官方公布的规格

数据来自 NVIDIA’ 自己的数据表和 Tesla 规格表，本页源代码中已注明出处。凡无法针对我们实际安装的具体部件核实的数据，本页宁可留空也不猜测。

上表中 H100 没有显示核心数和带宽，这是有意为之。我们店铺记录中该部件所标的核心数属于 SXM 模块，那是一种固定在基板上的卡，而非插槽式；而它所记录的 80 GB HBM2e 显存则属于 PCIe 卡，那才是真正装进这些机器的部件。与其从中选一个并自信地印出来，本页只印两种来源都一致的显存数据，其余一概省略。问我们，我们会告诉您装进您机器里的究竟是哪块板。

三卡并排对比，以及更高一档的选择

来自我们自己的货架。所有这些今天都可下单，装在相同的机箱里，所以问题在于哪张卡值得那个差价。

最后一行之所以存在，是因为这才是诚实的对比，而大多数列表都把它藏了起来：RTX PRO 6000 Blackwell 拥有 96 GB 显存，比本页任何加速卡都多。请在上表中对照 H100 的显存和价格来读它的数据，而不是听我们的一面之词。它牺牲的是读取速率和 NVLink；换来的是四个视频编码器和光线追踪。如果您的问题是 模型能否装下，在决定选这一档之前，先读 /rtx60。

它们装进哪台机器，以及在那里获得什么链路

A100 是 PCIe Gen 4 卡，H100 是 Gen 5，而我们的平台是 Gen 3 和 Gen 4。因此，在我们运行的任何机器上，H100 都永远无法获得它设计时所面向的完整总线，本页如实说明，而不是让您自己去发现。

这是否会让您付出代价，完全取决于工作负载的形态。权重常驻显存的推理端点几乎不碰插槽，根本察觉不到。每一步都从主机内存流式传输新批次的训练循环，则每一步都会察觉。如果您不确定自己属于哪种，下单前告诉我们任务是什么 — 这决定的是机器，而不是卡。

80 GB 实际能装下什么

40 GB 的 A100 对应同一张表低一档的情况：三百亿到三百四十亿参数的模型只有在四比特精度下才勉强装得下，而在八比特精度下，其 34 GB 的权重连最紧的及格线都过不了。七百亿参数的模型在十六比特精度下装不进我们出售的任何单卡 — 那需要双卡方案，也正是上面 NVLink 那一行重要的原因。

那张表回答的是 “这张卡能装下什么”。反过来问 — 一个模型需要多少显存，哪张卡能满足 — 则有专门的页面。

它们搭配整机的价格

卡是发票上的一行，机器是另一行。下面两半都来自订单目录的同一次读取，因此价格和旁边的规格始终相互对应。

带宽双向均不限量，且不收取出站流量费，而在这一档产品上，这通常是别处最大的隐性成本 — 一个训练任务拉入数据集并推送检查点，会移动海量字节，而每 GB 的出站流量都要按量计费。包含一个 IPv4 地址，无合约，默认租期一个月。我们安装的其他所有卡都按同样方式定价，请阅读完整目录及价格。如需今天即可上架的机器，请见 /instant。