加速器——以及它们不会做什么

两件让人感到惊讶的事

他们根本无法进行视频编码。

NVIDIA 官方的编码解码支持矩阵显示，A100 和 H100 均未配备 NVENC 编码引擎。它们支持解码（A100 配备五个编码引擎，H100 配备七个），但板载没有编码器，因此这些显卡生成的每一帧都必须由处理器进行编码。如果您的流水线需要输出视频，那么 A100 和 H100 都不合适，而配备三个 AV1 编码器的 L40S 才是理想之选。相关信息请参见/l40s页面。

这些显卡也没有显示输出接口。它们是无头计算设备。任何需要帧缓冲区的应用——例如虚拟桌面、远程工作站或游戏服务器——都不应该运行在这些显卡上。

A100 并没有过时，40GB 的存储卡也不是个错误。

A100 是上一代产品，40GB 容量时读取速度为 1555 GB/s，80GB 容量时为 1935 GB/s。对于合适的模型而言，读取速度决定了每秒可处理的令牌数量，而 A100 的速度远超产品目录中所有非堆叠式存储卡。40GB 容量的存储卡可以轻松存储 300 亿参数、8 位精度的模型，这几乎满足了大多数用户的实际需求，而且每月费用仅为 H100 的一小部分。

如果模型确实需要 Hopper 处理器（即 Transformer 引擎、FP8 和新型张量单元），或者运行必须更快完成而非仅仅完成，则购买 H100。如果主要考虑的是它是否适配以及读取速度如何（这才是更常见的问题），则购买 A100。

已公布的规格说明

数据来自NVIDIA官方数据手册和特斯拉规格表，具体引用见本页来源。对于无法找到与我们所使用的部件完全匹配的数据，本页将不显示任何内容，而仅提供估算值。

H100 的页面上没有显示核心数和带宽，这是有意为之。我们的产品在库存中被记录为 SXM 模块的核心数，该模块是一块固定在底板上的卡，而不是插槽式的；它记录的 80 GB HBM2e 内存也属于 PCIe 卡，这才是实际安装在这些机器中的内存。页面并没有随意选择并打印出来，而是只打印了两个来源都认可的内存信息，省略了其他信息。如果您需要，我们可以准确地告诉您您的机器将使用哪块主板。

它们三者并排而立，以及它们上方的东西

我们自己的库存产品。所有这些产品现在都可以订购，采用相同的机箱，所以问题是哪一款更值得选择。

最后一行之所以列出，是因为它才是最真实的对比，而大多数产品介绍都隐藏了这一点：RTX PRO 6000 Blackwell 拥有 96GB 显存，比本页上任何其他加速卡都多。与其听信我们的一面之词，不如直接查看上表中它与 H100 系列的显存和价格对比。它的不足之处在于读取速度和 NVLink 功能；而它的优势在于拥有四个视频编码器和光线追踪功能。如果您担心它是否能装进您的电脑，请在购买前阅读/rtx60 的相关内容。

他们进入哪台机器，以及他们通过哪条线路连接到那里。

A100 是 PCIe Gen 4 卡，H100 是 Gen 5 卡，而我们的平台是 Gen 3 和 Gen 4。因此，在我们运行的任何机器上，H100 都无法获得其设计时所用的全部总线带宽，本页面会明确说明这一点，而不是让您自己去发现。

这是否会产生任何费用完全取决于工作的具体形式。权重驻留在内存中的推理端点几乎不会占用卡槽，因此不会产生任何影响。而每一步都从主机内存中加载新批次数据的训练循环，每一步都会产生影响。如果您不确定自己属于哪种情况，请在下单前告知我们您的工作内容——决定使用哪种机器的不是卡，而是工作内容本身。

80GB到底能装下什么？

40GB A100 的参数表与上述相同，只是精度降低了一级：一个 8 位精度的 300 亿到 340 亿参数模型可以满足要求，但同样的模型在 16 位精度下则不行。一个 16 位精度的 700 亿参数模型无法满足我们销售的任何单张卡的需求——这需要双卡架构，这也是上面提到的 NVLink 系列如此重要的原因。

它们的成本，以及它们所使用的机器。

发票上的卡片是一行，机器是另一行。以下两部分均来自同一订单目录，因此价格和旁边的规格始终相互对应。

带宽双向不限量，且无出口流量费用。在其他地方，出口流量费用通常是最大的隐性成本——训练运行会拉取数据集并推送检查点，这会传输大量字节，而每个字节的出口流量都会产生费用。包含一个 IPv4 地址，无需签订合同，默认期限为一个月。其他所有适配的网卡，价格相同，请阅读完整产品目录了解详情。如需购买已安装完毕且可立即使用的机器，请访问/instant 。