L40S — 一卡胜任三项工作

先说短板

这块卡有两件事做不到，而这两件事正是它比旁边的加速卡便宜的原因。

它的内存速度快，但不是堆叠式。 L40S 的读取速度为 864 GB/s。旁边的 A100 在 40 GB 版本下读取速度为 1,555 GB/s，80 GB 版本下为 1,935 GB/s——大约是它的两倍。在大批量 token 生成场景下，这个读取速度才是上限，而不是算力，所以即使 L40S 在纸面上拥有更多原始算力，A100 每秒也能从同一模型服务更多请求。如果服务吞吐量就是您的全部问题，那么加速卡才是正确的选择。

这款产品没有 NVLink。 一台机器里的两块 L40S 是两个独立的 48 GB 内存池，通过插槽通信，而不是一个 96 GB 的内存池。A100 和 H100 可以池化；这款不行。当您真正需要大于 48 GB 的单一地址空间时，这块卡无法满足您——下面的阶梯图展示了能满足的选项。

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

NVIDIA 公布的规格

Ada Lovelace 架构，第四代张量核心，第三代光线追踪核心。数据来自 NVIDIA 自己的 L40S 产品页面，并在本页源代码中注明出处。

NVIDIA 还公布了 91.6 teraFLOPS 的 FP32 性能、212 teraFLOPS 的光线追踪性能，以及 1,466 teraFLOPS 的 FP8 张量吞吐量（含稀疏性），来自 142 个 RT 核心和 568 个张量核心。这些都是理想条件下的峰值数据；上面的内存带宽才是通常决定您实际能获得什么的关键。

它取代了什么，以及它两侧是什么

来自我们自己的货架，而不是供应商的路线图。所有这些今天都可以订购。

A40 是 L40S 所接替的 Ampere 架构显卡——同样的 48 GB，更老的架构，没有 AV1，也没有 FP8。RTX 6000 Ada 是拥有相同容量和相同代际的工作站显卡。当带宽或池化成为比容量更关键的约束时，A100 就是您的升级方向，加速卡页面对此有详细介绍。

它装进哪台机器，以及在那里获得什么链路

L40S 是 PCIe Gen 4 显卡。支持它的两个平台中，一个是 Gen 3，一个是 Gen 4。

对于推理端点或转码器，插槽代际几乎无关紧要——权重常驻内存，帧也很小。但对于每一步都从主机流式传输新批次的训练循环来说，这很重要，在这种情况下 Gen 4 平台值得多花这笔钱。

48 GB 实际能装下什么

这块卡的功耗最高 350 W，在同级别中算适中的，这也是它能装进更大加速卡装不进的机箱的部分原因。

那张表回答了“这块卡能装下什么”。反过来问——一个模型需要多少内存，哪块卡能满足——则是另一个专门的页面。

它的价格，连同它所在的机器

显卡是发票上的一行，机器是另一行。下面两部分都来自订单目录的同一次读取，所以价格和旁边的规格始终相互对应。

带宽双向不限量，无出口费用，包含一个 IPv4 地址，无合同，默认期限为一个月。关于我们配备的其他每一块显卡，以同样的方式定价，请阅读完整目录及价格。关于今天已上架就绪的机器，请访问 /instant。