L40S — 一块卡，三份工

先说短板

这块卡有两件事做不到，而这两件事正是它比旁边那些加速卡便宜的原因。

它的内存快，但不是堆叠式。 L40S 的读取速度为 864 GB/s。旁边的 A100 在 40 GB 版本上为 1,555 GB/s，80 GB 版本上为 1,935 GB/s — 大约是它的两倍。在大批量生成 token 时，这个读取速度才是天花板，算力反而不是，所以即使 L40S 在纸面上原始算力更高，A100 每秒也能从同一个模型服务更多请求。如果服务吞吐量就是您问题的全部，那么加速卡才是正确的选择。

这块部件上没有 NVLink。 一台机器里的两块 L40S 是两个独立的 48 GB 池，通过插槽通信，而不是一个 96 GB 的池。A100 和 H100 可以池化；这块不行。当您真正需要大于 48 GB 的单一地址空间时，这块卡带您到不了那里 — 下面的阶梯图展示了哪块可以。

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

规格，按 NVIDIA 发布为准

Ada Lovelace，第四代张量核心，第三代光线追踪核心。数据来自 NVIDIA 自己的 L40S 产品页，在本页源码中已注明出处。

NVIDIA 还公布了 91.6 teraFLOPS 的 FP32、212 teraFLOPS 的光线追踪性能，以及 1,466 teraFLOPS 的 FP8 张量吞吐量（含稀疏性），来自 142 个 RT 核心和 568 个张量核心。这些都是理想条件下的峰值数据；上面的内存带宽才是通常决定您实际能拿到什么的关键。

它取代了什么，以及它两侧是什么

来自我们自己的货架，而非厂商路线图。以下所有产品今天都可以下单。

A40 是 L40S 接替的 Ampere 卡 — 同样的 48 GB，更老的架构，没有 AV1，也没有 FP8。RTX 6000 Ada 是容量相同、同代的工作站卡。当带宽或池化成为比容量更关键的约束时，A100 就是您的下一步，加速卡页面有详细介绍。

它装进哪台机器，以及在那里获得什么链路

L40S 是一块 PCIe Gen 4 卡。能装它的两个平台中，一个是 Gen 3，一个是 Gen 4。

对于推理端点或转码器来说，插槽代际几乎无关紧要 — 权重常驻，帧也很小。但对于每一步都要从主机流式拉取新批次的训练循环来说，它就有影响了，那种场景下 Gen 4 平台值得多花这笔钱。

48 GB 里实际能装下什么

这块卡的功耗最高 350 W，在同类产品中算克制的，这也是它能装进更大加速卡装不进的机箱的部分原因。

那张表回答了“这块卡能装下什么”。反过来问 — 一个模型需要多少内存，哪块卡能满足 — 则有专门的页面。

价格多少，连同它所在的整机

卡是发票上的一行，机器是另一行。下面这两部分都来自订单目录的同一次读取，所以价格和旁边的规格永远彼此对应。

带宽双向不限量，无出口费用，包含一个 IPv4 地址，无合约，默认期限为一个月。我们装配的其他每一块卡，都以同样的方式定价，请阅读完整目录及价格。已上架、今天即可用的机器，见 /instant。