L40S——一张能完成所有三项任务的显卡

首先，问题在于……

这张卡有两件事做不到，而这两件事正是它比同级别的加速器便宜的原因。

它的内存速度很快，而且不是堆叠式的。L40S的读取速度为 864 GB/s。与之配套的 A100，使用 40 GB 内存时读取速度为 1,555 GB/s，使用 80 GB 内存时读取速度为 1,935 GB/s——大约是 L40S 的两倍。对于大批量令牌生成而言，读取速度是上限，但运算能力并非极限，因此即使 L40S 的理论计算能力更强，A100 也能在同一型号的机器上每秒处理更多请求。如果服务器吞吐量是您唯一的问题，那么购买加速器是正确的选择。

这部分没有 NVLink 功能。一台机器里装两张 L40S 卡，是两个独立的 48GB 内存池，通过插槽通信，而不是一个 96GB 的内存池。A100 和 H100 可以组成内存池，而这张卡不行。如果您确实需要一个大于 48GB 的​​地址空间，这张卡无法满足您的需求——下面的图表展示了哪些卡可以做到这一点。

Across the 56 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

NVIDIA发布的规范

Ada Lovelace、第四代张量核心、第三代光线追踪核心。数据来自NVIDIA官方L40S产品页面，本页面来源已引用。

NVIDIA 还公布了其 142 个光线追踪核心和 568 个张量核心的 FP32 浮点运算性能为 91.6 万亿次浮点运算/秒，光线追踪性能为 212 万亿次浮点运算/秒，稀疏化 FP8 张量吞吐量为 1466 万亿次浮点运算/秒。这些是理想条件下的峰值数据；实际性能通常取决于上述内存带宽。

它取代了什么，以及它两侧是什么。

所有产品均来自我们自己的货架，而非供应商的路线图。今天即可订购。

A40 是 L40S 的继任者，它采用的是 Ampere 架构——同样拥有 48GB 显存，但架构较老，不支持 AV1 和 FP8。RTX 6000 Ada 是工作站显卡，容量和架构都与 A40 相同。当带宽或池化成为瓶颈而非容量时，A100 系列显卡才是您的理想选择，加速器页面对此有详细介绍。

它要装进哪台机器，以及通过哪个接口连接到那里。

L40S 是一款 PCIe Gen 4 卡。支持它的两个平台分别是 Gen 3 和 Gen 4。

对于推理端点或转码器而言，时隙生成几乎无关紧要——权重驻留在本地，帧也很小。但对于每一步都从主机流式传输新批次数据的训练循环来说，时隙生成就至关重要了，在这种情况下，第四代平台带来的差异就显得物有所值了。

48GB到底能装下什么？

该显卡功耗高达 350 瓦，对于同类产品来说并不算高，这也是为什么它能装进一些更大的加速卡装不下的机箱的原因之一。

它的成本，连同它所在的机器一起。

发票上的卡片是一行，机器是另一行。以下两部分均来自同一订单目录，因此价格和旁边的规格始终相互对应。

带宽双向不限量，无出口费用，包含一个 IPv4 地址，无合约，默认期限为一个月。其他所有网卡均按相同方式定价，请查阅完整产品目录了解详情。对于已安装完毕且可立即使用的机器，请点击此处/instant 。