GPU 服务器 · NVIDIA L40S

L40S 独立服务器一块 GPU 搞定 AI、渲染与实时视频

Primcast 的 L40S 独立服务器是一整台物理机，其中一块 NVIDIA L40S GPU 直接交给您自己的操作系统使用：48 GB GDDR6 ECC、三个 AV1 硬件编码器与光线追踪核心。按月租用，无需签约，独享不限流量的端口。

配置您的 L40S 服务器查看配置与价格

nvidia-l40s Ada Lovelace

GPU 显存: 48 GB GDDR6 ECC
显存带宽: 864 GB/s
CUDA 核心: 18,176
视频引擎: 3 个 NVENC + 3 个 NVDEC，支持 AV1
接口、功耗: PCIe Gen 4 x16, 350 W
NVLink: 无

01适用场景

L40S GPU 擅长的四类工作

大多数 GPU 只为一种工作而设计。NVIDIA L40S 可以在同一块板上运行模型、渲染画面并编码视频流，因此人们选择它来应对混合工作流。

01视频

L40S 用于视频编码

三个编码器和三个解码器以硬件方式处理 AV1、HEVC 和 H.264。您可以接入一路信号、转码并对外提供，同时同一块 GPU 上的模型决定如何处理这些帧。A100 和 H100 完全没有视频编码器，因此在这些 GPU 上视频会回退到处理器。有关通道数量和整机配置，请参阅实时视频转码服务器。

02AI

在 48 GB 内可容纳的模型上做推理

FP8 张量支持和 48 GB 显存，足以让 7B 或 13B 模型以完整 16 位精度运行，或让 30B 模型以 4 位精度运行。对于以适中批量大小响应真实用户的推理端点，这块 GPU 绰绰有余。下方的规格表会显示它在哪些情况下会变得紧张。

03渲染

不想重来的长时间渲染

每一 GB 显存都经过纠错，第三代光线追踪核心承担繁重工作。消费级 GPU 每帧成本更低，但在无人值守的夜间任务中，一个翻转的比特就意味着要重新运行。ECC 让您可以启动渲染后放心离开。

04桌面

虚拟工作站

L40S 支持 NVIDIA vGPU 并具有四个 DisplayPort 输出，因此您可以将其分配给自己的虚拟桌面。A100 和 H100 没有显示输出。如何切分由您在机器上决定：我们把 GPU 完整地交给您。

02下单前须知

NVIDIA L40S 的两个局限

两者都来自 NVIDIA 的官方规格，也都是 L40S 比旁边的加速卡更便宜的部分原因。

显存带宽，而非堆叠显存

L40S 的显存读取速度为 864 GB/s。A100 的读取速度为 1,555 GB/s（40 GB 版）和 1,935 GB/s（80 GB 版），大约快一倍。当您以较大批量生成 token 时，这个读取速率就是上限。因此，即使 L40S 的原始算力更高，A100 每秒能从同一模型服务更多请求。如果服务吞吐量是您的全部问题，请选择加速卡。

没有 NVLink

一台机器中的两块 L40S GPU 是两个独立的 48 GB 显存池，通过 PCIe 插槽通信。它们永远不会合并成一个 96 GB 的显存池。A100 和 H100 可以池化显存；L40S 不能。如果您需要大于 48 GB 的单一地址空间，下方的对比表会显示哪些 GPU 能满足这一需求。

Across the 57 cards in the catalogue: L40S holds 48 GB, 4 cards we fit hold more, and 8 cost more per month. Read the whole ladder on the whole catalogue, priced.

03规格

L40S GPU 规格

Ada Lovelace 架构，第四代 Tensor 核心和第三代 RT 核心。数据来自 NVIDIA 的 L40S 产品页面。

L40S

Architecture

Ada Lovelace

Card memory

48 GB GDDR6 ECC

CUDA cores

18,176

Memory bandwidth

864 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

3 NVENC, 3 NVDEC, AV1

Error-correcting memory

Yes

NVIDIA 还列出了 91.6 teraFLOPS 的 FP32、212 teraFLOPS 的光线追踪吞吐量，以及启用稀疏性时 1,466 teraFLOPS 的 FP8 张量吞吐量，来自 142 个 RT 核心和 568 个 Tensor 核心。这些是理想条件下的峰值。实际中，显存带宽通常决定您能获得什么。

04模型规格

您的模型能装进 48 GB 吗？

7B 和 13B 模型在任何精度下都可以，30B 模型在 4 位精度下也可以。70B 模型只能在 4 位精度下加载，留给上下文的余量很少。

Weights only, rounded up. **Fits** means the card’s 48 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. **Tight** clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB — fits	8 GB — fits	5 GB — fits
13-14 billion parameters	28 GB — fits	14 GB — fits	8 GB — fits
30-34 billion parameters	68 GB — does not fit	34 GB — tight	19 GB — fits
70 billion parameters	140 GB — does not fit	70 GB — does not fit	38 GB — tight

想从模型出发？LLM 服务器规格会计算一个模型需要多少 GPU 显存，以及哪块 GPU 能满足。

05配套服务器

选择哪款 L40S GPU 服务器

L40S 是一块 PCIe Gen 4 x16 GPU。每款适配它的服务器都提供不同的链路，这种差异对某些工作很重要，对另一些则无关紧要。

Intel Xeon Silver / Gold

L40S

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

L40S

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

对于推理或转码，插槽代际几乎无关紧要：模型权重留在 GPU 上，视频帧也很小。但对于每一步都从主机流式传输新批次的训练来说，这很重要。为此，请选择插槽与 GPU 匹配的服务器。

06对比

L40S 对比 A40、RTX 6000 Ada 和 A100

这些是我们目录中 L40S 两侧的 GPU，每款都搭配其可装入的最便宜整机。

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
Card	Card memory	The card	Cheapest complete machine
L40S	48 GB GDDR6 ECC	$449	$532.67
A40	48 GB GDDR6	$499	$572.47
RTX 6000 ADA	48 GB GDDR6 ECC	$625	$698.47
A100 40GB	40 GB HBM2	$699	$772.47
A100 80GB	80 GB HBM2e	$899	$972.47

A40 是 L40S 取代的 Ampere GPU：同样的 48 GB，架构更旧，没有 AV1 也没有 FP8。RTX 6000 Ada 是拥有相同显存和相同代际的工作站 GPU。当带宽或池化显存成为瓶颈时，请转向 A100，并阅读 A100 和 H100 服务器了解详情。

07价格

L40S 独立服务器价格

GPU 是您账单上的一项，服务器是另一项。每一行都显示整机、GPU 增加的费用以及每月总价，数据来自结账时使用的同一目录。

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
Card	The machine it goes in	The card	Complete, per month
L40S	Intel Xeon Silver / Gold Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0	$449	$532.67 Configure this build →
L40S	AMD EPYC AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0	$449	$666.59 Configure this build →

端口双向不限流量，端口仅供您的机器使用。
地址包含一个 IPv4 地址。
期限默认按月，无需签约。
帮助我们的聊天助手几秒内即可回复，并能查看您的账户和服务器。随时可以要求人工服务。

想比较我们适配的每一块 GPU？GPU 服务器，全部标价以相同方式列出。今天就需要机器？即时服务器列出已上架的机器。

08常见问题

订购前人们常问的 L40S 问题

01NVIDIA L40S 有多少个 CUDA 核心？

NVIDIA L40S 拥有 18,176 个 CUDA 核心、568 个第四代 Tensor 核心和 142 个第三代 RT 核心。它们与 48 GB GDDR6 ECC 读取速度为 864 GB/s，位于一块功耗最高 350 W 的 PCIe Gen 4 x16 板上。

02L40S 适合视频编码吗？

适合。它配备三个 NVENC 编码器和三个 NVDEC 解码器，且全部支持 AV1 双向处理。RTX 30 系列无法编码 AV1，而 A100 和 H100 则完全不具备硬件视频编码能力。如需围绕 GPU 构建实时转码方案，请参阅实时视频转码服务器。

03部署模型选 L40S 还是 A100？

如果模型可装入 48 GB 且流量适中，L40S 成本更低，同时还能处理视频和图形任务。若 GPU 需在大批量规模下满负荷运行，A100 读取权重的速度约为前者的两倍，每秒可处理更多请求。如果模型需要超过 48 GB 显存，请选择 A100 80 GB。

04能否将两块 L40S GPU 合并为 96 GB？

不能。L40S 没有 NVLink，因此两块卡是两个独立的 48 GB 显存池，通过 PCIe 插槽通信。您的框架仍可将更大的模型拆分到两块卡上，以插槽作为连接链路。如需超过 48 GB 的统一内存空间，请从对比表中选择 A100 80 GB。

05GPU 是共享、切片还是虚拟化的？

我们不做这些。您是物理机上唯一的租户，GPU 直接接入您的操作系统，没有虚拟机监控程序、没有 MIG 分区、没有 vGPU 配置文件，也没有时间切片。您可以自行安装所需的驱动和 CUDA 版本。L40S 支持 vGPU，因此如果您愿意，可以自行将其切片用于自己的虚拟桌面。

06多久能拿到 L40S 服务器？

取决于 GPU 的所在地，付款前我们会告知您。已有库存的 GPU 可在 4 至 24 小时内完成安装。需要采购的则需 5 至 10 个工作日。如需立即开始，即时服务器页面列出了已上架的机器。

07出问题时谁来帮我？

在任意页面打开在线聊天。我们的助手几秒内即可回复，可查看您的账户和服务器，并随时按您的要求转接给团队成员。您始终拥有机器的完整 root 访问权限。

为您的流水线配备一台 L40S 服务器

选择服务器，添加 L40S，付款前即可看到每月总价。无合约限制，端口不限流量。

构建您的 L40S 服务器对比所有 GPU

L40S 独立服务器 一块 GPU 搞定 AI、渲染与实时视频