GPU 服务器 · RTX 40 系列

RTX 4090 独立服务器 而其中的 GPU 是 RTX 4090D

我们的 RTX 4090 独立服务器搭载 RTX 4090D，这是 NVIDIA 为中国市场推出的版本：同样 24 GB 的 GDDR6X 和相同的内存速度，CUDA 核心约少 11%。您按月租用整台机器，完整 GPU 直通到您自己的系统，端口不限流量。

查看每款配置的价格 D 版改变了什么
ad102 / 24 GB并排对比
RTX 4090 与 RTX 4090D 规格对比。带箭头的行是两者不同的项目。
项目RTX 4090RTX 4090D
CUDA 核心16,38414,592
Tensor 核心512456
显存24 GB GDDR6X24 GB GDDR6X
带宽1,008 GB/s1,008 GB/s
加速频率2.52 GHz2.52 GHz
AV1 编码器22
整卡功耗450 W425 W
整机，每月，起价$372.47

有闲置的 RTX 40 系列 GPU 吗？

把机器放到 Primcast 市场上，自己定每月价格，租给需要算力的人。

在市场上架

01RTX 4090D 对比 RTX 4090

RTX 4090D 中的 D 对您的工作意味着什么

2023 年底，一项美国出口规定使 RTX 4090 在中国销售超出限制。NVIDIA 以 RTX 4090D 作为回应，于 2023 年 12 月 28 日发布，CUDA 核心为 14,592 个，而完整 GPU 有 16,384 个。

保持不变的部分

显存没有变动：24 GB GDDR6X，384 位总线，1,008 GB/s 带宽。2.52 GHz 的加速频率和两个 AV1 编码器也一样。任何受显存容量或显存速度限制的任务，表现与完整 4090 完全一致：能装进 24 GB 的模型依然装得下，读取速度也一样快。

驱动和软件察觉不到差异。它是 Ada Lovelace GeForce GPU，使用标准 GeForce 驱动，所有能在 4090 上运行的 CUDA 版本、框架和渲染器都能在它上面运行。

您放弃的部分

大约 11% 的着色器和张量核心。NVIDIA 给出的实际差距在游戏和创意应用中约为 5%，因为频率和显存承担了大部分负载。对于让每个着色器都满载的工作，例如长时间渲染或训练任务，请按比完整 4090 最多低十分之一来规划。

我们在您下单前就告诉您这些，而不是印上 “RTX 4090” 让您事后才发现。如果您的工作确实需要完整 GPU，请在在线聊天中询问，我们会告诉您能否采购到以及需要多长时间。

02用途

4090 GPU 服务器擅长什么，又止步于哪里

这是一块放在机架里的消费级 GPU。这正是它价格低的原因，也是它的局限所在。

01单位价格算力

以这个价格获得大量算力

GeForce 芯片是租用如此多算力最便宜的方式之一。它适合结果出错只意味着重跑而非灾难的工作：批量渲染、游戏服务器、小型模型微调、可重复的推理。

02视频

它能编码视频，而加速卡不能

两个支持 AV1 的硬件编码器，外加一个解码器，可以全天转码。我们产品目录中更高端的 A100 和 H100 完全没有视频编码器。只要涉及视频，这块 GPU 就是正确选择，而不是妥协。实时频道工作请见我们的转码服务器。

03显存

上限是 24 GB

一个 130 亿参数的模型可以按 8 位精度装入，同一个模型按 16 位精度则不行，而 700 亿参数的模型在任何精度下都装不下。下方的容量表对此有精确说明。

04长时间运行

没有纠错内存

没有 ECC，也没有认证的专业驱动。对于持续数周且没有检查点的运行任务，或者软件许可要求专业 GPU 的情况，请改看带 48 GB 和 ECC 的 L40S。

03规格

NVIDIA RTX 4090D 规格

我们安装的 GPU 数据来自 NVIDIA 的 RTX 40 系列文档以及 NVIDIA 的编码与解码支持矩阵。

RTX 4090D

Architecture

Ada Lovelace

GPU memory

24 GB GDDR6X

CUDA cores

14,592

Memory bandwidth

1,008 GB/s

Board power

425 W

GPU interface

PCIe Gen 4 x16

Hardware video encoders

2 NVENC, 1 NVDEC, AV1

Error-correcting memory

No

04选择

RTX 4090 服务器、RTX 3090 还是 RTX 5090？

这三款今天都在我们的货架上，可以装进相同的机器。所以问题不是哪款最新，而是哪款对您的工作来说值得这个差价。

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
GPUGPU memoryThe GPUCheapest complete machine
RTX 309024 GB GDDR6X$239$309.93
RTX 4090D24 GB GDDR6X$299$372.47
RTX 509032 GB GDDR7$399$472.47

RTX 3090 同样有 24 GB 显存，是获得这一容量更旧、更慢的方式。如果您需要的是显存容量而速度不那么重要，请先阅读 RTX 30 系列服务器页面。RTX 5090 升级到 32 GB GDDR7。它是一款 PCIe Gen 5 GPU，却要装进 Gen 3 和 Gen 4 平台，所以在您想当然认为更新就意味着更快之前，请阅读下一节和 RTX 5090 服务器页面。

05机器

RTX 4090D 装进哪台机器，以及它的 PCIe 链路

4090D 是一款 PCIe Gen 4 GPU。下面每个平台都显示了它获得的插槽以及这在实践中的意义。

Intel Xeon E5-2600 v3/v4

RTX 4090D

Slot: PCIe 3.0, 40 lanes per socket. GPU: PCIe Gen 4.

About half the bus the GPU was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the GPU.

Intel Xeon Silver / Gold

RTX 4090D

Slot: PCIe 3.0, 48 lanes per socket. GPU: PCIe Gen 4.

About half the bus the GPU was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the GPU.

AMD EPYC

RTX 4090D

Slot: PCIe 4.0, 128 lanes per socket. GPU: PCIe Gen 4.

Full width. The slot is at least the generation the GPU was designed for, so nothing is left on the table.

我们见过客户在旧平台上换用更新的 GPU，渲染速度反而比以前更慢。一旦场景或权重进入 GPU 显存，插槽就安静下来，其代际不再重要。只有当您的工作每一步都要跨插槽传输数据时，它才重要。告诉我们您要运行什么，我们会为您指出合适的机器。

06容量

24 GB GPU 显存能装下什么

仅计算权重。还要为上下文和运行时留出空间。

Weights only, rounded up. Fits means the GPU’s 24 GB holds the weights 1.5× over, room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a GPU on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the GPU out of memory.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB, fits8 GB, fits5 GB, fits
13-14 billion parameters28 GB, does not fit14 GB, fits8 GB, fits
30-34 billion parameters68 GB, does not fit34 GB, does not fit19 GB, tight
70 billion parameters140 GB, does not fit70 GB, does not fit38 GB, does not fit

另一个限制是功耗。一块 4090D 最高功耗 425 W，这就是为什么一台机器装多块需要单独报价，而不是一个可以勾选的选项。要从您的模型反推所需 GPU，请使用 LLM 显存容量页面。

07价格

RTX 4090D 服务器价格，含机器

GPU 是您发票上的一项，服务器是另一项。两者都来自结账时使用的订单目录，所以下面每个价格都属于它旁边的机器。

Read from the order catalogue when this page was served. The GPU is a separate line; the machine does not get dearer because of what is plugged into it.
GPUThe machine it goes inThe GPUComplete, per month
RTX 4090DIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0		$299$372.47
Configure this build →
RTX 4090DIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0		$299$382.67
Configure this build →
RTX 4090DAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0		$299$516.59
Configure this build →

端口双向不限流量，不收取出站流量费。服务器附带一个 IPv4 地址，没有合同，按月付费。要按同样方式比较我们安装的每一款 GPU 的价格，请见所有 GPU 服务器及价格。

08交付与支持

多久能拿到，谁来解答问题

取决于您下单时 GPU 在哪里。付款前会告知您适用以下哪种情况。

  1. 约 30 分钟

    已上架

    一台装好 GPU 的机器已经立在机架中。订单获批后约 30 分钟归您使用。

  2. 4 到 24 小时

    在我们的货架上

    我们把已有的 GPU 装进您选择的服务器。

  3. 5 到 10 个工作日

    采购中

    我们为您向分销商订购 GPU，然后装到您的服务器上。

下单前后的问题都可以到我们的在线聊天咨询。AI 助手几秒内作答，还能查询您的账户和服务器，您随时可以要求我们团队的人工客服加入。已上架并立即可用的机器见即时服务器。

09问题

关于租用 RTX 4090 服务器的常见问题

01RTX 4090D 和 RTX 4090 是一样的吗？

不完全一样。它采用相同的 AD102 芯片，拥有相同的 24 GB GDDR6X 显存、相同的 1,008 GB/s 带宽和相同的加速频率，但 CUDA 核心数为 14,592，而不是 16,384。NVIDIA 在美国出口管制覆盖完整版 4090 后，为中国市场推出了这款产品。它是真正的 NVIDIA GPU，并非换标产品。

02RTX 4090D 慢多少？

NVIDIA 官方表示在游戏和创意应用中大约慢 5%。在需要所有着色器满负荷运行的任务中，差距可能达到核心数差异所对应的 11%。任何受显存容量或显存速度限制的任务，表现与完整版 4090 相同。

03我可以选择完整版 RTX 4090 吗？

本页面不提供。我们配备的是 4090D，并且一开始就明确说明。如果您的工作确实需要额外的着色器，请在聊天中告诉我们您将运行什么，我们会告知能否采购到完整版 4090 以及需要多长时间。

044090D 支持 CUDA、PyTorch 和常规驱动吗？

支持。它被识别为 Ada Lovelace GeForce GPU，并使用标准 GeForce 驱动。所有能在 4090 上运行的 CUDA 版本、框架构建和渲染器都能在它上面运行。区别在于核心数量，而非架构。

05GPU 会与他人共享吗？

不会。您将获得一台其他人无法使用的机器上的完整 GPU，直接直通到您自己的操作系统。没有虚拟机监控程序，没有 vGPU 拆分，也没有分时共享。您可以自行安装并固定驱动和 CUDA 版本，不会有任何后台自动升级。

0624 GB 显存，我该租 RTX 4090D 还是 RTX 3090？

如果您只需要显存容量，RTX 3090 通常是更划算的选择：同样 24 GB，更老但通常月租更便宜，如对比表所示。4090D 明显更快，并且增加了 3090 所不具备的 AV1 编码功能。当您的任务需要连续运行或涉及视频处理时，请选择它。

07可以在一台服务器中安装两块 RTX 4090D GPU 吗？

可以，但需要定制报价，而非直接下单选项。每块功耗最高 425 W，且没有 NVLink，因此两块是独立的 24 GB 显存池。请告诉我们您计划运行什么，我们会回复机器配置，或查看多 GPU 服务器。

08多久能拿到 RTX 4090 独立服务器？

如果机架上的机器已配备该 GPU，审核通过后约 30 分钟即可交付；如果库存中有货，需要 4 到 24 小时；如果需要采购，则需要 5 到 10 个工作日。付款前我们会告知您适用哪种情况。机架上的机器列在即时服务器页面。

选择您的 RTX 4090D 配置，查看完整价格

每个配置的价格已在上方与服务器一同列出。选择一款，进行配置，订单会在您付款前显示每月总价。

选择配置 对比所有 GPU