GeForce RTX 4090 D · 24 GB GDDR6X

RTX 4090D — 以及它为何不是 RTX 4090

我们安装的显卡是 4090 D,即 NVIDIA 为中国市场打造的出口合规版本。它不是换标产品,也不是假货:它是一块真正的 AD102 显卡,着色器数量更少,但同样拥有 24 GB 显存。如果您是来寻找 4090 服务器的,本页会在您付款之前告诉您两者的区别。

24 GB GDDR6X 双编码器,AV1 无 ECC

把您的 GPU 变成每月被动收入

有闲置的服务器或台式机 GPU 配置吗?今天就上架到 Primcast 市场,从需要生产级算力的 AI 团队、开发者和企业那里赚取稳定的月租。

前往市场

D 的含义

2023 年 12 月,美国商务部设定了一个出口门槛,而 RTX 4090 超出了这一门槛。NVIDIA 削减了一个版本来满足要求,并在中国销售该版本:RTX 4090 D。它于 2023 年 12 月 28 日发布,拥有 14,592 个 CUDA 核心,而完整版为 16,384 个 — 着色器数量约少百分之十一。

其他方面都是同一块显卡。384 位总线上搭载 24 GB GDDR6X,相同的 1,008 GB/s 显存带宽,相同的 2.52 GHz 加速频率,相同的第三代光线追踪核心和第四代张量核心,相同的两个 AV1 编码器。任何依赖显存容量或显存速度的部分都完全不变,这涵盖了租用显卡的大部分用途:能装进 24 GB 的模型依然装得下,能传输的帧依然能传输。

它真正让您付出代价的地方,是在着色器满载的工作上的原始算术吞吐量 — 一次漫长的渲染、一次批量训练。预算比完整 4090 少大约十分之一,您就不会感到意外。我们在这里如实说明,而不是在页面上印着“RTX 4090”让您自己去发现,而大多数挂牌正是这么做的。

Across the 57 cards in the catalogue: RTX 4090D holds 24 GB, 13 cards we fit hold more, and 11 cost more per month. Read the whole ladder on the whole catalogue, priced.

官方公布的规格

Ada Lovelace。数据来自 NVIDIA 自己的 RTX 40 系列文档,本页源代码中已注明出处。

RTX 4090D

Architecture

Ada Lovelace

Card memory

24 GB GDDR6X

CUDA cores

14,592

Memory bandwidth

1,008 GB/s

Board power

425 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

2 NVENC, 1 NVDEC, AV1

Error-correcting memory

No

它擅长什么,不擅长什么

这是一块装在机架里的消费级显卡。这既是它的全部优势,也是它的全部局限,两者都值得直说。

擅长:单位英镑的算力

GeForce 芯片是购买这么多算力最便宜的方式。价格里没有专业驱动授权费,也没有数据中心溢价,所以对于那些算错一位意味着重试而非灾难的工作 — 批量渲染、游戏服务器、业余训练、可以重跑的推理 — 它很难被超越。

擅长:视频,与加速卡不同

两个带 AV1 的硬件编码器和一个解码器。一块 4090 D 可以全天转码。产品目录中更高端的 A100 和 H100 在硬件上连一帧视频都无法编码 — 它们根本没有编码器 — 所以对于任何涉及视频的工作,这块显卡不是妥协,而是正确答案。

不擅长:任何需要超过 24 GB 显存的任务

24 GB 是一堵墙,而且它比人们预想的来得更早:一个 130 亿参数的模型在 8 位精度下装得下,同样的模型在 16 位精度下装不下,而一个 700 亿参数的模型在任何精度下都装不下。下面的表格对此有精确说明。

不擅长:无法容忍一个位翻转的工作

没有纠错内存,也没有经过认证的专业驱动。对于没有检查点的数周运行,或者许可证要求使用专业显卡的工作负载,答案应该是工作站货架上的显卡。那些都在完整目录中,已标价。

它取代了什么,什么又取代了它

来自我们自己的货架,而非厂商路线图。这三款今天都可以订购,装在相同的机箱里,所以问题不在于哪款最新,而在于哪款值得这个差价。

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
RTX 309024 GB GDDR6X$239$309.93
RTX 4090D24 GB GDDR6X$299$372.47
RTX 509032 GB GDDR7$399$472.47

RTX 3090 拥有相同的 24 GB,是获得这一容量更旧、更慢、更便宜的方式 — 如果您买的是容量而不是速度,在花掉差价之前请先阅读 RTX 30 系列页面。RTX 5090 升级到 32 GB,并且是在 Gen 3 和 Gen 4 平台上的 PCIe Gen 5 显卡,所以在假定更新就是更快之前,请先阅读下面一节。

它装进哪台机器,以及在那里获得什么链路

4090 D 是一块 PCIe Gen 4 显卡。我们三款支持它的平台中,两款是 Gen 3,一款是 Gen 4。

Intel Xeon E5-2600 v3/v4

RTX 4090D

Slot: PCIe 3.0, 40 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon Silver / Gold

RTX 4090D

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

RTX 4090D

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

这就是工单 #3347 背后的事实:一位客户在旧平台上换上了新显卡,渲染速度反而比以前更慢。一旦场景或权重驻留在显卡上,插槽就空闲了,它的代际就不再重要。只有当工作每一步都要跨越插槽时,它才重要。

24 GB 实际能装下什么

Weights only, rounded up. Fits means the card’s 24 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — does not fit14 GB — fits8 GB — fits
30-34 billion parameters68 GB — does not fit34 GB — does not fit19 GB — tight
70 billion parameters140 GB — does not fit70 GB — does not fit38 GB — does not fit

另一个上限是功耗:这块显卡单独就能消耗高达 425 W,这就是为什么在一个机箱里装多块这样的显卡,是我们需要报价的定制方案,而不是您勾选一下就能买的选项。

那张表回答了“什么能装进这块显卡”。反过来问 — 一个模型需要多少显存,哪块显卡能满足 — 则有专门的页面。

搭配整机的价格

显卡是发票上的一行,机器是另一行。下面两部分都来自订单目录的同一次读取,因此价格和旁边的规格始终相互对应。

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX 4090DIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$299$372.47
Configure this build →
RTX 4090DIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$299$382.67
Configure this build →
RTX 4090DAMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$299$516.59
Configure this build →

带宽双向不限量,无出口费用,包含一个 IPv4 地址,无合同,默认期限为一个月。关于我们安装的其他每一块显卡,以同样方式标价,请阅读完整目录,已标价。关于今天已上架就绪的机器,请访问 /instant。

人们真正会问的关于这块显卡的问题

如果我要求,能拿到完整的 RTX 4090 吗?

本页不会提供。我们安装的是 4090 D,页面如实说明,而不是印着“RTX 4090”心存侥幸。如果您的工作确实需要那多出的百分之十一着色器,请告诉我们具体是什么工作,我们会说明能否采购到该部件以及交货期,而不是把 D 版发出去然后称之为 4090。

D 版会影响 CUDA、驱动或软件兼容性吗?

不会。它被识别为 Ada Lovelace GeForce 显卡,使用普通的 GeForce 驱动,每一个能在 4090 上运行的 CUDA 版本、框架构建和渲染器都能在它上面运行。区别在于着色器数量,而非架构。

这块显卡会与其他人共享吗?

不会。每台物理机只有一个租户,显卡直接直通给您自己的操作系统 — 没有虚拟机监控程序,没有分区,没有时间片轮转。您自己安装并固定驱动和 CUDA 版本,底层不会有任何东西在您不知情的情况下升级。

如果我只在乎 24 GB,选 4090 D 还是 RTX 3090?

那么 3090 很可能是更划算的选择,上面的阶梯图显示了差距。4090 D 明显更快,并且有 3090 没有的 AV1 编码;3090 以更低的月费提供相同的容量。如果模型两者都装得下,而且运行不是连续不断的,那么旧款显卡在算术上更胜一筹。

我多久能拿到一块?

这取决于显卡是已经装好、已经在我们的货架上,还是需要采购 — 在您付款之前我们会告诉您是哪种情况。/instant 列出了现在就已上架就绪的机器。