RTX 3090 · 3080 Ti · 3080 · 3070 Ti · 3070

RTX 30 系列 — 五张卡,8 GB 到 24 GB

2020 年的 Ampere 消费级芯片,至今仍在机架上、仍在出租,因为它在真正擅长的领域无可替代:目录中每英镑能买到的算力最多。唯一值得写一页的问题是五张里选哪一张,而诚实的答案通常取决于一个数字 — 你需要多少显存。

8、10、12 和 24 GB 无 ECC 一个编码器,无 AV1

把你的 GPU 变成每月被动收入

有闲置的服务器或台式机 GPU 配置?今天就上架到 Primcast 市场,从需要生产级算力的 AI 团队、开发者和企业那里赚取稳定的月租。

前往市场

五张里选哪一张

从最便宜的开始。往下读,直到显存那一列满足你的需求,然后停下 — 它上面的卡在同一工作上更快,但并不能做不同的事。

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
RTX 30708 GB GDDR6$139$209.93
RTX 3070 Ti8 GB GDDR6X$149$222.47
RTX 308010 GB GDDR6X$159$229.93
RTX 3080 Ti12 GB GDDR6X$199$272.47
RTX 309024 GB GDDR6X$239$309.93

那张表中间的陷阱

我们的 RTX 3080 是原版 10 GB 卡,拥有 8,704 个 CUDA 核心。NVIDIA 后来推出了 12 GB 版本,核心数为 8,960,而其他地方的许多列表把 12 GB 的数字标在了更便宜的卡旁边。十 GB 不是十二 GB:它决定了能否以八位精度装下一个 130 亿参数的模型。如果你在对照别处看到的数字来选型,请对照我们的数字。

另一个要注意的是从 3080 Ti 到 3090 的这一步。这是梯子上最大的容量跳跃 — 从十二 GB 到二十四 GB — 也是五张卡中唯一超过 24 GB 的。如果你需要这个容量,本页更便宜的选择都不行,替代方案在整个目录,已标价

规格,按 NVIDIA 发布的数据

第二代光线追踪核心、第三代张量核心、全线 PCIe Gen 4。数据来自 NVIDIA 自家的 GeForce 对比页面,在本页源码中已注明出处。

RTX 3090

Architecture

Ampere

Card memory

24 GB GDDR6X

CUDA cores

10,496

Memory bandwidth

936 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

RTX 3080 Ti

Architecture

Ampere

Card memory

12 GB GDDR6X

CUDA cores

10,240

Memory bandwidth

912 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

RTX 3080

Architecture

Ampere

Card memory

10 GB GDDR6X

CUDA cores

8,704

Memory bandwidth

760 GB/s

Board power

320 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

RTX 3070 Ti

Architecture

Ampere

Card memory

8 GB GDDR6X

CUDA cores

6,144

Memory bandwidth

608 GB/s

Board power

290 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

RTX 3070

Architecture

Ampere

Card memory

8 GB GDDR6

CUDA cores

5,888

Memory bandwidth

448 GB/s

Board power

220 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

它们擅长什么,不擅长什么

这些卡已经六年了,我们还没有退役它们,因为对大量实际工作而言,它们仍然是正确的选择,而不是妥协。

擅长:便宜的容量

RTX 3090 拥有与两代之后的 RTX 4090 D 相同的 24 GB,每月花费更低。当你买的是容量、而墙钟速度不是决定性约束时,旧卡就是更好的选择。

擅长:游戏服务器和批处理工作

消费级芯片是消费级软件编写和测试所针对的对象。游戏服务器、批量渲染、业余微调、可以重跑的推理 — 任何出错一位只是重试而非灾难的工作 — 在这里以专业级价格的一小部分运行。

不擅长:现代视频管线

每张卡一个编码器和一个解码器,五张卡都没有 AV1 编码 — AV1 编码要到 RTX 40 系列才有。如果你的管线是 AV1,这一代无法在硬件上完成,答案是 RTX 4090 D 或 L40S。

不擅长:长时间无人值守运行

它们都没有纠错内存,也没有认证的专业驱动。对于以周为单位、无检查点的运行,或只授权给专业卡的软件,请改选工作站货架上的卡。

它们装进哪台机器,以及在那里获得什么链路

每张 RTX 30 卡都是 PCIe Gen 4 部件。搭载它们的四个平台中,三个是 Gen 3,一个是 Gen 4。

Intel Xeon E5-2600 v1/v2

RTX 3090, RTX 3080, RTX 3070

Slot: PCIe 3.0, 40 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon E5-2600 v3/v4

RTX 3090, RTX 3080 Ti, RTX 3080, RTX 3070 Ti, RTX 3070

Slot: PCIe 3.0, 40 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon Silver / Gold

RTX 3090, RTX 3080 Ti, RTX 3080, RTX 3070 Ti, RTX 3070

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

RTX 3080

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

对这一代来说,插槽很少起决定作用:一张能装下自己场景或自己权重的卡,一旦加载完成就几乎不碰总线,而且这些卡也不是任何人会向它们流式传输海量训练批次的对象。这里记录这一点是因为它属实,也因为我们为每张卡都公布它,而不是因为它应该改变你的想法。

实际能装下什么:梯子顶端的 24 GB 卡

Weights only, rounded up. Fits means the card’s 24 GB holds the weights 1.5× over — room for the KV cache, the activations and the runtime, and the only verdict the LLM sizing page recommends a card on. Tight clears 1.25× only: the model loads, and a long context or a second user runs the card out.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — does not fit14 GB — fits8 GB — fits
30-34 billion parameters68 GB — does not fit34 GB — does not fit19 GB — tight
70 billion parameters140 GB — does not fit70 GB — does not fit38 GB — does not fit

把那张表往下读一格,就是梯子往下走一步。3080 Ti 有十二 GB,3080 有十 GB,3070 Ti 和 3070 各八 GB — 所以一个七八十亿参数的模型以八位精度计算,大致就是本页底端能容纳的极限,更大的都需要 3090 或完全不同的货架。

那张表回答的是“什么能装进这张卡”。反过来问 — 一个模型需要多少显存,哪张卡能装下 — 则有专门的页面

它们连同所装机器一起的价格

卡是发票上的一行,机器是另一行。下面两半都来自订单目录的同一次读取,所以价格和旁边的规格始终彼此对应。

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX 3070Intel Xeon E5-2600 v1/v2
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · PCIe 3.0
$139$209.93
Configure this build →
RTX 3070Intel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$139$212.47
Configure this build →
RTX 3070 TiIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$149$222.47
Configure this build →
RTX 3070Intel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$139$222.67
Configure this build →
RTX 3080Intel Xeon E5-2600 v1/v2
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · PCIe 3.0
$159$229.93
Configure this build →
RTX 3080Intel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$159$232.47
Configure this build →
RTX 3070 TiIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$149$232.67
Configure this build →
RTX 3080Intel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$159$242.67
Configure this build →
RTX 3080 TiIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$199$272.47
Configure this build →
RTX 3080 TiIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$199$282.67
Configure this build →
RTX 3090Intel Xeon E5-2600 v1/v2
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · PCIe 3.0
$239$309.93
Configure this build →
RTX 3090Intel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$239$312.47
Configure this build →
RTX 3090Intel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$239$322.67
Configure this build →
RTX 3080AMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$159$376.59
Configure this build →

带宽双向不限量、无出口费用,包含一个 IPv4 地址,无合同,默认期限为一个月。关于我们装配的其他每一张卡,以同样方式标价,请阅读整个目录,已标价。关于今天已上架就绪的机器,/instant。关于我们为什么仍出租别人都已退役的硬件,/value

人们对这一代真正会问的问题

你们的 RTX 3080 是 10 GB 版还是 12 GB 版?

10 GB 版,8,704 个 CUDA 核心 — 首发原版。12 GB 修订版有 8,960 个核心,我们不装配。这比两个 GB 的差距更重要,因为一个 130 亿参数的模型以八位精度计算需要约十四 GB,两个版本都装不下,而更小的模型两个版本都能轻松装下。

为什么要租一张 2020 年的卡?

因为大多数 GPU 工作不是训练前沿模型。它是运行已经装得下的东西、编码视频、渲染帧或运行游戏服务器,而对所有这些来说,正确的卡往往是两代之前、花费只有零头的卡。RTX 3090 拥有与两代之后的卡相同的二十四 GB。这就是全部论点,/value 有更长的版本。

我能在一台机器里放两张吗?

这是我们报价的配置,而不是你勾选的选项,因为数量取决于机箱、卡的物理宽度和功率预算。询问后,回复会写明机箱、数量和交付周期。注意两张卡是两个独立的内存池:一个装不进单张 3090 的模型,如果不刻意拆分,也装不进两张。

这张卡会和别人共享吗?

不会。每台物理机一个租户,卡直接透传给你自己的操作系统 — 没有虚拟机监控程序、没有分区、没有时间切片。你安装并固定自己的驱动和 CUDA 版本,没有任何东西会在你不知情的情况下升级。

我多久能拿到?

取决于卡是已经装好、已经在我们的货架上,还是需要采购 — 而且你在付款前就会被告知是哪种情况。/instant 列出了现在就上架就绪的机器。