RTX 3090·3080钛·3080·3070钛·3070

RTX 30 系列——五款显卡,显存容量从 8GB 到 24GB 不等

2020 年的安培架构消费级芯片,至今仍被闲置在货架上,仍然有人租用,因为它真正的优势至今无人能及:在同类产品中,它的运算能力是同价位产品中最强的。唯一值得深入探讨的问题是,这五款芯片中哪一款更适合你,而诚实的答案通常取决于一个数字——你需要多少内存。

8、10、12 和 24 GB无ECC一个编码器,没有AV1

五个中的哪一个

先看最便宜的。向下浏览内存列,直到找到你需要的内存条为止——上面的内存条在执行相同任务时速度更快,但无法执行其他任务。

Cheapest complete machine first. Every figure read from the order catalogue when this page was served.
CardCard memoryThe cardCheapest complete machine
RTX 30708 GB GDDR6$139$209.93
RTX 3070 Ti8 GB GDDR6X$149$222.47
RTX 308010 GB GDDR6X$159$229.93
RTX 3080 Ti12 GB GDDR6X$199$272.47
RTX 309024 GB GDDR6X$239$309.93

桌子中间的陷阱

我们的 RTX 3080 是最初的10GB显存版本,拥有 8704 个 CUDA 核心。NVIDIA 后来推出了 12GB 显存版本,拥有 8960 个 CUDA 核心,很多其他地方的评测信息都把 12GB 显存的版本和价格更低的版本放在一起比较。10GB 和 12GB 并不相同:这相当于能否以 8 位精度存储一个包含 130 亿个参数的模型。如果您正在参考其他地方的数据来选择显卡,请以我们的数据为准。

另一个值得关注的升级是从 3080 Ti 到 3090。这是该系列显卡中容量提升最大的一次——从 12 GB 到 24 GB——也是五款显卡中唯一一款容量超过 24 GB 的。如果您需要 24 GB 的容量,本页上没有更便宜的选择,其他替代产品请查看完整产品目录,价格另议

NVIDIA 公布的规格说明

第二代光线追踪核心、第三代张量核心、全线支持 PCIe Gen 4。数据来自 NVIDIA 官方 GeForce 对比页面,本页面来源已注明。

RTX 3090

Architecture

Ampere

Card memory

24 GB GDDR6X

CUDA cores

10,496

Memory bandwidth

936 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

RTX 3080 Ti

Architecture

Ampere

Card memory

12 GB GDDR6X

CUDA cores

10,240

Memory bandwidth

912 GB/s

Board power

350 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

RTX 3080

Architecture

Ampere

Card memory

10 GB GDDR6X

CUDA cores

8,704

Memory bandwidth

760 GB/s

Board power

320 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

RTX 3070 Ti

Architecture

Ampere

Card memory

8 GB GDDR6X

CUDA cores

6,144

Memory bandwidth

608 GB/s

Board power

290 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

RTX 3070

Architecture

Ampere

Card memory

8 GB GDDR6

CUDA cores

5,888

Memory bandwidth

448 GB/s

Board power

220 W

Card interface

PCIe Gen 4 x16

Hardware video encoders

1 NVENC, 1 NVDEC, no AV1 encode

Error-correcting memory

No

他们擅长什么,以及他们不擅长什么。

这些卡片已经使用了六年,但我们还没有弃用它们,因为对于很大一部分实际工作而言,它们仍然是正确的选择,而不是妥协之举。

优点:低成本产能

RTX 3090 和两代之后的 RTX 4090 D 拥有相同的 24GB 显存,但 RTX 4090 的月供更低。如果您更看重显存容量而非核心频率,那么老款显卡无疑是更佳选择。

擅长:游戏服务器和批处理

消费级芯片是消费软件编写和测试的基准。游戏服务器、批量渲染、业余微调、可重运行的推理——任何错误比特位只需重试而不是导致灾难性后果的应用——都可以在这里运行,而且价格仅为专业级芯片的一小部分。

不擅长:现代视频流水线

每张卡配备一个编码器和一个解码器,五款显卡均不支持AV1编码——AV1编码功能将在RTX 40系列中推出。如果您的流水线需要AV1编码,这一代显卡无法通过硬件实现,您需要选择RTX 4090D或L40S。

不擅长:长时间无人看管的运行

这些显卡都没有纠错内存,也没有经过认证的专业驱动程序。如果需要运行数周且不进行检查点设置,或者需要使用仅限专业显卡使用的软件,请改用工作站机架上的显卡。

他们进入哪台机器,以及他们通过哪条线路连接到那里。

所有RTX 30系列显卡均为PCIe Gen 4接口。支持这些显卡的四个平台中,三个是Gen 3接口,一个是Gen 4接口。

Intel Xeon E5-2600 v1/v2

RTX 3090, RTX 3080, RTX 3070

Slot: PCIe 3.0, 40 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon E5-2600 v3/v4

RTX 3090, RTX 3080 Ti, RTX 3080, RTX 3070 Ti, RTX 3070

Slot: PCIe 3.0, 40 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

Intel Xeon Silver / Gold

RTX 3090, RTX 3080 Ti, RTX 3080, RTX 3070 Ti, RTX 3070

Slot: PCIe 3.0, 48 lanes per socket. Card: PCIe Gen 4.

About half the bus the card was designed for. That costs a training loop streaming batches off the host; it costs an inference server or a transcoder nothing, because the weights are already on the card.

AMD EPYC

RTX 3080

Slot: PCIe 4.0, 128 lanes per socket. Card: PCIe Gen 4.

Full width. The slot is at least the generation the card was designed for, so nothing is left on the table.

对于这一代卡片来说,插槽很少起到决定性作用:一张拥有独立场景或权重的卡片,一旦加载完毕,几乎不会再占用总线资源,而且这些卡片也并非用于传输海量训练数据。我们在此记录这一点,是因为这是事实,并且我们会针对每张卡片发布此信息,并非希望它能改变您的想法。

真正合适的是:排在最顶端的 24GB 存储卡。

Weights only, rounded up. A row counts as fitting when it leaves a fifth of the card’s 24 GB free for the KV cache, the activations and the runtime — which is head-room, not luxury.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB — fits8 GB — fits5 GB — fits
13-14 billion parameters28 GB — does not fit14 GB — fits8 GB — fits
30-34 billion parameters68 GB — does not fit34 GB — does not fit19 GB — fits
70 billion parameters140 GB — does not fit70 GB — does not fit38 GB — does not fit

按层级向下阅读表格,每向下一步,对应不同的显卡。3080 Ti 拥有 12 GB 内存,3080 为 10 GB,3070 Ti 和 3070 均为 8 GB——因此,一个拥有 70 亿到 80 亿参数、8 位精度的显卡大致位于本页底部,而更大的显卡则需要 3090 或完全不同的配置。

它们的成本,以及它们所使用的机器。

发票上的卡片是一行,机器是另一行。以下两部分均来自同一订单目录,因此价格和旁边的规格始终相互对应。

Read from the order catalogue when this page was served. The card is a separate line; the machine does not get dearer because of what is plugged into it.
CardThe machine it goes inThe cardComplete, per month
RTX 3070Intel Xeon E5-2600 v1/v2
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · PCIe 3.0
$139$209.93
Configure this build →
RTX 3070Intel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$139$212.47
Configure this build →
RTX 3070 TiIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$149$222.47
Configure this build →
RTX 3070Intel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$139$222.67
Configure this build →
RTX 3080Intel Xeon E5-2600 v1/v2
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · PCIe 3.0
$159$229.93
Configure this build →
RTX 3080Intel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$159$232.47
Configure this build →
RTX 3070 TiIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$149$232.67
Configure this build →
RTX 3080Intel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$159$242.67
Configure this build →
RTX 3080 TiIntel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$199$272.47
Configure this build →
RTX 3080 TiIntel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$199$282.67
Configure this build →
RTX 3090Intel Xeon E5-2600 v1/v2
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · PCIe 3.0
$239$309.93
Configure this build →
RTX 3090Intel Xeon E5-2600 v3/v4
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · PCIe 3.0
$239$312.47
Configure this build →
RTX 3090Intel Xeon Silver / Gold
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · PCIe 3.0
$239$322.67
Configure this build →
RTX 3080AMD EPYC
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps · PCIe 4.0
$159$376.59
Configure this build →

带宽双向不限量,无出口费用,包含一个 IPv4 地址,无合约,默认租期为一个月。其他所有网卡均按相同方式定价,请阅读完整产品目录了解详情。如需了解我们为何仍然出租其他公司已淘汰的硬件,请访问/ instant

人们真正会问的关于这一代人的问题

你的RTX 3080是10GB显存的还是12GB显存的?

10GB 的显卡拥有 8704 个 CUDA 核心——这是最初的发布版本。12GB 的版本拥有 8960 个核心,但我们无法安装。这比 2GB 的容量差异更重要,因为一个 8 位精度、130 亿参数的模型需要大约 14GB 的内存,无法完成上述任何一项测试,而一个较小的模型却可以轻松完成这两项测试。

为什么要租一张 2020 年的卡呢?

因为大多数GPU工作并非训练前沿模型,而是服务于一些已经适用的任务,例如视频编码、帧渲染或运行游戏服务器。对于这些任务,合适的显卡往往是两代之前的型号,价格也便宜得多。RTX 3090的显存容量与两代之后的显卡相同,都是24GB。这就是全部论点, /value对此进行了更详细的阐述。

我可以把其中两个放进一台机器里吗?

我们提供的是配置报价,而不是简单的勾选选项,因为显卡数量取决于机箱、显卡的物理宽度和功耗预算。如有疑问,我们会回复您机箱型号、显卡数量和交货周期。请注意,两张显卡对应两个独立的内存池:如果某个型号的显卡无法装入一张 3090 机箱,那么除非将内存拆分,否则也无法装入两张 3090 机箱。

这张卡是否与其他人共用?

不。每台物理机仅限一个租户,而且该卡直接通配到您自己的操作系统——无需虚拟机管理程序、分区或时间片轮转。您需要自行安装并锁定驱动程序和 CUDA 版本,底层系统不会进行任何升级。

我最快什么时候可以拿到?

这取决于卡片是否已安装、是否已上架,或者是否需要进货——付款前我们会告知您具体情况。/instant 列出目前已上架且可用的机器。