GPU 服务器 · RTX 50 系列
RTX 5090 独立服务器 配备 32 GB 显存，为您的模型和渲染而生
RTX 5090 独立服务器是您按月租用的整台机器，内置 NVIDIA’s RTX 5090：32 GB GDDR7，直通到您自己的操作系统。没有其他人使用 GPU 或服务器，端口不限流量，且无需签订合同。如果 16 GB 对您的工作已经足够，RTX 5080 以更低的价格进入同样的机架。
| 项目 | RTX 5090 | RTX 5080 |
|---|---|---|
| GPU 显存 | 32 GB GDDR7 | 16 GB GDDR7 |
| 显存位宽 | 512-bit | 256-bit |
| CUDA 核心 | 21,760 | 10,752 |
| 加速频率 | 2.41 GHz | 2.62 GHz |
| AV1 编码器 | 3 | 2 |
| 功耗 | 575 W | 360 W |
| GPU 接口 | PCIe Gen 5 | PCIe Gen 5 |
拥有一台闲置的 RTX 50 系列机器？
把它挂到 Primcast 市场上，自己定每月价格，让需要算力的人从您这里租用。
00市场
或者从拥有者手中租用 RTX 50 系列 GPU
拥有者把他们的 RTX 50 系列机器放到我们的市场上，自己设定每月价格。标记为由我们姊妹公司 Server Room 持有的列表，则在 serverroom.net 上租用，而不是在这里。
01用途
您可以在 RTX 5090 AI 服务器上运行什么
这是 NVIDIA’s 最大的消费级 GPU，装在机架里。您以实惠的价格获得大量算力和显存，同时也要接受消费级硬件带来的限制。
01AI 模型
在 32 GB 内进行推理和微调
一个 300 亿参数的模型以 4 位量化可以轻松容纳，一个 130 亿参数的模型以 8 位量化也可以。同一个 130 亿参数的模型以全 16 位精度则没有足够空间来提供服务。下面的容量表展示了每种情况。
02渲染
大型场景留在 GPU 显存中
只要场景能装进 GPU，GPU 渲染器就很快。32 GB 能容纳的几何体和纹理远多于低一档的 24 GB GPU，而且一批帧可以在夜间渲染，您自己的工作站在此期间保持空闲。
03视频
一块 GPU 上三个 AV1 编码器
RTX 5090 拥有三个硬件视频编码器和两个解码器，因此可以同时转码多路流。A100 和 H100 加速器则完全没有编码器。对于直播频道，请参阅我们的转码服务器。
04限制
无纠错内存
GeForce GPU 没有 ECC，也没有经过认证的专业驱动程序。当错误结果只意味着重新运行时，这没问题。对于持续数周且没有检查点的运行，或仅在专业 GPU 上获得许可的软件，请查看配备 96 GB 和 ECC 的 RTX PRO 6000。
02规格
NVIDIA RTX 5090 和 RTX 5080 规格
NVIDIA 公布的两款 RTX 50 系列 GPU 的数据，我们安装的就是这两款。两者都采用 Blackwell 架构，配备第五代 Tensor Core 和第四代 RT Core。
RTX 5090
Blackwell
32 GB GDDR7
21,760
512-bit
2.41 GHz
575 W
PCIe Gen 5 x16
3 NVENC (9th generation), 2 NVDEC, AV1
No
RTX 5080
Blackwell
16 GB GDDR7
10,752
256-bit
2.62 GHz
360 W
PCIe Gen 5 x16
2 NVENC (9th generation), 2 NVDEC, AV1
No
03订购之前
每台机器中 RTX 5090 所获得的 PCIe 插槽
两款 GPU 都是为 PCIe Gen 5 设计的。我们安装它们的每个平台都是 Gen 3 或 Gen 4，因此 GPU 与服务器之间的链路运行速度低于 GPU 的设计值。以下是每台机器为它提供的规格。
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
我们提前说明这一点，因为之前有客户遇到过：RTX 5090 在 Gen 3 平台上渲染速度比它替换的 RTX 4090 还慢。较慢的插槽只有在您的工作需要不断通过它传输数据时才会造成影响，比如训练循环每一步都从主机加载新批次。推理、转码和游戏服务器在一切加载完成后几乎不会触及它。不确定您属于哪种情况？在聊天中告诉我们您要运行什么，我们会为您推荐合适的机器。
04较小的那一款
RTX 5080 服务器：同代产品，配备 16 GB
RTX 5080 拥有相同的 Blackwell 设计、同代 AV1 编码器和相同的 PCIe Gen 5 接口，CUDA 核心和显存约为 RTX 5090 的一半。
RTX 5080 足够的情况
您的模型在 16 GB 内还有余量：一个 70 亿参数的模型以 8 位量化，或一个 130 亿参数的模型以 4 位量化。或者工作是视频，它的两个 AV1 编码器就能胜任，或者是一个永远不会占满 GPU’s 显存的游戏服务器。
值得为 RTX 5090 付费的情况
您的模型或场景大于 16 GB，或者您需要额外的显存来支持更长的上下文和更多同时在线用户。两倍的显存和两倍宽的位宽才是真正的区别；时钟速度很接近。
05容量
32 GB 和 16 GB GPU 显存能容纳什么
仅计算权重。请为上下文和运行时预留额外空间。
RTX 5090，32 GB
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB: fits | 8 GB: fits | 5 GB: fits |
| 13-14 billion parameters | 28 GB: does not fit | 14 GB: fits | 8 GB: fits |
| 30-34 billion parameters | 68 GB: does not fit | 34 GB: does not fit | 19 GB: fits |
| 70 billion parameters | 140 GB: does not fit | 70 GB: does not fit | 38 GB: does not fit |
RTX 5080，16 GB
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB: does not fit | 8 GB: fits | 5 GB: fits |
| 13-14 billion parameters | 28 GB: does not fit | 14 GB: does not fit | 8 GB: fits |
| 30-34 billion parameters | 68 GB: does not fit | 34 GB: does not fit | 19 GB: does not fit |
| 70 billion parameters | 140 GB: does not fit | 70 GB: does not fit | 38 GB: does not fit |
功耗是另一个限制。一块 RTX 5090 最高功耗可达 575 W，这就是为什么同一台机器中安装第二块是我们单独报价的配置，而不是结账时的选项。要从您的模型出发找到所需的 GPU，请使用LLM 显存容量计算页面。
06选择
RTX 5090 服务器、RTX 4090D 还是 RTX 3090？
这些 GPU 可以安装到相同的机器中，因此更新并不自动意味着更适合您。请根据您的工作比较显存和每月价格。
| GPU | GPU memory | GPU alone | Cheapest complete machine |
|---|---|---|---|
| RTX 3090 | 24 GB GDDR6X | $239 | $309.93 |
| RTX 5080 | 16 GB GDDR7 | $229 | $312.67 |
| RTX 4090D | 24 GB GDDR6X | $299 | $372.47 |
| RTX 5090 | 32 GB GDDR7 | $399 | $472.47 |
RTX 4090D 和 RTX 3090 都拥有 24 GB 显存。它们是 PCIe Gen 4 GPU，因此插槽对它们的限制小于对 RTX 50 系列的限制。如果您的工作在 24 GB 内就能完成，请在决定前阅读RTX 4090 独立服务器页面和RTX 30 系列服务器页面。
07价格
RTX 5090 和 RTX 5080 服务器价格，含整机
您的发票上 GPU 一行，服务器另一行。两者都来自结账时使用的同一订单目录，下面的每个价格都属于其旁边的机器。
| GPU | The machine it goes in | GPU alone | Complete, per month |
|---|---|---|---|
| RTX 5080 | Intel Xeon Silver / Gold | $229 | $312.67 Configure this build → |
| RTX 5090 | Intel Xeon E5-2600 v3/v4 | $399 | $472.47 Configure this build → |
| RTX 5090 | Intel Xeon Silver / Gold | $399 | $482.67 Configure this build → |
| RTX 5090 | AMD EPYC | $399 | $616.59 Configure this build → |
双向流量均不计费，也没有出站流量费。每台服务器都配备一个 IPv4 地址，您按月付费，可以在任何一个月结束时离开。要查看我们安装的所有 GPU 及同样方式标明的价格，请访问所有 GPU 服务器及价格。
08交付与帮助
您的 RTX 5090 服务器何时就绪，以及谁来帮助您
交付时间取决于您订购时 GPU 所在的位置。付款前在聊天中询问，我们会告诉您以下哪种情况适用于您的配置。
- 约 30 分钟
已在机架中
如果机架中的机器已经安装了 GPU，您的订单获批后约 30 分钟即可交付。
- 4 到 24 小时
在我们的货架上
我们手头有 GPU，并将其安装到您选择的服务器中。
- 5 到 10 个工作日
为您订购
我们从分销商处购买 GPU，并在到货后立即安装。
订购前后都可以在我们的聊天中提出任何问题。AI 助手会在几秒内回复，并可以查看您的账户和服务器，我们的团队成员随时可以在您要求时介入。已上架并立即可用的机器在即时服务器上。
09问题
关于租用 RTX 5090 服务器的常见问题
01租用 RTX 5090 独立服务器我能得到什么？
一台完整的物理服务器，内置一块 RTX 5090，按月租用。整块 GPU 直通到你自己的操作系统，没有虚拟机监控程序，没有 vGPU 拆分，也没有分时共享。你可以自行安装所需的驱动和 CUDA 版本，不会有人在背后改动它们。
02有 RTX 5090 服务器版吗？
没有。NVIDIA 不生产 RTX 5090 的服务器版本。其面向服务器的被动散热 Blackwell GPU 是 RTX PRO 6000 Blackwell Server Edition，配备 96 GB 显存并支持 ECC。我们也提供 RTX PRO 6000：请参阅 RTX PRO 6000 独立服务器页面。我们出租的 RTX 5090 是 NVIDIA’s 的 GeForce 产品，运行在机架式服务器中。
03RTX 5090 在你们的服务器上能全速运行吗？
其 PCIe 链路无法全速运行。RTX 5090 是 PCIe Gen 5 GPU，而我们的平台是 Gen 3 和 Gen 4，因此总线速度会降至设计速度的一半或四分之一，具体取决于机型。对于每一步都从主机传输数据的训练任务，这会拖慢速度。但一旦工作负载载入 GPU 显存，对推理、转码或渲染影响很小。每台机器提供的插槽规格已在本页列出。
04RTX 5090 服务器能运行多大的 AI 模型？
凭借 32 GB 显存，300 亿参数的模型可以以 4 位精度运行，130 亿参数的模型可以以 8 位精度运行，两者都有容纳上下文的空间。700 亿参数的模型无法在单块 RTX 5090 上运行，即使以 4 位精度也不行。对于更大的模型，请参阅 LLM 显存估算页面。
05RTX 5090 还是 RTX 5080：我该租哪一个？
如果你的模型或场景在 16 GB 显存内还有富余，或者任务主要是视频处理，就租 RTX 5080。当你需要超过 16 GB 的显存，或者想为更长的上下文和更多用户留出余量时，就租 RTX 5090。上方的价格表显示了每款 GPU 搭配其机器的费用。
06我能租到 RTX 5070 或 RTX 5060 吗？
不能。RTX 5090 和 RTX 5080 是我们订单目录中仅有的 RTX 50 系列 GPU，配置器不提供其他型号。如需更小、更便宜的 GPU，请在 所有 GPU 服务器及价格页面比较其余选项。
07能在一台服务器中安装两块 RTX 5090 GPU 吗？
可以，但这是我们报价的定制方案，而非结账选项。每块 GPU 功耗最高可达 575 W，而且 GeForce RTX 50 GPU 没有 NVLink，因此两块 GPU 是两个独立的 32 GB 显存池。请告诉我们你计划运行什么，或参阅 多 GPU 服务器。
08多久能拿到 RTX 5090 服务器？
如果机架上的机器已装有 GPU，审批通过后约 30 分钟即可交付；如果 GPU 有现货，需要 4 到 24 小时；如果需要采购，则需要 5 到 10 个工作日。付款前请通过在线聊天咨询，我们会告知你适用哪种情况。