GPU 服务器 · NVIDIA Blackwell
RTX PRO 6000 独立服务器 配备完整 96 GB GPU
我们提供的 RTX PRO 6000 独立服务器是一整台机器,NVIDIA RTX PRO 6000 Blackwell 直接直通到您自己的操作系统:96 GB 带 ECC 的 GDDR7,比 A100 或 H100 上的 80 GB 还要多。您按月租用,没有其他人使用,端口不限流量,因此大型模型和视频进出无需额外费用。
- CUDA 核心
- 24,064
- 显存速度
- 1,792 GB/s
- 视频编码器
- 4 × AV1
- 板卡功耗
- 600 W
第五代 Tensor 核心。第四代 RT 核心。
有一台闲置的 RTX PRO 6000?
把机器放到 Primcast 市场上,从需要算力的人那里赚取每月租金。
00市场
或者从机主那里租一台 RTX PRO 6000
机主在我们的市场上挂牌机器,并自行设定每月价格。由我们的姊妹公司 Server Room 持有的挂牌在 serverroom.net 上出租,不在这里。
01用途
用于模型、渲染和视频的 96GB GPU 服务器
当任务需要在单个 GPU 上使用大量显存,同时还需要绘图或编码时,您就租用 RTX PRO 6000。以下是实际应用中的情况。
01容量
单个 GPU 上的大型模型
一个 70 亿参数的模型可以以 4 位精度加载,并为上下文留出空间;一个 30 亿参数的模型可以以 8 位精度加载。所有内容都在一个地址空间中,因此您无需分片和第二台机器。
02视频
板载四个 AV1 编码器
四个 NVENC 和四个 NVDEC 引擎,全部支持 AV1。您可以用硬件转码多个直播频道,同时保持处理器空闲。A100 和 H100 完全没有视频编码器。
03渲染
光线追踪,容纳大型场景
第四代 RT 核心负责渲染,96 GB 可以容纳会溢出 48 GB GPU 的场景和纹理。您可以在同一块板卡上渲染、编码和运行模型。
04单租户
完整 GPU,在您自己的系统上
没有 vGPU 配置文件,没有分时共享,机器上没有其他客户。这款 GPU 的一些云产品是共享主机上的虚拟机,所以在比较价格之前,请先做同类比较。
02下单之前
比 H100 更多的显存。以下是您需要放弃的
RTX PRO 6000 比我们安装的数据中心加速器拥有更多显存。有两件事将它们区分开来,其中一件可能会为您做出决定。
无 NVLink
这款 GPU 没有 NVLink 桥接。一台机器中的两块卡是两个独立的 96 GB 显存池,通过 PCIe 插槽通信,而不是一个 192 GB 的池。如果您的模型需要在单个地址空间中超过 96 GB,请查看 A100 和 H100,它们可以通过 NVLink 池化。
GDDR7,而非堆叠式 HBM
GDDR7 速度很快,1,792 GB/s,超过 A100 40 GB,是 L40S 的两倍。A100 80 GB 的读取速度仍稍快一些,为 1,935 GB/s。对于以大批量服务众多用户的情况,读取速度决定节奏,因此如果吞吐量是您的目标,请查看那一列。
如果您的问题是“模型能否装进单个 GPU”,RTX PRO 6000 以最大的空间给出了肯定答案。如果问题是“为数百名用户每秒生成多少 token”,那么加速器可能值得一看。对比表将显存和每月成本并排展示。
03规格
RTX PRO 6000 Blackwell 规格:GDDR7、Tensor 和 RT 核心
数据来自 NVIDIA 工作站版产品页面。Max-Q 版是同一芯片,同样 96 GB,功耗 300 W。
RTX PRO 6000 Blackwell 96GB
Blackwell
96 GB GDDR7 ECC
24,064
1,792 GB/s
600 W
PCIe Gen 5 x16
4 NVENC, 4 NVDEC, AV1
Yes
- 125 TFLOPS FP32
- 380 TFLOPS RT
- 支持 FP4 的 Tensor 核心
- MIG,最多 4 个实例
04选择
RTX PRO 6000 对比 H100、A100 和 RTX 6000 Ada
我们安装的大显存 GPU,显存和每月成本并排展示。在这个系列中,显存和价格并不成正比,这正是值得阅读的原因。
57 GPU models in the catalogue today · none holds more than 96 GB
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A40 | 48 GB GDDR6 | $499 | $572.47 |
| RTX 6000 ADA | 48 GB GDDR6 ECC | $625 | $698.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
RTX 6000 Ada 是上一代专业 GPU,配备 48 GB GDDR6。RTX PRO 6000 在更新的芯片上将这一容量翻倍。如果 48 GB 对您的工作已经足够,Ada 是更便宜的入门选择。如需查看我们安装的每一款 GPU(以相同方式定价),请参阅 所有 GPU 服务器及价格。
05机器
它安装在哪种服务器中,以及获得的 PCIe 链路
RTX PRO 6000 是一款 PCIe Gen 5 GPU。下面的每台机器都显示了其插槽提供的链路,以便您在选择之前了解自己将获得什么。
Intel Xeon Silver / Gold
AMD EPYC
一旦权重加载到 GPU 上,插槽大部分时间处于空闲状态,这涵盖了大多数推理、大多数渲染和所有转码。每一步都通过插槽发送新批次的训练循环才会感受到差异。告诉我们您将运行什么,我们会为您推荐合适的机器。
06容量规划
96 GB GPU 显存能装下什么
仅计算权重。请为上下文窗口和运行时留出空间。
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — tight | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — tight | 38 GB — fits |
一个 70 亿参数的模型以 8 位精度可以加载,但为长上下文或第二个用户留下的空间很少。以 4 位精度则能舒适容纳。要根据您的模型计算 GPU 需求,请使用 LLM 显存规划页面。
07价格
租用 RTX PRO 6000:含机器的价格
GPU 是您发票上的一行,服务器是另一行。两者都来自结账时使用的订单目录,因此下面的每个价格都属于其旁边的机器。
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| RTX PRO 6000 Blackwell 96GB | Intel Xeon Silver / Gold | $1,299 | $1,382.67 Configure this build → |
| RTX PRO 6000 Blackwell 96GB | AMD EPYC | $1,299 | $1,516.59 Configure this build → |
端口双向不限流量,无出口费用。服务器附带一个 IPv4 和一个 IPv6 地址,您按月付费,无合同。每款配置收取一次性设置费,在您付款前显示在订单上。
08交付与支持
您多久能拿到,以及谁来解答
这取决于 GPU 目前在哪里。在您付款前,我们会告知您适用以下哪种情况。
- 约 30 分钟
已上架
一台已安装 GPU 的机器在机架上,订单获批后约 30 分钟即可归您使用。
- 4 到 24 小时
在我们的货架上
我们将手头已有的 GPU 安装到您选择的服务器中。
- 5 到 10 个工作日
采购中
我们从分销商处订购 GPU,然后安装到您的服务器上。
- 10 到 15 个工作日
配额分配
当分销商限量供应 GPU 时,我们会在您承诺之前告知日期。
问题请到我们的聊天室。AI 助手几秒内即可回答,并能查看您的账户和服务器,只要您要求,我们团队的人员随时加入。当前已上架并准备就绪的机器请见 即时服务器。
09个问题
关于租用 RTX PRO 6000 的常见问题
01RTX PRO 6000 Blackwell 和 RTX 6000 Ada 是同一款吗?
不是,尽管名字很接近。RTX 6000 Ada Generation 是较早的专业 GPU,配备 48 GB GDDR6 和 ECC。RTX PRO 6000 Blackwell,有时也被搜索为 RTX 6000 Pro,搭载 96 GB GDDR7 和 ECC,基于更新的 Blackwell 芯片。我们两种都有,对比表会显示每款与其整机的价格。
02RTX PRO 6000 支持 NVLink 吗?
不支持。这款 GPU 没有 NVLink 接口,因此同一台服务器中的两块会作为两个独立的 96 GB 显存池通过 PCIe 连接。如果你需要将超过 96 GB 的显存池化在一起,A100 和 H100 支持 NVLink。
03租用 RTX PRO 6000 需要多少钱?
最便宜的完整配置,即 GPU 加服务器,目前每月 $1,382.67。本页的价格表列出了这款 GPU 可搭配的每一台机器,数据实时读取自订单目录,并提供每台机器的配置链接。没有合同,端口不限流量。
04我应该租用 RTX PRO 6000 还是 H100?
当模型必须装进单块 GPU,或者工作负载还需要渲染或视频编码时,租用 RTX PRO 6000。当你需要 NVLink 来池化多块 GPU,或者需要 HBM 显存以大批量进行推理服务时,租用 H100。对比表展示了两者的显存和每月费用。
05GPU 是共享的,还是会拆分为虚拟 GPU?
都不是。你会获得整块 GPU 直通到自己的操作系统,运行在其他人不使用的机器上:没有虚拟机监控程序,没有 vGPU 配置文件,没有分时共享。该 GPU 支持 MIG,最多可划分为四个实例,因此如果适合你的工作,你可以自行拆分。
06我会得到哪个 NVIDIA 驱动和 CUDA 版本?
由你选择。服务器交付时带有干净的操作系统和 root 权限,你可以安装并固定代码所需的驱动、CUDA 和框架版本。不会有任何后台自动升级。
07可以在一台服务器中安装两块 RTX PRO 6000 GPU 吗?
可以,但需要按报价定制,而不是结账选项。每块功耗最高 600 W,机箱及其供电预算决定能装几块,以及使用哪个版本。告诉我们你计划运行什么,我们会回复机箱、数量和交付周期。对于更大规模的配置,请查看多 GPU 和多节点服务器。
08多久能拿到 RTX PRO 6000 服务器?
如果已有上架机器搭载该 GPU,审批通过后约 30 分钟;如果我们有库存,需要 4 到 24 小时;如果需要采购,需要 5 到 10 个工作日;如果是配额分配,需要 10 到 15 个工作日。付款前会告知你适用哪种情况。上架机器列在即时服务器页面。