专用 AI 服务器 · 训练、推理、渲染

专用 AI 服务器托管 从一块 GPU 到整个集群

专用 AI 服务器是一整台物理机,其 GPU 直通给你自己的操作系统,因此你训练或推理的模型不会与任何人共享硬件。当一台机器不够用时,你可以给它加 GPU,或在它旁边增加更多机器。本页展示每条路径的成本、机器之间的通信速度,以及我们 5 城市中哪个城市拥有哪个平台。

按月付费,无合同。每台机器的端口在交换机上独属于你,没有任何东西对其流量计费。

cluster.primcast四个节点,同一城市
GPU 平台4
最快端口100 Gbps
每台机器内存1 TB
长期折扣15%
比较平台

01每台机器都包含什么

在这里租用专用 AI 服务器,你能得到什么

每个节点上都有相同的四项内容,从用于微调作业的一台机器,到用于训练运行的几台机器。

完整 GPU,而非切片

每块 GPU 都直通给你的操作系统。没有虚拟机监控程序、没有 MIG 分区、没有 vGPU 配置文件,也没有时间切片,因此你的驱动程序和框架看到的是硬件本来的样子。

属于你的端口

网络端口在接入交换机上不共享,且没有任何东西对其计费,无论哪个方向。在节点之间复制数据集或检查点不会增加账单费用。

按月付费

每台机器按各自的一个月期限运行,无合同。预付三个月、六个月或十二个月可享受最高 15% 的折扣。

秒级响应

我们的 AI 聊天在几秒内回复,并能在帮助你的同时查看你的账户和服务器。随时可以要求人工服务。

02超越一块 GPU 的扩展

一台服务器中加更多 GPU,还是增加更多服务器?

它们听起来像是同一个决定,但成本不同、交付日期不同,而且耗尽的原因也不同。在比较其他任何东西之前,先弄清楚你需要哪一种。

A扩展机器

为你现有的服务器添加 GPU

当你缺少 GPU 内存或 GPU 速度,而机器的其余部分都够用时,选择这种方式。一个机箱中装多块 GPU 是我们报价的配置,而不是你在结账时勾选的选项:能装多少取决于你选择的 GPU 宽度以及机箱能为其提供的电力。

决定因素
你选择的 GPU。在聊天中说出它的名字,回复会给出机箱型号、能装多少块以及交付日期。
值得了解
两块 GPU 不等于一块更大的 GPU。只有当你的软件将模型拆分到两块 GPU 上时(张量并行或流水线并行,常见的训练和推理工具都支持),它们的内存才会相加,而且部分速度会消耗在它们之间的通信上。如果你的工作是许多独立的任务,两块 GPU 只是能完成两倍的任务量。

B扩展集群

在第一台机器旁边增加机器

当机器本身已满时选择这种方式:处理器用完、内存用完,或者没有空间容纳下一个作业。这里最大的平台止步于 2 个处理器插槽和 1 TB 内存,超过这个限度,答案就是再增加一台服务器。

决定因素
城市和端口。协同工作的机器应位于同一栋建筑内,它们之间的链路就是每台机器上的网络端口,按机器付费。
值得了解
没有集群产品,也没有最低节点数要求。每台服务器都独立订购、计费、升级和更换,因此你可以从两台开始,下个月再增加第三台。

03平台

根据限制你的因素选择机器学习服务器

我们安装 GPU 的每个平台,在超过一台机器后,就重要指标进行比较。请将中间两列放在一起阅读:通往 GPU 路径最宽的平台拥有最慢的最高端口,而最快的端口则位于较旧的总线上。

来自我们结账时使用的订单目录,在本页加载时读取。
平台通往 GPU 的通道最高端口插槽内存,最高城市
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps incl.21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps incl.21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps incl.2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps incl.21 TB2
  • 通往 GPU 的通道数据在处理器和 GPU 之间移动的速度。当你流式传输训练批次,或渲染每一帧都馈送场景数据时,它很重要;而一旦模型加载完毕并留在 GPU 内存中,它就几乎无关紧要了。
  • 最高端口一台机器与下一台机器通信的速度。一台独立工作的服务器永远不会注意到它。对于拆分到多台机器上的作业,它就是全部问题所在。
  • 所以适合一台机器且依赖总线的作业,需要最宽的通道。分散在多台机器上的作业需要端口,并且可以接受较旧的总线。两者同时满足是我们没有的组合,你应该在付款前了解这一点。

每台机器中安装哪块 GPU,以及每月增加多少费用,请见 GPU 专用服务器,每个价格都显示在所属机器旁边。本页不为任何 GPU 定价,因此数字永远不会出现在错误的服务器旁边。

04机器之间的连接

多节点 GPU 集群,每个节点的端口都要付费

网络连接是每台服务器的一部分,所以四台 10 Gbps 的机器意味着每月四个 10 Gbps 端口。这一项往往让只询过单台服务器价格的人感到意外,因此下表替你把乘法算好了。

每月费用,在每台机器之上另计。纽约、迈阿密和旧金山以美元计价;阿姆斯特丹和布加勒斯特以欧元计同一金额。最后一列显示有多少 GPU 平台提供该速率。
端口一台服务器两台四台平台数
1 Gbpsincl.incl.incl.4 / 4
2 Gbps$189$378$7564 / 4
3 Gbps$299$598$1,1964 / 4
5 Gbps$459$918$1,8364 / 4
10 Gbps$529$1,058$2,1164 / 4
20 Gbps$1,629$3,258$6,5164 / 4
40 Gbps$2,799$5,598$11,1962 / 4
100 Gbps$3,999$7,998$15,9961 / 4

更宽的集群可能比更快的集群更省钱。 在上表的某些位置,两台低一档的机器比一台高一档的机器更便宜,而且你还多出一台服务器。不过,只有当你的工作负载能拆分到多台机器上时,这才划算。

我们不卖机器之间的什么。 我们的目录只列以太网端口,没有别的:没有 InfiniBand 网络,也没有 NVLink 桥接。如果你的方案需要其中任何一种,下单前请先询问。答复是一份报价,也可能是不行。我们出租的最小多节点配置是 NVIDIA DGX Spark,最多四台通过 ConnectX-7 互联。

单台机器上的端口本身,已在 不限流量带宽 中说明。

05它可以放在哪里

GPU 集群,先选城市

协同工作的机器应放在同一栋楼里,而我们的数据中心并非都存放相同的平台。如果先选平台,你可能会发现需要的城市没有该平台。New York and Bucharest 全都配备。

  • New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

每栋建筑及其连接方式在 数据中心 页面有说明。如果你的部署必须跨两个城市,下单前请让支持团队测量两地之间的延迟。

06交付周期

你的 AI 服务器多久可以运行

这类配置通常涉及多台机器和不在货架上的部件,因此你在付款前会得到一个日期,其计算步骤与我们的 定制服务器构建 相同。

  1. ~30 分钟

    已按现状上架

    无需安装或移动任何部件。即时服务器 列出了可立即使用的机器,如果你的节点是普通配置,值得先看一看。

  2. 4–24 小时

    我们库存中的部件

    常见情况。技术人员安装 GPU、构建磁盘并在每台机器上安装操作系统,并行进行而非逐台依次处理。

  3. 5–10 个工作日

    我们采购的部件

    规格中有某项不是我们常备的部件,因此我们先下单采购再组装。一台机器装多块 GPU 时,机箱通常耗时最长。

  4. 10–15 个工作日

    稀缺部件

    当前一代加速器按配额发货,日期以分销商为准。凡是为单个客户采购硬件的情况,我们会要求预付三个月费用。

每个步骤都在订单通过付款和风控审核后开始。大多数订单几小时内即可通过;新账户的大额首单可能耗时更长,电汇或稳定币付款通常比银行卡付款更快到账。

有闲置的 GPU 服务器?

把它挂到 Primcast 市场上,按你定的价格按月租给 AI 团队。

前往市场

07常见问题

关于专用 AI 服务器的常见问题

01什么是专用 AI 服务器?

它是一台只租给您一个人使用的物理服务器,配有一块或多块 GPU,用于训练、微调或提供模型服务。在这里,GPU 直接交给您自己的操作系统,没有虚拟机监控程序,机器上也没有其他人,您按月付费,无需签订合同。

02我可以租用裸金属 GPU 服务器进行深度学习吗?

可以。我们出租的每一台 GPU 服务器都是裸金属的:您拥有整台机器的 root 权限,可以安装您的代码所需的驱动程序、CUDA 版本和框架。GPU 及其每月价格列在 GPU 专用服务器 页面上,每块 GPU 都标明了它适配的机器。

03一台服务器可以装多块 GPU 吗?

可以,但这是按报价定制,而不是结账时的选项。能装多少块取决于 GPU 的宽度和机箱能提供的电力,所以请在聊天中告诉我们您想要哪款 GPU,回复会写明机箱型号、数量和日期。

04如何与你们一起搭建 GPU 集群?

在同一座城市订购机器,选择能达到您所需端口速度的平台,并在每台机器上选择该速度。它们保持为独立的服务器、独立的账单,因此您可以先上两台,以后再增加。请先告诉我们节点数量和工作内容,我们会在您付款前核实城市和平台。

05你们提供服务器之间的 InfiniBand 或 NVLink 吗?

不作为列出的选项提供。机器通过以太网端口连接,最高可达 100 Gbps。如果您的构建需要 InfiniBand 或 NVLink 桥接,请在订购前询问:这需要报价,而且答案可能是不行。

06对于机器学习,专用服务器比云 GPU 更好吗?

这取决于您使用的稳定程度。专用 AI 服务器每个月的费用相同,无论它是满负荷运行还是闲置,因此适合长时间训练和全天候提供服务的模型。这里不计量流量,所以在节点之间移动数据集或向用户发送结果都不会增加费用。对于每月只运行几个小时的工作,按小时租用可能更便宜。

07什么是 HPC 服务器,你们出租吗?

HPC 指高性能计算:分布在许多处理器或 GPU 上的模拟、渲染、科学计算和模型训练。我们出租这些部件,即最多 2 个插槽和 1 TB 内存的机器,里面装有 GPU,机器之间有端口连接。调度器由您自己设置,Slurm、Kubernetes 或您团队已经在用的任何工具都可以。

08一台专用 AI 服务器多少钱?

机器和它的 GPU 在 GPU 专用服务器 页面上一起定价。比自带端口更快的端口价格在本页的表格中,按每台机器、每月计算。预付三个月、六个月或十二个月可享受最高 15% 的折扣,定制构建会收取一次性设置费,配置器会在您付款前显示这笔费用。

09拿到一台需要多长时间?

如果我们有库存部件,大约需要四到二十四小时;如果需要采购,则需要五到十个工作日;如果是稀缺部件,则需要十到十五个工作日。已经按您的要求上架的机器大约 30 分钟就能运行。

10你们出租用于 AI 的 CMP 170HX 服务器吗?

是的。它们有自己的页面,CMP 170HX 服务器,上面有各种配置及其每月价格。

11你们的 GPU 服务器在哪里?

在纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特。不是每个平台都在每个城市;New York and Bucharest 拥有全部平台,这使它们成为扩展集群最容易的地方。

12如果出了问题,我能得到什么帮助?

我们的 AI 聊天会在几秒钟内回复,并能在帮助您的同时查看您的账户和服务器,只要您要求,人工客服就会接手。响应时间和硬件更换见 支持 页面。

与我们一起规划

告诉我们您的模型需要做什么

节点数量、工作是否可以拆分,以及它需要与什么通信。我们的 AI 聊天会在几秒钟内回复,您提出要求时人工客服就会加入,如果一台机器就能完成工作,我们会直接告诉您。

查看 GPU 价格