完整 GPU,而非切片
每块 GPU 都直通给你的操作系统。没有虚拟机监控程序、没有 MIG 分区、没有 vGPU 配置文件,也没有时间切片,因此你的驱动程序和框架看到的是硬件本来的样子。
专用 AI 服务器 · 训练、推理、渲染
专用 AI 服务器是一整台物理机,其 GPU 直通给你自己的操作系统,因此你训练或推理的模型不会与任何人共享硬件。当一台机器不够用时,你可以给它加 GPU,或在它旁边增加更多机器。本页展示每条路径的成本、机器之间的通信速度,以及我们 5 城市中哪个城市拥有哪个平台。
按月付费,无合同。每台机器的端口在交换机上独属于你,没有任何东西对其流量计费。
01每台机器都包含什么
每个节点上都有相同的四项内容,从用于微调作业的一台机器,到用于训练运行的几台机器。
每块 GPU 都直通给你的操作系统。没有虚拟机监控程序、没有 MIG 分区、没有 vGPU 配置文件,也没有时间切片,因此你的驱动程序和框架看到的是硬件本来的样子。
网络端口在接入交换机上不共享,且没有任何东西对其计费,无论哪个方向。在节点之间复制数据集或检查点不会增加账单费用。
每台机器按各自的一个月期限运行,无合同。预付三个月、六个月或十二个月可享受最高 15% 的折扣。
我们的 AI 聊天在几秒内回复,并能在帮助你的同时查看你的账户和服务器。随时可以要求人工服务。
02超越一块 GPU 的扩展
它们听起来像是同一个决定,但成本不同、交付日期不同,而且耗尽的原因也不同。在比较其他任何东西之前,先弄清楚你需要哪一种。
A扩展机器
当你缺少 GPU 内存或 GPU 速度,而机器的其余部分都够用时,选择这种方式。一个机箱中装多块 GPU 是我们报价的配置,而不是你在结账时勾选的选项:能装多少取决于你选择的 GPU 宽度以及机箱能为其提供的电力。
B扩展集群
当机器本身已满时选择这种方式:处理器用完、内存用完,或者没有空间容纳下一个作业。这里最大的平台止步于 2 个处理器插槽和 1 TB 内存,超过这个限度,答案就是再增加一台服务器。
03平台
我们安装 GPU 的每个平台,在超过一台机器后,就重要指标进行比较。请将中间两列放在一起阅读:通往 GPU 路径最宽的平台拥有最慢的最高端口,而最快的端口则位于较旧的总线上。
| 平台 | 通往 GPU 的通道 | 最高端口 | 插槽 | 内存,最高 | 城市 |
|---|---|---|---|---|---|
| Intel Xeon Silver / Gold | 48 lanes per socketPCIe 3.0 | 100 Gbps1 Gbps incl. | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v3/v4 | 40 lanes per socketPCIe 3.0 | 40 Gbps1 Gbps incl. | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v1/v2 | 40 lanes per socketPCIe 3.0 | 20 Gbps1 Gbps incl. | 2 | 256 GB | 3 |
| AMD EPYC | 128 lanes per socketPCIe 4.0 | 20 Gbps1 Gbps incl. | 2 | 1 TB | 2 |
每台机器中安装哪块 GPU,以及每月增加多少费用,请见 GPU 专用服务器,每个价格都显示在所属机器旁边。本页不为任何 GPU 定价,因此数字永远不会出现在错误的服务器旁边。
04机器之间的连接
网络连接是每台服务器的一部分,所以四台 10 Gbps 的机器意味着每月四个 10 Gbps 端口。这一项往往让只询过单台服务器价格的人感到意外,因此下表替你把乘法算好了。
| 端口 | 一台服务器 | 两台 | 四台 | 平台数 |
|---|---|---|---|---|
| 1 Gbps | incl. | incl. | incl. | 4 / 4 |
| 2 Gbps | $189 | $378 | $756 | 4 / 4 |
| 3 Gbps | $299 | $598 | $1,196 | 4 / 4 |
| 5 Gbps | $459 | $918 | $1,836 | 4 / 4 |
| 10 Gbps | $529 | $1,058 | $2,116 | 4 / 4 |
| 20 Gbps | $1,629 | $3,258 | $6,516 | 4 / 4 |
| 40 Gbps | $2,799 | $5,598 | $11,196 | 2 / 4 |
| 100 Gbps | $3,999 | $7,998 | $15,996 | 1 / 4 |
更宽的集群可能比更快的集群更省钱。 在上表的某些位置,两台低一档的机器比一台高一档的机器更便宜,而且你还多出一台服务器。不过,只有当你的工作负载能拆分到多台机器上时,这才划算。
我们不卖机器之间的什么。 我们的目录只列以太网端口,没有别的:没有 InfiniBand 网络,也没有 NVLink 桥接。如果你的方案需要其中任何一种,下单前请先询问。答复是一份报价,也可能是不行。我们出租的最小多节点配置是 NVIDIA DGX Spark,最多四台通过 ConnectX-7 互联。
单台机器上的端口本身,已在 不限流量带宽 中说明。
05它可以放在哪里
协同工作的机器应放在同一栋楼里,而我们的数据中心并非都存放相同的平台。如果先选平台,你可能会发现需要的城市没有该平台。New York and Bucharest 全都配备。
每栋建筑及其连接方式在 数据中心 页面有说明。如果你的部署必须跨两个城市,下单前请让支持团队测量两地之间的延迟。
无需安装或移动任何部件。即时服务器 列出了可立即使用的机器,如果你的节点是普通配置,值得先看一看。
常见情况。技术人员安装 GPU、构建磁盘并在每台机器上安装操作系统,并行进行而非逐台依次处理。
规格中有某项不是我们常备的部件,因此我们先下单采购再组装。一台机器装多块 GPU 时,机箱通常耗时最长。
当前一代加速器按配额发货,日期以分销商为准。凡是为单个客户采购硬件的情况,我们会要求预付三个月费用。
每个步骤都在订单通过付款和风控审核后开始。大多数订单几小时内即可通过;新账户的大额首单可能耗时更长,电汇或稳定币付款通常比银行卡付款更快到账。
市场
机主在我们的市场上以自定的月租价格挂牌多 GPU 机器和成对互联的机器。由我们的姊妹公司 Server Room 持有的挂牌在 serverroom.net 上出租。
把它挂到 Primcast 市场上,按你定的价格按月租给 AI 团队。
07常见问题
它是一台只租给您一个人使用的物理服务器,配有一块或多块 GPU,用于训练、微调或提供模型服务。在这里,GPU 直接交给您自己的操作系统,没有虚拟机监控程序,机器上也没有其他人,您按月付费,无需签订合同。
可以。我们出租的每一台 GPU 服务器都是裸金属的:您拥有整台机器的 root 权限,可以安装您的代码所需的驱动程序、CUDA 版本和框架。GPU 及其每月价格列在 GPU 专用服务器 页面上,每块 GPU 都标明了它适配的机器。
可以,但这是按报价定制,而不是结账时的选项。能装多少块取决于 GPU 的宽度和机箱能提供的电力,所以请在聊天中告诉我们您想要哪款 GPU,回复会写明机箱型号、数量和日期。
在同一座城市订购机器,选择能达到您所需端口速度的平台,并在每台机器上选择该速度。它们保持为独立的服务器、独立的账单,因此您可以先上两台,以后再增加。请先告诉我们节点数量和工作内容,我们会在您付款前核实城市和平台。
不作为列出的选项提供。机器通过以太网端口连接,最高可达 100 Gbps。如果您的构建需要 InfiniBand 或 NVLink 桥接,请在订购前询问:这需要报价,而且答案可能是不行。
这取决于您使用的稳定程度。专用 AI 服务器每个月的费用相同,无论它是满负荷运行还是闲置,因此适合长时间训练和全天候提供服务的模型。这里不计量流量,所以在节点之间移动数据集或向用户发送结果都不会增加费用。对于每月只运行几个小时的工作,按小时租用可能更便宜。
HPC 指高性能计算:分布在许多处理器或 GPU 上的模拟、渲染、科学计算和模型训练。我们出租这些部件,即最多 2 个插槽和 1 TB 内存的机器,里面装有 GPU,机器之间有端口连接。调度器由您自己设置,Slurm、Kubernetes 或您团队已经在用的任何工具都可以。
机器和它的 GPU 在 GPU 专用服务器 页面上一起定价。比自带端口更快的端口价格在本页的表格中,按每台机器、每月计算。预付三个月、六个月或十二个月可享受最高 15% 的折扣,定制构建会收取一次性设置费,配置器会在您付款前显示这笔费用。
如果我们有库存部件,大约需要四到二十四小时;如果需要采购,则需要五到十个工作日;如果是稀缺部件,则需要十到十五个工作日。已经按您的要求上架的机器大约 30 分钟就能运行。
是的。它们有自己的页面,CMP 170HX 服务器,上面有各种配置及其每月价格。
在纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特。不是每个平台都在每个城市;New York and Bucharest 拥有全部平台,这使它们成为扩展集群最容易的地方。
我们的 AI 聊天会在几秒钟内回复,并能在帮助您的同时查看您的账户和服务器,只要您要求,人工客服就会接手。响应时间和硬件更换见 支持 页面。
与我们一起规划
节点数量、工作是否可以拆分,以及它需要与什么通信。我们的 AI 聊天会在几秒钟内回复,您提出要求时人工客服就会加入,如果一台机器就能完成工作,我们会直接告诉您。