Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
选卡台
无需预订,无需创建账户,每张卡旁边的数字是包含该卡的整台服务器——处理器、内存、镜像磁盘、不限流量的端口、一个地址——而不是单卡本身。卡自身所占的部分印在下面,这样你就能看清钱花在了哪一半上。
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP 170HX 64GB HBM2e8 GB HBM2e, 64 GB unlockedIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
估算来自结账时计费的同一份目录,不是报价。凡缺失显存数据的,都是我们找不到制造商公布的数字,所以卡片会如实说明而不是猜测——而且一旦你移动显存控件,这些卡就会退出筛选,因为用一个我们没有的数字去过滤,会悄悄隐藏可能适合你的部件。问一声,我们会从卡上把数字读出来。有些部件适配不止一种机箱、不止一个价格;这里的数字是拥有该卡最便宜的方式,配置器会展示其余选项。
那份清单背后是什么
在本页面生成时从订单目录中统计而来,不是手工输入的。如果某张卡明天被撤下,这条信息明天就会变短。今天早上机架里实际放着什么,是另一个问题,答案在即时服务器里。
每个人都会先问的问题
你的。整张卡、整台机器,没有别人在上面。
这张卡插在一台只租给一个账户的物理服务器的 PCIe 插槽里,并且直接交给你的操作系统:你自己的驱动、你自己的 CUDA 或 ROCm、你自己的进程。你和它之间没有虚拟机监控程序,没有 MIG 分区,没有决定何时轮到你的分时调度器,也没有第二个租户的批处理作业让你的推理延迟在下午四点突然波动。
机器的其余部分也按同样的条件归你所有——每一个核心、全部内存、所有磁盘、root 权限,以及服务器自带的 HPE iLO 或 Dell iDRAC,用于控制台、虚拟介质和电源管理。即使某个驱动把网络搞挂了,你仍然能看到屏幕。
为什么上面的数字长这样
在其他任何地方,GPU 都是一种层级:你租“一个 H100 实例”,而它周围的处理器、内存、磁盘和网络该收你多少钱,早就由别人替你决定了。在这里,这两者是分开的两行,然后相加——这就是为什么上面清单里任何一端的卡都能装进同一个机箱,而你只付卡与卡之间的差价,别的什么都不用付。机器部分按制造商有自己的页面:AMD 独立服务器适用于可搭载这些显卡的 EPYC 系列,Intel 独立服务器适用于 Xeon。
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
配置器会对单个磁盘的价格取整,与这些数字相差一两分钱。更长的计费周期还有进一步折扣;定价把所有内容集中在一处,而更老的硬件,更低的价格则解释了这份清单的底部为什么存在。
来自市场
机主把自己的 GPU 机器挂到我们的市场上,按月定价。如果某张卡标注由我们的姊妹公司 Server Room 持有该挂牌,你就在 serverroom.net 上租用它。
显卡需要多大显存
时钟频率和核心数量决定一款型号运行得有多快。显存则决定它能否运行 — 权重要么装得下,要么装不下,一张少了两 GB 的显卡不是更慢,而是直接崩溃。所以这是在任何其他指标之前就要确定的数字,而几乎没有人把它标在价格旁边。
计算方法是参数量乘以每个参数占用的字节数。十六位权重每个占两字节,八位占一字节,四位占半字节。量化到四位,正是把一台装不下模型的机器变成装得下的关键,代价是质量有所损失。
留出余量。下面的数字只是权重本身,不含其他。运行时、激活值和长上下文的键值缓存都占用同一块显存,而缓存会随着对话中每一个 token 的增长而增长。一个权重为 38 GB 的模型,在 40 GB 的显卡上不会跑得舒服。请在此基础上再预留四分之一到一半的余量,或者直接问我们,我们会根据你实际运行的内容来帮你规划。
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
显卡下面是什么
每种机箱对应目录中的不同部分,并给显卡提供与处理器不同的连接方式。最后一列之所以放在这里,是因为它让人花了冤枉钱,却没人把它印出来:一位客户在第三代总线上从一代消费级显卡换到下一代,渲染反而更慢了,而且比我们先找出原因。所以它被写在了页面上。
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
另外还有一台台式机:办公级部件,内置 NVIDIA 显卡,以一台整机、一个包月价格出售。这是你能从我们这里租到带 GPU 的专用主机所付的最低价格,因此它是学习 CUDA、运行小模型、用 NVENC 转码或保留远程工作站的合理选择。这个价格买到的东西比一台机箱少,我们宁愿你现在就知道:单块磁盘、没有 RAID、没有带外控制台(重装和断电重启都要通过我们)、单电源。
€82.29the whole machine, card included, per month
Intel Core i5-9500 @ 3.0GHz, 6 cores · 32 GB memory · NVMe-SSD 256 GB · 1 Gbps Unmetered · Bucharest
为较新总线设计的显卡在较旧总线上也能完美工作;它只是无法以同样的速度在链路上传输数据。这是否重要,完全取决于具体任务。
随附内容
我们安装干净的操作系统,然后把钥匙交给你。你选择驱动版本、CUDA 或 ROCm 版本以及框架构建,并把它们固定住 — 这正是裸金属的意义所在,与那种在截止日期前一周悄悄升级的托管运行时正好相反。如果你更希望我们在交付前就装好驱动,下单时说明,我们就会照做。
HPE iLO 或 Dell iDRAC:键盘加屏幕控制台、虚拟介质、电源控制、硬件健康和硬件日志。一个把显示或网络一起带崩的显卡驱动,只是不便,而不是一张工单,因为你仍然可以看着机器启动。
没有传输额度可超,任何账单上也没有出站流量这一行。数据集进来、检查点出去、渲染输出、把模型服务给真实用户 — 所有这些都按端口价格传输,一个字节都不多收。不限流量带宽是包含速度之上的阶梯,也是它和超大规模云服务商账单之间最大的区别。
操作系统镜像一键重装,无需工单、不收费,所以一次以糟糕收场的驱动实验只让你损失二十分钟。反向 DNS 由你编辑,IPv6 已包含,更多 IPv4 是目录中的一项,而不是一场谈判。
电话、在线聊天和工单,每个方案都包含,故障部件在通过电话或聊天报告后四小时内更换。支持页面写明了响应时间和补偿方案。
纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特 — 机器放在哪里,决定了你到调用者之间的延迟,以及它适用哪种数据保护制度。数据中心页面介绍了这些建筑。
多久能交付
不是一个数字,因为它从来就不是一个数字。一张已经装进已上架机器的显卡,是直接交付。一张需要采购的显卡,是采购订单。在你付款之前而不是之后告诉你属于哪一种 — 这才是唯一有价值的说法。
无需安装,无需搬运。机器完成镜像后直接交付。即时服务器列出了现在就在那里的所有机器。
本页所有内容的常见情况。部件就在我们自己的库房里;技术人员安装它、组建阵列并安装操作系统。货架上的机器接近但不完全符合 — 加内存、换硬盘、按你的选择重建阵列 — 是同样的工作,在机架上原地完成,机器不必离开机架。
清单上的某项不是我们常备库存。我们先下单采购,然后组装。按需定制页面适用于这类完整规格。
当前一代加速器按配额供应,日期由分销商决定,而不是我们。我们会在你承诺之前而不是之后指出最长的瓶颈。为单个客户采购的硬件,我们要求预付三个月费用,因为如果账户在第二周关闭,这台机器我们无法再租给他人。
每一档都从订单通过付款和反欺诈审核后开始计时,这是唯一我们不做承诺的步骤:大多数订单几小时内通过,新账户的首笔订单可能需要更长时间。支持银行卡、PayPal、ACH 和电汇,也支持加密货币 — 对于较大订单,它通常是到账最快的方式。
之前问过的问题
取自人们在聊天和工单中实际问我们的问题,大致按提问顺序排列。第一个问题曾让我们丢掉订单,所以在这里也排在第一位。
接下来去哪里
本页面只回答一个问题:我们安装哪些显卡以及价格多少。与这个问题相邻的所有内容都有自己的页面,以下是全部页面,按本页面访客实际点击的顺序排列。
还是不确定选哪块卡?,之前配置过这类机器的人会回答你——包括当答案是比你原本想买的更便宜的显卡时。
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.