Intel Xeon E5-2600 v1/v2
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- Cards it takes
- 28
- Link to the card
- PCIe 3.0
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Memory ceiling
- 256 GB
长椅
没有任何资源预留,也没有创建账户。每张卡旁边的数字代表的是包含该卡的整个服务器——包括处理器、内存、镜像磁盘、不限流量端口和一个地址——而不是卡本身的费用。卡的份额印在下方,方便您区分哪一半的费用。
GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the cardNothing in the catalog clears that. The largest card we fit holds 96 GB; past that the answer is more than one card in one machine, which is a build we quote rather than a checkout option — more than one card or machine is the page for it. .
估算值来自与结算单相同的产品目录,并非报价。如果内存容量数据缺失,我们无法找到制造商公布的数据,因此卡片上会直接显示,而不是猜测——而且,一旦您调整内存容量设置,这些卡片就会自动排除,因为筛选我们没有的数据会悄悄地隐藏一些可能适合您的部件。如有需要,我们会从卡片上读取相关信息。某些部件适用于多个机箱,价格也可能不同;此处显示的价格是该卡片的最便宜方案,配置器会显示其他方案。
那份清单背后究竟隐藏着什么?
此页内容根据订单目录统计,而非手动输入。如果明天取走某张卡,则此条卡槽明天会变短。今天早上货架上摆放着什么则是另一个问题,答案在即时服务机上。
每个人都会问的第一个问题
你的。整张卡,整台机器,只有你一个人用。
这张卡安装在租用给某个账户的物理服务器的 PCIe 插槽中,并直接交付给您的操作系统:您自己的驱动程序、您自己的 CUDA 或 ROCm、您自己的进程。您和它之间没有虚拟机管理程序,没有 MIG 分区,没有时间片调度器来决定何时轮到您,也没有其他租户的批处理作业会在下午四点影响您的推理延迟。
机器的其余部分也完全属于您,使用权限相同——包括所有核心、所有内存、所有磁盘、根目录,以及服务器自身的 HPE iLO 或 Dell iDRAC(用于控制台、虚拟媒体和电源)。即使驱动程序导致网络中断,您仍然可以正常查看屏幕。
为什么上面的数字看起来是这样的
在其他任何地方,GPU 都是一个独立的层级:你租用的是“H100 实例”,而处理器、内存、硬盘以及网络等配套设施的费用都已由其他人决定。但在这里,这两项是分开计算的,需要分别支付——这就是为什么上面列表中两端的显卡可以装在同一个机箱里,你只需支付显卡之间的差价,无需支付其他任何费用。
Whole machine, card in it, per month, from$91.72
And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.
配置器会将每块硬盘的价格向上取整,并在此基础上减少一两美分。较长的计费周期可享受额外折扣;定价信息汇总于一处,而旧硬件价格更低,正是这份列表底部存在的理由。
存储卡内存容量
时钟频率和核心数量决定了模型的运行速度。显卡的显存容量决定了它能否运行——模型的权重要么匹配,要么不匹配;显卡少2GB显存容量并不会降低速度,而是会导致崩溃。因此,显存容量是首要考虑的因素,也是几乎没有人会在公布价格时同时公布的参数。
计算方法是将参数数量乘以每个参数的字节数。16 位权重每个占两个字节,8 位权重每个占一个字节,4 位权重每个占半个字节。量化到 4 位可以将原本无法存储模型的机器变成可以存储模型的机器,但会牺牲一些质量。
预留一些内存空间。以下数据仅包含模型权重,不包含其他任何内容。运行时间、激活值以及长上下文的键值缓存都位于同一内存中,并且缓存会随着对话中每个标记的增加而增长。权重为 38 GB 的模型在 40 GB 的存储卡上无法流畅运行。建议在此基础上再预留四分之一到一半的内存空间,或者联系我们,我们会根据您的实际运行情况进行容量规划。
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
卡片下面是什么?
每张卡都对应着目录的不同部分,并为每张卡与处理器之间建立不同的链接。最后一列之所以存在,是因为它会增加成本,而且没人会打印出来:一位客户在第三代总线上从上一代消费级卡升级到下一代,结果渲染速度变慢了,而且他比我们更早发现了原因。所以,它被写在了页面上。
$70.93the machine, per month
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
$73.47the machine, per month
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
$83.67the machine, per month
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
$217.59the machine, per month
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
为新型总线设计的网卡在旧型总线上也能完美运行;只是数据传输速度不如新型总线快。这是否重要完全取决于具体应用。
随之而来的是
我们会安装一个干净的操作系统,然后把密钥交给您。您可以选择驱动程序版本、CUDA 或 ROCm 版本以及框架构建版本,并将它们固定下来——这正是裸机部署的优势所在,与托管运行时截然不同,后者会在截止日期前一周自动升级。如果您希望我们在交付前安装驱动程序,请在订单中注明,我们会照办。
HPE iLO 或 Dell iDRAC:键盘和屏幕控制台、虚拟媒体、电源控制、硬件健康状况和硬件日志。如果显卡驱动程序导致显示器或网络出现故障,这只是使用上的不便,无需提交支持工单,因为您仍然可以观察机器的启动过程。
没有超出限额的传输限制,任何账单上也不会出现出站流量。数据集输入、检查点输出、渲染输出、向真实用户提供的模型——所有这些都只按端口计费,不多不少。不限流量带宽是高于套餐速度的额外服务,也是它与超大规模数据中心账单之间最大的区别。
操作系统镜像一键安装,无需工单即可免费重新安装,即使驱动程序测试失败也只需花费二十分钟。反向 DNS 可自行编辑,IPv6 已包含在内,更多 IPv4 地址则直接列在目录中,无需协商。
所有套餐均包含电话、在线聊天和工单支持,故障部件将在通过电话或聊天报告后四小时内更换。支持团队会以书面形式提供响应时间和补偿方案。
纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特——机器所在的位置决定了你与呼叫者之间的延迟,以及它所适用的数据保护机制。数据中心指的是这些建筑物。
它出现得有多快
不是一个数字,因为从来就不是一个数字。已安装到已上架机器上的卡片属于交接。需要购买的卡片属于采购订单。只有在您付款之前(而不是之后)告知您具体需要的是哪一种,这种做法才有意义。
所有设备均未安装,也未移动。机器已完成镜像扫描并交付。 “即时服务器”列表列出了目前摆放在那里的所有设备。
本页所有内容均属常规情况。所需部件存放于我们自己的仓库;技术人员会进行安装,组装阵列并安装操作系统。货架上摆放着一台配置相近但不完全相同的机器——例如,添加内存、更换硬盘、根据您的选择重新构建阵列——这些工作都是在不将机器从机架上移开的情况下完成的。
清单上的某些产品并非我们库存现货。我们需要订购后才能生产。 “按需定制”页面提供了此类产品的完整规格说明。
当前一代加速器采用配额制,具体日期由分销商决定,而非我们。我们会在您确认之前告知您具体使用期限,而不是之后。如果硬件是为单个客户购买的,我们会要求预付三个月的费用,因为如果客户在第二周就关闭账户,我们就无法将机器再次出租。
订单处理的每个环节都始于付款和反欺诈审核通过之后,这是我们无法做出任何承诺的环节:大多数订单会在几个小时内完成审核,但新账户的首单可能需要更长时间。我们接受信用卡、PayPal、ACH 转账和电汇付款,也接受加密货币付款——对于大额订单,加密货币付款通常是最快的。
之前问过
这些问题均来自用户在聊天和工单中的实际提问,大致按提问顺序排列。第一个问题导致我们损失了订单,因此也排在第一位。
接下来该去哪里?
本页面只有一个问题:哪些卡牌适合搭配使用,以及它们的价格是多少。与此问题相关的所有内容都有各自的页面,以下页面展示了所有这些内容,顺序按照访问者实际点击的顺序排列。
还是不确定选哪张显卡?,会有之前选过这类显卡的人来回答你——即使答案是比你想要的更便宜的显卡。
For the record
Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.