裸金属上的显卡 · Primcast LLC · 始于 2004 年

告诉它工作内容是什么。它会告诉你该用哪张卡。

购买 GPU 服务器的大部分困难并不在于购买本身,而在于知道哪张卡够用——而这个行业里的每一份产品目录,都是按照硬件有多令人印象深刻来排列的,而不是按照你打算运行什么来排列的。这一份目录的排列方式正好相反。说出工作内容是什么、需要多少显存,剩下的就是答案,而且价格完整。

找到合适的卡 这张卡归我独享吗?

每台机器只有一个租户。显卡直通到你的操作系统——不切片、不分时共享、不虚拟化。

把你的 GPU 变成每月被动收入

有闲置的服务器或台式机 GPU 配置吗?今天就把它挂到 Primcast 市场上,从需要生产级算力的 AI 团队、开发者和企业那里赚取稳定的月租收入。

前往市场

选卡台

两个问题。

无需预订,无需创建账户,每张卡旁边的数字是包含该卡的整台服务器——处理器、内存、镜像磁盘、不限流量的端口、一个地址——而不是单卡本身。卡自身所占的部分印在它下面,这样你就能看清这笔钱里哪一半对应的是什么。

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

估算来自结账时实际计费的同一份目录,而不是口头报价。凡是没有显存数字的地方,都是因为我们找不到制造商公布的数据,所以卡片会如实说明,而不是去猜测——而且一旦你移动显存控件,这些卡就会从结果中消失,因为用一个我们没有的数字去过滤,会悄悄隐藏可能适合你的部件。问我们,我们会从卡上把数字读出来。有几种部件适配不止一种机箱,价格也不止一种;这里的数字是拥有该卡最便宜的方式,配置器会显示其余选项。

这份清单背后是什么

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

在本页面生成时从订单目录中实时统计,不是手工录入。如果某张卡明天被下架,这条信息明天就会变短。今天早上机架里实际有什么,是另一个问题,答案在即时服务器里。

每个人都会先问的问题

这张卡归我独享,还是我在跟别人共享?

归你独享。整张卡、整台机器,上面没有别人。

这张卡插在一台租给单一账户的物理服务器的 PCIe 插槽里,并直接交给你的操作系统:你自己的驱动、你自己的 CUDA 或 ROCm、你自己的进程。你和它之间没有虚拟机管理程序,没有 MIG 分区,没有决定何时轮到你的分时调度器,也没有第二个租户的批处理作业让你的推理延迟在下午四点突然波动。

机器的其余部分也按同样的条件归你所有——每一个核心、全部内存、所有磁盘、root 权限,以及服务器自带的 HPE iLO 或 Dell iDRAC,用于控制台、虚拟介质和电源管理。即使某个驱动把网络搞挂了,你仍然能看到屏幕。

  • 不是切片没有 MIG,没有 vGPU,没有按比例分配。一张卡,一个租户。
  • 不是队列没有任何东西抢占你的进程。你空闲时,卡就空闲。
  • 不是容器裸金属。加载你自己的内核模块,锁定你自己的驱动版本。
  • 不计流量权重进,检查点出,渲染结果出。没有任何东西去数字节数。

为什么上面的数字长这样

显卡是发票上的一行,而不是产品档位。

在其他任何地方,GPU 都是一种档位:你租“一个 H100 实例”,而它周围的处理器、内存、磁盘和网络该收你多少钱,早就由别人替你决定了。在这里,这两者是分开的两行,然后相加——这就是为什么上面清单里无论哪一端的卡,都装进同一个机箱,而你只支付卡与卡之间的差价,别的什么都不用付。

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. SetupNothingNo contract; one month is the default term

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

配置器会对单盘价格取整,与这些数字相差一两分钱。更长的计费周期还有进一步折扣;定价把所有内容集中在一处,而更老的硬件,更低的价格则解释了这份清单底部为何会存在。

存储卡内存容量

唯一决定它是否有效的规格。

时钟频率和核心数量决定了模型的运行速度。显卡的显存容量决定了它能否运行——模型的权重要么匹配,要么不匹配;显卡少2GB显存容量并不会降低速度,而是会导致崩溃。因此,显存容量是首要考虑的因素,也是几乎没有人会在公布价格时同时公布的参数。

计算方法是将参数数量乘以每个参数的字节数。16 位权重每个占两个字节,8 位权重每个占一个字节,4 位权重每个占半个字节。量化到 4 位可以将原本无法存储模型的机器变成可以存储模型的机器,但会牺牲一些质量。

预留一些内存空间。以下数据仅包含模型权重,不包含其他任何内容。运行时间、激活值以及长上下文的键值缓存都位于同一内存中,并且缓存会随着对话中每个标记的增加而增长。权重为 38 GB 的模型在 40 GB 的存储卡上无法流畅运行。建议在此基础上再预留四分之一到一半的内存空间,或者联系我们,我们会根据您的实际运行情况进行容量规划。

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

卡片下面是什么?

四个底盘共用一个,它们不能互换。

每张卡都对应着目录的不同部分,并为每张卡与处理器之间建立不同的链接。最后一列之所以存在,是因为它会增加成本,而且没人会打印出来:一位客户在第三代总线上从上一代消费级卡升级到下一代,结果渲染速度变慢了,而且他比我们更早发现了原因。所以,它被写在了页面上。

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

公交车一代究竟改变了什么

为新型总线设计的网卡在旧型总线上也能完美运行;只是数据传输速度不如新型总线快。这是否重要完全取决于具体应用。

  • 当数据持续地在总线上传输时,情况就变得很重要了——例如训练循环从磁盘或系统内存中流式传输数据,渲染每帧都向卡端提供场景数据,以及任何从卡内存溢出的数据。
  • 一旦权重驻留并保持不变,就无关紧要了——例如对拟合模型进行推理、视频转码以及大多数模拟操作。链接承载着请求和结果,而这些请求和结果都很小。
  • 如果您不确定,请提出。请告诉我们您的工作量,我们会坦诚地告诉您该平台是否成为瓶颈,包括在某些情况下,价格更低的卡在更好的连接上比价格更高的卡在较差的连接上更好。

随之而来的是

让这张卡可以使用的所有功能都包含在内,而且你无需额外购买任何东西。

  • 拥有根权限,驱动程序堆栈就归你所有了。

    我们会安装一个干净的操作系统,然后把密钥交给您。您可以选择驱动程序版本、CUDA 或 ROCm 版本以及框架构建版本,并将它们固定下来——这正是裸机部署的优势所在,与托管运行时截然不同,后者会在截止日期前一周自动升级。如果您希望我们在交付前安装驱动程序,请在订单中注明,我们会照办。

  • 机器自身的控制台,位于独立的网络上

    HPE iLO 或 Dell iDRAC:键盘和屏幕控制台、虚拟媒体、电源控制、硬件健康状况和硬件日志。如果显卡驱动程序导致显示器或网络出现故障,这只是使用上的不便,无需提交支持工单,因为您仍然可以观察机器的启动过程。

  • 双向不限流量端口

    没有超出限额的传输限制,任何账单上也不会出现出站流量。数据集输入、检查点输出、渲染输出、向真实用户提供的模型——所有这些都只按端口计费,不多不少。不限流量带宽是高于套餐速度的额外服务,也是它与超大规模数据中心账单之间最大的区别。

  • 您可以根据需要多次重新安装。

    操作系统镜像一键安装,无需工单即可免费重新安装,即使驱动程序测试失败也只需花费二十分钟。反向 DNS 可自行编辑,IPv6 已包含在内,更多 IPv4 地址则直接列在目录中,无需协商。

  • 在任何时间,人们

    所有套餐均包含电话、在线聊天和工单支持,故障部件将在通过电话或聊天报告后四小时内更换。支持团队会以书面形式提供响应时间和补偿方案。

  • 五个房间可以放它

    纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特——机器所在的位置决定了你与呼叫者之间的延迟,以及它所适用的数据保护机制。数据中心指的是这些建筑物。

它出现得有多快

时间从半小时到三周不等,具体取决于卡片的位置。

不是一个数字,因为从来就不是一个数字。已安装到已上架机器上的卡片属于交接。需要购买的卡片属于采购订单。只有在您付款之前(而不是之后)告知您具体需要的是哪一种,这种做法才有意义。

  1. 约30分钟

    卡片已经在货架上的机器里了。

    所有设备均未安装,也未移动。机器已完成镜像扫描并交付。 “即时服务器”列表列出了目前摆放在那里的所有设备。

  2. 4-24小时

    我们手中的卡片会被安装到位,或者货架上的机器会被重新排列。

    本页所有内容均属常规情况。所需部件存放于我们自己的仓库;技术人员会进行安装,组装阵列并安装操作系统。货架上摆放着一台配置相近但不完全相同的机器——例如,添加内存、更换硬盘、根据您的选择重新构建阵列——这些工作都是在不将机器从机架上移开的情况下完成的。

  3. 5-10个工作日

    这张卡必须购买。

    清单上的某些产品并非我们库存现货。我们需要订购后才能生产。 “按需定制”页面提供了此类产品的完整规格说明。

  4. 10-15个工作日

    这张卡片很稀有。

    当前一代加速器采用配额制,具体日期由分销商决定,而非我们。我们会在您确认之前告知您具体使用期限,而不是之后。如果硬件是为单个客户购买的,我们会要求预付三个月的费用,因为如果客户在第二周就关闭账户,我们就无法将机器再次出租。

订单处理的每个环节都始于付款和反欺诈审核通过之后,这是我们无法做出任何承诺的环节:大多数订单会在几个小时内完成审核,但新账户的首单可能需要更长时间。我们接受信用卡、PayPal、ACH 转账和电汇付款,也接受加密货币付款——对于大额订单,加密货币付款通常是最快的。

常见问题

本页面存在的意义,就是回答这十二个问题。

取自客户在在线聊天和工单中实际提出的问题,大致按提问顺序排列。第一个问题曾让我们丢失订单,所以也排在第一位。

GPU 是独享还是共享的?
独享。一台物理机、一个账户,显卡直通到您的操作系统。没有虚拟机监控程序,没有 MIG 分区,没有 vGPU 配置文件,没有时间切片调度器,也没有其他任何人的工作负载占用这张卡。您第一天下午测到的性能,就是您一直拥有的性能。
一台机器里可以装多张卡吗?
可以,这属于需要报价的定制配置,而不是勾选一个选项那么简单。能装多少张取决于机箱、显卡的物理宽度和供电预算,所以诚实的回答需要知道具体是哪款卡。您问,我们就会回复机箱型号、可装数量和交货时间。有几位客户运行两张卡,最常见的原因是显存而非速度——两张 48 GB 的卡能装下模型,而一张 80 GB 的卡装不下。多卡或多机页面完整解答了这个问题,包括当第二张卡变成第二台机器时会发生什么变化。
我能得到哪个驱动和 CUDA 版本?
您自己安装哪个就是哪个。这正是裸金属的意义所在:机器交付时带有干净的操作系统和 root 权限,您可以将驱动、CUDA 或 ROCm 版本以及框架构建固定到与您的代码测试环境完全一致的版本——不会有任何东西在您不知情的情况下升级。如果您希望在交付前就装好驱动,下单时说明并指定版本即可。如果您需要特定 CUDA 版本与特定显卡的兼容性支持,付款前先问,我们会核实而不是猜测。
如果我要的卡现在没有现货怎么办?
那就装机或订货,付款前会明确告知您是哪一种情况。我们有库存的卡,四到二十四小时内装好。需要采购的卡,五到十个工作日;当前一代加速器若需配额分配,则要十到十五个工作日。本页面刻意不显示库存数量,因为显卡是我们安装的部件,而不是来来去去的商品——但如果您想今天就要机器,即时服务器页面列出了此刻真正插在机架上的机器。
以后可以加卡或换卡吗?
可以,就在您现有的机器上进行——无需迁移、无需重装、无需更换地址。这是一次计划内的机架维护,机器停机期间会有短暂中断,月费按两张卡的差价调整。内存、硬盘和端口速度也可以同样方式升级。
显卡坏了怎么办?
会更换,协议中写明了时限:从您通过电话或在线聊天报告故障起四小时内。超过时限,您将按照公开的赔偿标准获得服务积分,无需主动申请。支持部门有书面的赔偿标准和电话号码。
带宽计量吗?出站流量怎么收费?
不计量,出站流量免费,我们销售的所有端口速度都是如此。没有传输配额可超,任何账单上都不会出现超额费用。对于 GPU 工作负载,这通常是别处最大的隐性成本:一次训练运行要拉取数据集、推送检查点,或者一个推理端点要响应真实流量,都会产生大量字节,而超大规模云服务商对每一 GB 的出站流量都收费。不限流量带宽是包含端口速度之上的升级选项。
这和按小时租用 GPU 相比如何?
算一笔账就清楚了。如果工作负载是突发性的、确实会停止——每月几百小时或更少——按小时租卡更便宜。超过大约每月三分之二的时间,按小时租就不划算了,这还没算出站流量、运行之间需要持久化的存储,以及作业排队等待资源的时间。按月租用还意味着下个月还是同一台机器、同样的硬盘、同样的地址,一旦有东西投入生产,这一点比人们预想的更重要。
可以挖矿,或者运行区块链和去中心化计算节点吗?
可以。这两类在这里都是普通工作负载,历来如此,本页面上好几款卡就是为此采购的。挖矿服务器页面专门介绍挖矿场景,包括那些只对挖矿才有意义的配置。
如何付款?有合同吗?
信用卡、PayPal、ACH、银行电汇或加密货币。没有合同:默认且唯一的期限是一个月,三个月、六个月和十二个月的周期可享受折扣,续费时价格不上涨。加密货币支付页面列出了接受的币种;对于较大的首笔订单,电汇或稳定币通常比信用卡到账更快,在欺诈检查延误交付之前了解这一点很有价值。
如果不符合需求,可以退款吗?
首次激活后三个日历日内,且在排障流程已穷尽的前提下——退款政策中有确切措辞。这正是上面规格和总线代际部分存在的原因:第一次就买对卡,对双方都更划算,我们宁愿说服您买小一点的卡,也不愿卖给您一台要退货的机器。
你们有最新的显卡吗?
有时候有,但这个问题问错了。最新的部件是配额分配的稀缺品,所在的平台无法提供它设计所需的 PCIe 总线代际,价格还假定您需要它的每一分性能。这里大多数 GPU 工作负载不是训练前沿模型——而是部署一个已经能装下的模型、视频编码、渲染帧或驱动桌面,对于所有这些场景,合适的卡通常是两代之前的型号,价格只要四分之一。告诉我们您的具体任务。如果答案确实是最新的部件,我们会直说,同时也会告诉您价格和到货时间。

接下来去哪里

本页面两侧的页面。

本页面只回答一个问题:我们安装哪些显卡以及价格多少。与这个问题相邻的所有内容都有自己的页面,以下是全部页面,按访问者实际点击的顺序排列。

还是不确定选哪张卡?,会有之前配置过这些机器的人来回答——包括当答案是比您原本想买的更便宜的卡时。

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.