裸金属上的显卡 · Primcast LLC · 始于 2004 年

告诉它工作是什么。它告诉你该用哪张卡。

购买 GPU 服务器的大部分困难不在于购买本身,而在于知道哪张卡够用——而这个行业里的每一份目录都是按部件有多令人印象深刻来排列的,而不是按你想运行什么来排列的。这一份则反了过来。说出工作是什么、需要多少显存,剩下的就是答案,价格完整列出。

找到合适的卡 这张卡归我吗?

每台机器只有一位租户。显卡直通给你的操作系统——不切片、不分时、不虚拟化。

把你的 GPU 变成每月被动收入

有闲置的服务器或台式机 GPU 配置吗?今天就挂到 Primcast 市场上,从需要生产级算力的 AI 团队、开发者和企业那里赚取稳定的月租。

前往市场

选卡台

两个问题。

无需预订,无需创建账户,每张卡旁边的数字是包含该卡的整台服务器——处理器、内存、镜像磁盘、不限流量的端口、一个地址——而不是单卡本身。卡自身所占的部分印在下面,这样你就能看清钱花在了哪一半上。

What is it for?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A20006 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,328 CUDA cores$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP 170HX 64GB HBM2e8 GB HBM2e, 64 GB unlockedIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

估算来自结账时计费的同一份目录,不是报价。凡缺失显存数据的,都是我们找不到制造商公布的数字,所以卡片会如实说明而不是猜测——而且一旦你移动显存控件,这些卡就会退出筛选,因为用一个我们没有的数字去过滤,会悄悄隐藏可能适合你的部件。问一声,我们会从卡上把数字读出来。有些部件适配不止一种机箱、不止一个价格;这里的数字是拥有该卡最便宜的方式,配置器会展示其余选项。

那份清单背后是什么

  • 57Cards we fit
  • $20.79Cheapest card, per month
  • $91.72Cheapest whole machine with one in it
  • 5Cities
  • 0Bytes counted

在本页面生成时从订单目录中统计而来,不是手工输入的。如果某张卡明天被撤下,这条信息明天就会变短。今天早上机架里实际放着什么,是另一个问题,答案在即时服务器里。

每个人都会先问的问题

这张卡是我的,还是我在跟别人共用?

你的。整张卡、整台机器,没有别人在上面。

这张卡插在一台只租给一个账户的物理服务器的 PCIe 插槽里,并且直接交给你的操作系统:你自己的驱动、你自己的 CUDA 或 ROCm、你自己的进程。你和它之间没有虚拟机监控程序,没有 MIG 分区,没有决定何时轮到你的分时调度器,也没有第二个租户的批处理作业让你的推理延迟在下午四点突然波动。

机器的其余部分也按同样的条件归你所有——每一个核心、全部内存、所有磁盘、root 权限,以及服务器自带的 HPE iLO 或 Dell iDRAC,用于控制台、虚拟介质和电源管理。即使某个驱动把网络搞挂了,你仍然能看到屏幕。

  • 不是切片没有 MIG、没有 vGPU、没有按比例分配。一张卡,一位租户。
  • 不是队列没有任何东西抢占你的进程。你空闲时,卡就空闲。
  • 不是容器裸金属。加载你自己的内核模块,锁定你自己的驱动版本。
  • 不计流量权重进、检查点出、渲染出。没有东西去数字节数。

为什么上面的数字长这样

显卡是发票上的一行,不是一个产品层级。

在其他任何地方,GPU 都是一种层级:你租“一个 H100 实例”,而它周围的处理器、内存、磁盘和网络该收你多少钱,早就由别人替你决定了。在这里,这两者是分开的两行,然后相加——这就是为什么上面清单里任何一端的卡都能装进同一个机箱,而你只付卡与卡之间的差价,别的什么都不用付。机器部分按制造商有自己的页面:AMD 独立服务器适用于可搭载这些显卡的 EPYC 系列,Intel 独立服务器适用于 Xeon。

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAnything on the shelves belowCheapest to dearest, $20.79 to $1,599$20.79
  3. The portUnmetered, both directionsNo allowance to exceed, no egress line, everincluded
  4. Setup$29 onceNo contract; one month is the default term$29 once

Whole machine, card in it, per month, from$91.72

And at the other end of the same list: H100 80GB in a whole machine for $1,682.67 a month — $2.31 an hour if you are comparing against something billed by the hour, with nothing added for the traffic.

配置器会对单个磁盘的价格取整,与这些数字相差一两分钱。更长的计费周期还有进一步折扣;定价把所有内容集中在一处,而更老的硬件,更低的价格则解释了这份清单的底部为什么存在。

显卡需要多大显存

唯一决定它能否运行的规格。

时钟频率和核心数量决定一款型号运行得有多快。显存则决定它能否运行 — 权重要么装得下,要么装不下,一张少了两 GB 的显卡不是更慢,而是直接崩溃。所以这是在任何其他指标之前就要确定的数字,而几乎没有人把它标在价格旁边。

计算方法是参数量乘以每个参数占用的字节数。十六位权重每个占两字节,八位占一字节,四位占半字节。量化到四位,正是把一台装不下模型的机器变成装得下的关键,代价是质量有所损失。

留出余量。下面的数字只是权重本身,不含其他。运行时、激活值和长上下文的键值缓存都占用同一块显存,而缓存会随着对话中每一个 token 的增长而增长。一个权重为 38 GB 的模型,在 40 GB 的显卡上不会跑得舒服。请在此基础上再预留四分之一到一半的余量,或者直接问我们,我们会根据你实际运行的内容来帮你规划。

Weights only. Add head-room for the runtime and the context window before choosing a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

显卡下面是什么

四种机箱各配一种,彼此不可互换。

每种机箱对应目录中的不同部分,并给显卡提供与处理器不同的连接方式。最后一列之所以放在这里,是因为它让人花了冤枉钱,却没人把它印出来:一位客户在第三代总线上从一代消费级显卡换到下一代,渲染反而更慢了,而且比我们先找出原因。所以它被写在了页面上。

Intel Xeon E5-2600 v1/v2

$70.93the machine, per month

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards it takes
28
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Configure this machine →

Intel Xeon E5-2600 v3/v4

$73.47the machine, per month

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards it takes
44
Link to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

Intel Xeon Silver / Gold

$83.67the machine, per month

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards it takes
48
Link to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

AMD EPYC

$217.59the machine, per month

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards it takes
10
Link to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Configure this machine →

还有一台根本不是服务器。

另外还有一台台式机:办公级部件,内置 NVIDIA 显卡,以一台整机、一个包月价格出售。这是你能从我们这里租到带 GPU 的专用主机所付的最低价格,因此它是学习 CUDA、运行小模型、用 NVENC 转码或保留远程工作站的合理选择。这个价格买到的东西比一台机箱少,我们宁愿你现在就知道:单块磁盘、没有 RAID、没有带外控制台(重装和断电重启都要通过我们)、单电源。

RTX 3050 6GB, in a desktop

€82.29the whole machine, card included, per month

Intel Core i5-9500 @ 3.0GHz, 6 cores · 32 GB memory · NVMe-SSD 256 GB · 1 Gbps Unmetered · Bucharest

Card
fitted
Disks
1
Sockets
1

Order the desktop →

总线代际到底改变了什么

为较新总线设计的显卡在较旧总线上也能完美工作;它只是无法以同样的速度在链路上传输数据。这是否重要,完全取决于具体任务。

  • 它很重要,当数据持续不断地穿过总线时 — 训练循环从磁盘或系统内存流式读取批次、渲染每一帧都把场景数据送到显卡侧、任何超出显存溢出的内容。
  • 它不重要,一旦权重常驻且保持不变 — 对装得下的模型做推理、视频转码、大多数模拟。链路传输的是请求和结果,而这些都很小。
  • 不确定就问。告诉我们你的工作负载,我们会直说这个平台是否会成为它的瓶颈,包括当诚实的答案是:在更好链路上的更便宜显卡,胜过在更差链路上的更贵显卡。

随附内容

让显卡可用的一切,且无需你再购买任何东西。

  • Root 权限,驱动栈归你管

    我们安装干净的操作系统,然后把钥匙交给你。你选择驱动版本、CUDA 或 ROCm 版本以及框架构建,并把它们固定住 — 这正是裸金属的意义所在,与那种在截止日期前一周悄悄升级的托管运行时正好相反。如果你更希望我们在交付前就装好驱动,下单时说明,我们就会照做。

  • 机器自带的控制台,在独立网络上

    HPE iLO 或 Dell iDRAC:键盘加屏幕控制台、虚拟介质、电源控制、硬件健康和硬件日志。一个把显示或网络一起带崩的显卡驱动,只是不便,而不是一张工单,因为你仍然可以看着机器启动。

  • 不限流量的端口,双向都是

    没有传输额度可超,任何账单上也没有出站流量这一行。数据集进来、检查点出去、渲染输出、把模型服务给真实用户 — 所有这些都按端口价格传输,一个字节都不多收。不限流量带宽是包含速度之上的阶梯,也是它和超大规模云服务商账单之间最大的区别。

  • 想重装多少次就重装多少次

    操作系统镜像一键重装,无需工单、不收费,所以一次以糟糕收场的驱动实验只让你损失二十分钟。反向 DNS 由你编辑,IPv6 已包含,更多 IPv4 是目录中的一项,而不是一场谈判。

  • 有人,随时都在

    电话、在线聊天和工单,每个方案都包含,故障部件在通过电话或聊天报告后四小时内更换。支持页面写明了响应时间和补偿方案。

  • 五个机房可选

    纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特 — 机器放在哪里,决定了你到调用者之间的延迟,以及它适用哪种数据保护制度。数据中心页面介绍了这些建筑。

多久能交付

从半小时到三周不等,取决于显卡现在在哪里。

不是一个数字,因为它从来就不是一个数字。一张已经装进已上架机器的显卡,是直接交付。一张需要采购的显卡,是采购订单。在你付款之前而不是之后告诉你属于哪一种 — 这才是唯一有价值的说法。

  1. 约 30 分钟

    显卡已经在货架上的机器里

    无需安装,无需搬运。机器完成镜像后直接交付。即时服务器列出了现在就在那里的所有机器。

  2. 4–24 小时

    我们库存中的显卡需要安装,或已上架机器需要调整

    本页所有内容的常见情况。部件就在我们自己的库房里;技术人员安装它、组建阵列并安装操作系统。货架上的机器接近但不完全符合 — 加内存、换硬盘、按你的选择重建阵列 — 是同样的工作,在机架上原地完成,机器不必离开机架。

  3. 5–10 个工作日

    显卡需要采购

    清单上的某项不是我们常备库存。我们先下单采购,然后组装。按需定制页面适用于这类完整规格。

  4. 10–15 个工作日

    显卡稀缺

    当前一代加速器按配额供应,日期由分销商决定,而不是我们。我们会在你承诺之前而不是之后指出最长的瓶颈。为单个客户采购的硬件,我们要求预付三个月费用,因为如果账户在第二周关闭,这台机器我们无法再租给他人。

每一档都从订单通过付款和反欺诈审核后开始计时,这是唯一我们不做承诺的步骤:大多数订单几小时内通过,新账户的首笔订单可能需要更长时间。支持银行卡、PayPal、ACH 和电汇,也支持加密货币 — 对于较大订单,它通常是到账最快的方式。

之前问过的问题

本页面要回答的十三个问题。

取自人们在聊天和工单中实际问我们的问题,大致按提问顺序排列。第一个问题曾让我们丢掉订单,所以在这里也排在第一位。

GPU 是专用的,还是共享的?
专用的。一台物理机、一个账户,显卡直接直通到你的操作系统。没有虚拟机监控程序,没有 MIG 分区,没有 vGPU 配置文件,没有时间切片调度器,也没有其他任何人的工作负载占用这块卡。你第一个下午测到的性能,就是一直属于你的性能。
一台机器里可以装多块卡吗?
可以,而且这是需要我们报价的定制配置,不是勾选一个选项就行。能装多少块取决于机箱、显卡的物理宽度和供电预算,所以诚实的回答需要知道具体是哪款卡。问我们,回复会写明机箱、数量和交付时间。有几位客户运行两块卡,最常见的原因是为了显存而不是速度——两块 48 GB 的卡能装下一个模型,而一块 80 GB 的卡装不下。多块卡或多台机器这个页面完整回答了这个问题,包括当第二块卡变成第二台机器时会有什么变化。
我会得到哪个驱动和 CUDA 版本?
你自己安装哪个就是哪个。这就是裸金属的意义:机器交付时带有干净的操作系统和 root 权限,你可以把驱动、CUDA 或 ROCm 版本以及框架构建固定到你的代码测试过的任何版本——不会有任何东西在你不知情的情况下升级。如果你希望驱动在交付前就装好,下单时说明并指定版本。如果你需要特定显卡支持的特定 CUDA 版本,付款前先问我们,我们会核实而不是猜测。
如果我想要的卡今天没有现货怎么办?
那就安装或订购,付款前会告诉你具体是哪种情况。我们库存有的卡会在四到二十四小时内装好。需要采购的卡需要五到十个工作日,而当前一代的加速卡如果处于配额分配状态,可能需要十到十五个工作日。本页面故意不显示库存数量,因为显卡是我们安装的部件,而不是来来去去的商品——但如果你想要一台今天就能用的机器,即时服务器页面列出了此刻真正摆在机架上的机器。
以后可以添加或更换显卡吗?
可以,就在你现有的机器上——无需迁移、无需重装、无需更换地址。这是一次计划内的机架维护,机器停机期间会有短暂中断,月费按两块卡之间的差价调整。内存、硬盘和端口速度也可以同样升级。
显卡坏了怎么办?
会更换,协议中写明了时限:从你通过电话或在线聊天报告故障起四小时内。超过这个时间,你按公开的时间表获得服务积分,而不是需要主动申请。支持部门有书面的时间表和电话号码。
可以自带显卡吗?
可以。你已经拥有的显卡,或任何其他部件,都可以装进你从我们这里租用的服务器。这不是免费的:显卡会耗电,所以有费用,而且费用取决于硬件,不是固定价格。如果你自带的部件坏了,我们不负责:上面提到的四小时更换只涵盖我们供应的硬件。在你购买或寄送之前,我们先谈谈。预约通话,我们会为你的显卡报价,并确认机器能否安装,因为不是每台机器都行;例如刀片服务器就没有空间容纳全尺寸 GPU。
带宽是计量的吗?出站流量要多少钱?
没有任何计量,出站流量不收费,在我们销售的所有端口速度上都是如此。没有传输配额可以超出,任何发票上都不会有超额费用。对于 GPU 工作负载,这通常是其他地方最大的隐藏成本:一次训练运行要拉入数据集并推送检查点,或者一个推理端点要响应真实流量,都会传输大量字节,而在超大规模云服务商那里,每 GB 的出站流量都要收费。不限量带宽是包含端口速度之上的额外优势。
这和按小时租用 GPU 相比怎么样?
算一算就知道了。如果工作负载是突发性的、确实会停止——每月几百小时或更少——按小时租卡更便宜。超过大约每月三分之二的时间后,差距就很大了,而且这还没算出站流量、没算运行之间需要持久化的存储、没算你的作业排队等待容量所花的时间。按月租用还意味着下个月是同一台机器、同样的硬盘、同样的地址,这一点在东西投入生产后比人们预想的更重要。
可以挖矿,或者运行区块链和去中心化计算节点吗?
可以。这两者在这里都是普通工作负载,一直都是,本页面上有几块卡就是专门为此购买的。挖矿服务器页面专门介绍挖矿场景,列出了可以挖矿的显卡及价格。
如何付款?有合同吗?
银行卡、PayPal、ACH、银行电汇或加密货币。没有合同:一个月是默认且唯一的期限,三个月、六个月和十二个月的周期有折扣,续费时价格不会上涨。加密货币支付页面列出了接受的币种;对于较大的首笔订单,电汇或稳定币通常比银行卡到账更快,在欺诈检查延误交付之前了解这一点很有用。
如果不符合我的需求,可以退款吗?
首次激活后三个日历日内,在排障流程走完之后——退款政策中有确切措辞。这正是上面有选型和总线代次部分的原因:你第一次就买对显卡,对我们双方都更划算,我们宁愿劝你买一块小一点的卡,也不愿卖给你一台要退货的机器。
你们有最新的显卡吗?
有时候有,但这是个错误的问题。最新的部件是配额分配的稀缺部件,所在的平台无法提供它设计所需的 PCIe 总线代次,价格还假设你需要它的每一分性能。这里大多数 GPU 工作不是训练前沿模型——而是运行一个已经能装下的模型、编码视频、渲染帧或驱动桌面,对于所有这些场景,合适的显卡通常是两代之前的型号,价格只要四分之一。告诉我们你的工作内容。如果答案真的是最新的部件,我们会直说,也会告诉你价格和到货时间。

接下来去哪里

本页面两侧的页面。

本页面只回答一个问题:我们安装哪些显卡以及价格多少。与这个问题相邻的所有内容都有自己的页面,以下是全部页面,按本页面访客实际点击的顺序排列。

还是不确定选哪块卡?,之前配置过这类机器的人会回答你——包括当答案是比你原本想买的更便宜的显卡时。

For the record

Everything on this page, as figures.

Read from the order catalog when this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth reading.

Cards we fit
57 add-in cards, in 3 classes: 15 for training and inference, 23 for rendering, transcode and virtual desktops, 19 consumer.
What a card costs
From $20.79 to $1,599 a month, added to the machine. The card is a separate line; the machine does not get dearer because of what is in it.
What a whole machine with a card in it costs
From $91.72 to $1,682.67 a month, complete — processor, memory, mirrored disks, unmetered port, one IPv4, remote console. Nothing else to add.
The machine on its own
$70.93 to $217.59 a month before any card.
Cheapest machine that can train something
Instinct MI50 16GB at $169.93 a month, complete.
Dearest
H100 80GB at $1,682.67 a month, complete. That is $2.31 an hour for the whole machine, billed monthly, with no egress charge on top.
Tenancy
One tenant per physical machine. The card is passed through to the operating system, not sliced, not time-shared and not virtualized. There is no hypervisor between you and it.
Bandwidth
Unmetered, both directions, at every port speed. No transfer allowance, no egress line on any invoice — model weights, datasets and render output all move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
One month, no contract. Three, six and twelve-month cycles take up to 15% off.
Multiple cards
Yes — more than one card in one machine is a build-to-order job rather than a checkout option. Ask, and the answer names the chassis and the lead time.
Payment
Card, PayPal, ACH, wire and cryptocurrency.