GPU 服务器 · A100 和 H100
A100 H100 独立服务器 整块 GPU，绝不切片
我们出租的 A100 H100 独立服务器，是一整台机器，配一块 NVIDIA GPU 直通到你自己的操作系统：A100 有 40 或 80 GB，H100 有 80 GB。按月付费，没有别人在上面跑，端口不限流量，所以搬数据集和检查点不额外花钱。
手里有闲置的 A100 或 H100？
把机器挂到 Primcast 市场上，按月租给需要算力的人。
00市场
或者从机主手里租一台 A100 或 H100
这些是机主挂在我们市场上的机器。标注由我们姊妹公司 Server Room 持有的机器，在 serverroom.net 上出租，不在这里。
01它们的用途
H100 AI 服务器用于训练，A100 用于模型推理
这些 GPU 只做一件事：把模型放进高速内存里做计算。如果你在训练或微调，或者用已经训练好的模型响应请求，就该看这一栏。
01内存速度
读取模型很快
模型进了 GPU 内存之后，响应速度主要取决于 GPU 读取权重的速度。A100 80 GB 读取速度是 1,935 GB/s，是 L40S 864 GB/s 的两倍多。
02训练
H100 多了 FP8
Hopper 带来了 Transformer Engine 和 FP8，所以人们选 H100 来训练或微调大模型。如果你的任务不只是要跑完，而是要更快跑完，这就是为它付费的理由。
03长时间运行
为连续数周的负载而生
全程纠错内存，加上为满负荷运行而造的数据中心硬件。一场持续数周、真金白银的训练，你消除的风险，就是那个你根本不会注意到的翻转位。
04单一租户
整块 GPU 都是你的
没有 MIG 切片，没有 vGPU 配置，没有分时共享，机器上没有别的客户。有些云上的 A100 套餐只是整块 GPU 的一小部分，比价之前先看清楚。
02下单之前
关于 NVIDIA H100 和 A100，有两件事要知道
它们不能编码视频
NVIDIA’ 自己的编码解码支持表里，A100 和 H100 的 NVENC 编码器数量都是零。它们能解码（A100 五个引擎，H100 七个），但每一帧离开它们时都要由处理器来编码。它们也没有显示输出，所以远程桌面、工作站和游戏服务器都不该放在这里。
如果你需要视频输出，带三个 AV1 编码器的 NVIDIA L40S 才是该租的 GPU，我们的转码页面会展示一块卡能带多少路直播频道。
A100 依然值得买
它是上一代产品，但对于装得下的模型，它往往是更划算的选择。40 GB 的 A100 能装下一个 130 亿参数的模型，按 8 位量化还有富余；80 GB 的能装下 300 亿参数的模型，同样按 8 位。
当你的代码用到 FP8 和更新的张量核心，或者你在为出结果的时间付费时，租 H100。当问题只是“装得下吗，读得多快”时，租 A100。
03规格
NVIDIA H100 和 A100 规格
数据来自 NVIDIA’ 的数据表和公开规格表。凡是我们无法对应到实际安装板卡的数值，表中一律略去。
H100 80GB
Hopper
80 GB HBM2e
350 W
PCIe Gen 5 x16
None. Decode only (7 engines)
Yes
A100 80GB
Ampere
80 GB HBM2e
6,912
1,935 GB/s
300 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
A100 40GB
Ampere
40 GB HBM2
6,912
1,555 GB/s
250 W
PCIe Gen 4 x16
None. Decode only (5 engines)
Yes
为什么 H100 没有列出核心数和带宽：我们的库存记录里混着两种板卡，一种是装在底板上的 SXM 模块，另一种是装进我们服务器的 PCIe GPU。80 GB HBM2e 内存属于 PCIe GPU，也就是你拿到的那块。在聊天里问一句，我们会告诉你机器里装的到底是哪块板。
04选择
A100 对比 H100：该租哪一块
每块 GPU 都是服务器之外的一条月租项，所以真正的问题是，对你的任务来说，升一档值不值。下表把内存和月租并排放在一起。
| Card | Card memory | The card | Cheapest complete machine |
|---|---|---|---|
| A100 40GB | 40 GB HBM2 | $699 | $772.47 |
| A100 80GB | 80 GB HBM2e | $899 | $972.47 |
| RTX PRO 6000 Blackwell 96GB | 96 GB GDDR7 ECC | $1,299 | $1,382.67 |
| H100 80GB | 80 GB HBM2e | $1,599 | $1,682.67 |
RTX PRO 6000 Blackwell 出现在表里是有意为之：它有 96 GB，比本页任何 GPU 都多。你放弃 NVLink 和一部分内存速度，换来四个视频编码器。如果你唯一的问题是模型装不装得下，做决定之前先读 RTX PRO 6000 页面。
在两块 A100 之间选择，首先看容量。如果你的模型和上下文能装进 40 GB，还能剩出五分之一，就选小的。如果接近上限，80 GB 的 A100 给你余量，读取也更快。
05机器
选哪台 A100 服务器或 H100 机器，以及它得到的 PCIe 通道
A100 是 PCIe Gen 4 GPU，H100 是 Gen 5，而我们的服务器平台是 Gen 3 和 Gen 4。所以 H100 在这里永远拿不到它设计时的完整总线，我们宁愿你现在就知道这一点。
Intel Xeon Silver / Gold
AMD EPYC
Intel Xeon E5-2600 v3/v4
Intel Xeon Silver / Gold
AMD EPYC
这重不重要，取决于你的任务。权重已经加载好的推理服务器几乎不碰插槽。每一步都从主机内存拉新批次的训练循环，每一步都会感受到。不确定自己是哪种？告诉我们你要跑什么，我们会给你指一台合适的机器。
06容量
80 GB GPU 内存能装下什么
只算权重，针对 80 GB 的 A100 和 H100。还要给上下文和运行时留出空间。
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB — fits | 8 GB — fits | 5 GB — fits |
| 13-14 billion parameters | 28 GB — fits | 14 GB — fits | 8 GB — fits |
| 30-34 billion parameters | 68 GB — does not fit | 34 GB — fits | 19 GB — fits |
| 70 billion parameters | 140 GB — does not fit | 70 GB — does not fit | 38 GB — fits |
在 40 GB 的 A100 上，300 到 340 亿参数的模型只有按 4 位量化才装得下。700 亿参数的模型按 16 位，在我们卖的任何单块 GPU 上都装不下；那需要不止一块 GPU，这时就要用到 NVLink。想反过来算，从你的模型推 GPU，用 LLM 内存容量计算页面。
07价格
A100 GPU 托管和 H100 价格，含机器
GPU 是账单上的一项，服务器是另一项。两者都来自结账时使用的同一份订购目录，所以下面每个价格都对应旁边那台确切的机器。
| Card | The machine it goes in | The card | Complete, per month |
|---|---|---|---|
| A100 40GB | Intel Xeon E5-2600 v3/v4 | $699 | $772.47 Configure this build → |
| A100 40GB | Intel Xeon Silver / Gold | $699 | $782.67 Configure this build → |
| A100 40GB | AMD EPYC | $699 | $916.59 Configure this build → |
| A100 80GB | Intel Xeon E5-2600 v3/v4 | $899 | $972.47 Configure this build → |
| A100 80GB | Intel Xeon Silver / Gold | $899 | $982.67 Configure this build → |
| A100 80GB | AMD EPYC | $899 | $1,116.59 Configure this build → |
| H100 80GB | Intel Xeon Silver / Gold | $1,599 | $1,682.67 Configure this build → |
| H100 80GB | AMD EPYC | $1,599 | $1,816.59 Configure this build → |
端口双向不限流量，没有出站流量费，而在这类工作负载上，这往往是别处最大的一笔账单。服务器自带一个 IPv4 地址，没有合同，一次付一个月。想看我们装配的其他 GPU，按同样方式标价，见 所有 GPU 服务器及价格。
08交付与支持
多久能拿到，谁来回答你
这些 GPU 是最可能需要为你采购的部件。付款之前，你会被告知以下四种情况中的哪一种适用。
- 约 30 分钟
已经上架
一台装好 GPU 的机器已经立在机架上。订单批准后大约 30 分钟就是你的。
- 4 到 24 小时
我们有 GPU 库存
我们把货架上现有的 GPU 装进你选的服务器。
- 5 到 10 个工作日
我们为你采购
GPU 从分销商那里为你下单，然后装到你的服务器上。
- 10 到 15 个工作日
配额分配中
当前加速器有时会被分销商限量供应，这是我们报出的最长等待时间。
下单前后的问题都可以找我们的在线聊天。AI 助手几秒内就能回答，还能查询你的账户和服务器；只要你要求，我们团队的人随时接手。已经上架、立即可用的机器在 即时服务器。
09问题
关于租用 A100 或 H100 的常见问题
01我能在单台 H100 服务器上训练 AI 模型吗？
可以。一块带 80 GB 显存的 H100 可以训练和微调权重、梯度与优化器状态都能装进这块显存的模型，而 Transformer Engine 的 FP8 还能进一步扩展它的能力。大型模型的完整训练通常需要不止一块 GPU。一台机器里装多块 GPU，或者多台机器协同，是我们会提供报价的方案：请参阅多 GPU 与多节点服务器。
02这和 NVIDIA DGX H100 是一样的吗？
不一样。DGX H100 是 NVIDIA’ 自家的系统，在一块基板上集成八块 H100 SXM 模块。我们出租的是标准服务器中的一块 H100 PCIe GPU，适合单 GPU 训练、微调和推理。如果你需要多块 GPU 互联，请参阅多 GPU 服务器。
03我能在 A100 或 H100 上转码视频吗？
不能通过硬件实现。这两款 GPU 都没有视频编码器，因此编码工作会落到处理器上，并以处理器速度运行。它们确实支持解码，所以读取视频并输出其他内容的作业可以正常进行。若要输出视频，请租用L40S，它配备三个 AV1 编码器。
04GPU 会被拆分成 MIG 实例或共享吗？
不会。你获得的是完整 GPU，直通到你自己的操作系统，而且这台机器没有其他人使用。两款 GPU 都支持 MIG，所以如果适合你的工作，你可以自行分区。这是你的选择，在你的机器上由你决定。
05我应该租用 A100 40 GB 还是 80 GB？
先从容量入手。如果模型及其上下文能装进 40 GB，并且还留有约五分之一的空闲空间，那么较小的 GPU 是更划算的选择。80 GB 的 A100 读取速度也更快，为 1,935 GB/s，而前者是 1,555 GB/s，所以如果你在内存或速度上接近极限，就选它。
06我会得到哪个 NVIDIA 驱动和 CUDA 版本？
由你安装的版本决定。服务器交付时带有干净的操作系统和 root 权限，你可以固定使用代码测试时所用的驱动、CUDA 和框架版本。不会有任何后台自动升级。如果你希望在交付前就装好驱动，请在下单时说明并指定版本。
07我能在一台服务器里放两块 A100 或 H100 吗？
可以，但这是定制报价方案，不是结账选项。两款 GPU 都支持 NVLink，因此两块 GPU 可以通过高速桥接共享工作负载。具体机箱、GPU 数量以及交付周期取决于 GPU 型号，所以请告诉我们你计划运行什么，我们会回复配置方案。
08我多久能拿到 A100 或 H100 服务器？
这取决于 GPU 所在的位置。如果已上架的机器已经搭载该 GPU，审批后约 30 分钟即可交付；如果我们持有该 GPU，需要 4 到 24 小时；如果需要采购，需要 5 到 10 个工作日；如果是配额分配的 GPU，则需要 10 到 15 个工作日。付款前会告知你适用哪种情况。已上架的机器列在即时服务器中。