工作负载 · 托管语言模型

在专用 GPU 上托管 LLM 按你想运行的模型来选配

Primcast 的 LLM 托管是一整台带专用 GPU 的服务器，在你选定的运行时上运行你选定的模型，每月价格固定不变。在工作表上选择模型规模和精度，它会给出能容纳该模型并留出服务余量的最小 GPU。

显存算错了，其他都白搭：一个比 GPU 显存大两 GB 的模型，要么拒绝启动，要么在处理器上爬行。所以工作表要放在最前面。

为你的模型租一台 GPU 服务器 为什么能装下的模型仍可能无法服务
选配工作表权重 × 余量
模型规模
精度
谁在使用

70B: 38 GB × 1.5 = 57 GB

Fits on one GPU. The smallest that clears it (3 larger also do):

Instinct MI21064 GB HBM2e

The link opens the machine it goes in. Its price is on GPU dedicated servers.

把你的 GPU 变成每月被动收入

有闲置的服务器或台式机 GPU 配置吗？今天就挂到 Primcast 市场上，从需要生产级算力的 AI 团队、开发者和企业那里赚取稳定的月租。

前往市场

01 GPU 显存

一个 LLM 需要多少 GPU 显存？

用参数量乘以每个参数占用的字节数。16 位精度下是两字节，8 位是一字节，4 位是半字节。一个 70B 模型在 16 位下约有 140 GB 权重，在 4 位下约 38 GB。

量化到更少的位数，是让大模型能装进较小 GPU 的办法。它会损失一些质量，而损失多少更多取决于模型和方法，而不是位数本身。如果你在意准确度，在选定硬件之前把两个版本都测一下。

实际下载的体积会比这个总和略大一些，因为常见的 4 位格式会把部分层保留在更高精度。Ollama’ 默认的 Llama 3.1 70B 4 位下载体积是 43 GB，而不是 38。一旦你选定了文件，就按它的实际体积来选配。

这些还只是权重本身。把它们当作下限，而不是全部要求：下一节才是让人栽跟头的地方。

Weights only. The runtime, the activations and the conversation come on top, and the next section is about them.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

常见开源模型及其对应行

参数量是发布方自己给出的，而选配问题只需要这个数字。不在此列表中的模型也按同样方式选配，而且每个月都有新模型出现，算法不会变。

MoE专家混合

一个被描述为“30B 总参数、3B 激活”的模型，需要 30B 模型的内存，运行速度则更接近 3B 模型。每个专家都必须保持加载，因为每个 token 都可能唤醒不同的专家。始终按总参数来选配。

开源权重模型系列及各自所属的选配行
模型参数量选配行
Llama 3.1 / 3.3 Meta8B · 70B7–8B，以及 70B
Llama 4 Scout Meta109B total · 17B active高于 70B 行：按 109B 选配
Qwen3 Alibaba8B · 14B · 32B前三行
Qwen3 30B-A3B Alibaba30B total · 3B active30–34B，按总参数选配
DeepSeek-R1 distilled7B – 70B每行一个：选你的 GPU 能装下的那个
Mistral Small 3.2 Mistral AI24B介于第二行和第三行之间：自己算一下
Gemma 3 Google12B · 27B13–14B，以及略低于 30–34B
Phi-4 Microsoft14B13–14B
gpt-oss OpenAI20B · 120B以 4 位发布：一块 16 GB GPU，以及一块 80 GB GPU

02 余量

为什么能装下的模型仍可能拒绝服务

因为权重与运行时以及对话共享 GPU 显存。常见的情况是：模型 38 GB，GPU 有 40 GB，它加载成功，然后大约只能处理一次简短对话，请求就开始排队。拖动滑块，看看对话如何增长。

权重，固定
运行时
键值缓存，增长中
空闲
一块 GPU 的显存，按比例绘制

单个用户、短上下文：×1.25 倍乘数覆盖这种情况。

  • 对话中的每个 token 都会在键值缓存中留下一条记录，以免重复计算。缓存随上下文长度增长，并随你同时服务的每个请求再次增长。
  • 在权重之上，为单用户场景预留 四分之一 的余量，为服务流量预留 一半 的余量。这就是工作表上的两个倍乘数。
  • 预算很紧？下单前，把你的模型、量化方式、上下文长度以及同时使用人数发给我们。现在为你选配合适的 GPU，远比交付后再把你迁移到更大的机器容易。

03 用于 LLM 的 GPU 服务器

哪台 GPU 服务器运行哪个模型

在左侧找到你的模型，在顶部找到你的精度。每个单元格标出我们能容纳这些权重并留出服务余量的最小 GPU，并链接到它所安装的机器。如果没有单块 GPU 足够，单元格会明确说明。

The smallest GPU we fit that holds the weights with room left to serve: 1.5× the weights, the generous end of the quarter-to-a-half head-room rule. Prices are on GPU dedicated servers, next to the machine each GPU goes in.
If you want to runat 16-bitat 8-bitat 4-bit
7-8 billion parametersTESLA P40 / QUADRO P600024 GB16 GB of weightsTITAN V12 GB HBM28 GB of weightsTESLA P48 GB GDDR55 GB of weights
13-14 billion parametersRTX A600048 GB GDDR6 ECC28 GB of weightsTESLA P40 / QUADRO P600024 GB14 GB of weightsTITAN V12 GB HBM28 GB of weights
30-34 billion parametersMore than one GPUNothing we fit holds it alone68 GB of weightsInstinct MI21064 GB HBM2e34 GB of weightsTesla V100 32GB32 GB HBM219 GB of weights
70 billion parametersMore than one GPUNothing we fit holds it alone140 GB of weightsMore than one GPUNothing we fit holds it alone70 GB of weightsInstinct MI21064 GB HBM2e38 GB of weights
  • 能装下的最小 GPU 并不总是你想要的。显存只告诉你模型能否启动。GPU 的其余部分决定它有多快、能同时服务多少人，所以如果速度比预算更重要，就再上一档。
  • 较旧的 GPU 不支持较新的数字格式。我们选配的若干 GPU 早于 FP8 和 bfloat16，因此期望这些格式的运行时会回退到更慢的方案，或拒绝启动。下单前请就具体 GPU 和运行时咨询。
  • AMD GPU 运行 ROCm，而不是 CUDA。Instinct GPU 以同样的价格提供大量显存，并在此处对应不止一个单元格，但你的软件必须支持 ROCm。大多数当前运行时都支持，而围绕它们的一些工具仍不支持。我们很乐意与你一起检查你的软件。
  • 多块 GPU 属于我们报价的定制方案，不是结账选项，因为能装多少块取决于 GPU 的宽度和机箱的供电预算。我们的 多 GPU 页面 对此有说明。这个规模下的另一个答案是 128 GB 由处理器和 GPU 共享的内存，装在一台机器里：租用 NVIDIA DGX Spark。

04 GPU 列表

我们选配的每一块 GPU，按显存从大到小排列

我们选配了 56 块有公开显存数据的 GPU，其中最大的一块拥有 96 GB。 这份列表从顶部开始，因为这里的问题是“我能运行的最大模型是什么”。GPU 独立服务器 按最便宜机器起列出同样的 GPU，并附价格。厂商未公开显存数据的 GPU 会被略去，而不是猜测。

有些 GPU 有不止一种机箱，而底层机器的 PCIe 代次会改变现代 GPU 的能力。两者都列在 GPU 独立服务器 上。如果你不想等待定制组装，可以看看 即时服务器 上的现成机器。

05 自托管 LLM

你的运行时，你的版本，中间没有任何东西

你拿到的是装有全新操作系统和 root 权限的服务器。没有我们的推理服务挡在你的模型前面，也没有任何东西会在你截止日期前一周自动升级。让 GPU 驱动、CUDA 或 ROCm 以及你的框架保持在你测试过的确切版本上。如果你希望在交付前装好驱动，请在订单中说明并指定版本。

vLLM 和 Ollama 都提供 OpenAI 兼容端点，因此为托管 API 编写的代码只需改一个基础 URL，就能指向你自己的服务器。

  1. vLLM

    用于服务真实流量

    连续批处理和分页注意力让一块 GPU 能同时应答多个请求。这就是演示与服务之间的区别。它需要一块较现代的 GPU。

  2. llama.cpp

    用于显存紧张或较旧的 GPU

    它的量化格式正是大模型能装进小 GPU 的原因，而且当权重装不下时，它可以在处理器和 GPU 之间分配工作。

  3. TGI · SGLang

    用于带扩展功能的生产环境

    同一家族的生产服务器，在结构化输出、前缀复用和服务多个模型方面各有优势。它们在这里可以原样运行。

  4. Ollama

    用于几分钟内得到第一个回答

    从一台空机器到一个在端口上应答的模型，这是最短的路径。花十分钟用它，就能知道你的选配是否正确。

06 为你的 LLM 租一台服务器

你自己的服务器能给你什么，而 API 不能

托管 API 很容易上手。以下是人们把模型迁移到自己机器上的四个原因。

你的提示词留在你自己的硬件上

权重、提示词、检索到的文档以及每个生成的 token 都留在一台只有你能登录的机器上。你还可以选择司法管辖区：阿姆斯特丹或布加勒斯特 将数据保留在欧盟境内，旧金山、迈阿密或纽约将数据保留在美国境内。每个城市提供哪些 GPU，见订单页面。

没有针对 token 的计费表在跑

API 按每个 token 计费，而一个智能体或批处理任务整天都在产生 token。你自己的服务器无论多忙，每月费用都一样，而且 端口 也不计量，所以拉取权重和发送回答都不会增加账单。每月价格见 GPU 独立服务器。

没有人会在你不知情时更换模型

你今天固定的模型，六个月后仍以同样方式回答。没有每分钟请求数上限，没有在别人高峰时段的排队，没有退役通知。公平的代价是，升级由你自己来做，在你方便的时候。

为模型周围的一切留出空间

检索需要一个嵌入模型、一个向量存储和快速磁盘。智能体需要空间来运行它们的工具。NVMe 用于存储，处理器核心用于流水线，GPU 用于 token：一台机器承载全部。

07 速度

它回答得有多快？

这取决于太多因素，无法给出一个诚实的数字，所以我们不发布每秒 token 数。模型、量化方式、运行时及其版本、批大小、提示词和回复长度以及同时使用人数，每一项都可能让速度变化数倍。

决定速度的因素：读取你的提示词受 GPU 算术能力限制，每个请求只发生一次。写出回复受显存带宽限制，因为每个新 token 都要重新读取权重。批处理把这种读取分摊到多个请求上，直到键值缓存耗尽空间。又是余量的问题。

向我们询问真实答案

告诉我们模型、量化方式、上下文长度以及大约同时到达多少请求。如果我们运行过类似配置，我们会说明看到的情况以及在哪块 GPU 上。如果没有，我们也会如实告知。

在线聊天会在几秒内给你回复，来自一个能查看你账户和服务器的 AI，以及在你要求时来自同事。响应时间见 支持页面。

08 LLM 训练服务器

微调所需的内存远多于服务

服务只需要权重。训练需要权重、梯度以及每个被更新参数的优化器状态，全部同时加载，再加上为反向传播保留的激活值。一个在一块 GPU 上能舒适服务的模型，可能比能在其上完整微调的规模大好几倍。

LoRA 等参数高效方法只更新一小部分参数，因此只需要相应一小部分的额外内存，这也是我们机器上大多数微调都采用这类方法的原因。训练还会持续在处理器和 GPU 之间的链路上传输批次数据，所以机器的 PCIe 代次在这里的重要性，是服务场景所没有的。GPU 独立服务器 展示了哪个平台为每块 GPU 提供哪种链路。

把模型、方法、序列长度和数据集大小发给我们，我们会和你一起选配。如果需要不止一块 GPU，请见 多 GPU 和集群服务器。

09 In short

LLM hosting at Primcast, in ten lines

What decides whether a model runs
GPU memory, and almost nothing else on the order form. The weights either fit or they do not: on a GPU a couple of gigabytes short, most runtimes refuse to load the model, and the ones that can spill layers to the processor run far slower. Clock speed and core count decide how fast it is once it fits.
How much memory a model needs
Parameters multiplied by bytes per parameter: two bytes each at 16-bit, one at 8-bit, half at 4-bit. That is the WEIGHTS. The runtime, the activations and the conversation's key-value cache live in the same memory, so budget a quarter to a half again on top before choosing a GPU.
Largest model on a single GPU here
70 billion parameters at 4-bit, with room left to serve. Past that the answer is more than one GPU in one machine, which is a build we quote rather than a checkout option. Multi-GPU and multi-node is the page for it.
Biggest GPU we fit
RTX PRO 6000 Blackwell 96GB, 96 GB GDDR7 ECC. GPU memory figures are the manufacturers' published ones; a GPU whose figure we could not source is left out of the comparison rather than guessed at.
Which runtime
Yours. You get the machine with a fresh operating system and root, and you install vLLM, llama.cpp, TGI, SGLang, Ollama or anything else, pinned to the version your code was tested against. Nothing upgrades underneath you, and there is no vendor runtime you have to go through.
Throughput
We publish no tokens-per-second figure, deliberately, because we have not measured one under conditions we would be willing to have quoted back at us. What governs it is the GPU's memory bandwidth while generating, its arithmetic while reading the prompt, and how many requests you batch. Ask with the model, the quantisation and the expected concurrency and we will say what we have actually seen.
Fine-tuning and training
Both are ordinary work here, and both need considerably more memory than serving the same model: gradients and optimiser state sit alongside the weights. A parameter-efficient method needs a fraction of what a full fine-tune does. Tell us the method and the model and we will size it rather than have you find out after delivery.
Tenancy
One tenant per physical machine and the full GPU passed straight through to your operating system. No hypervisor, MIG slicing, vGPU profile or time-sharing scheduler, and no other customer's work on the GPU. What you measure on the first afternoon is what you keep.
Bandwidth
Nothing meters the port, in either direction, and nobody shares it with you at the access switch. Pulling weights down and serving tokens back out costs nothing beyond the port.
What this page does not price
GPUs, or anything else. Every GPU we fit, what each adds per month and what the machine under it costs are on GPU dedicated servers, each figure against the exact machine it belongs to.

10 个问题

人们在我们这里托管 LLM 之前会问什么

收集自在线聊天和工单。前四个问题决定订单能否顺利进行。

01什么是 LLM 托管，我在你们这里能得到什么？

LLM 托管意味着在你控制的服务器上运行大语言模型，而不是调用别人的 API。在我们这里，这意味着你租用一整台物理服务器，拥有专属 GPU、root 权限和全新的操作系统，然后安装你想要的模型和运行时。它就是字面意义上的生产级：GPU 完全归你所有，版本也由你选择。

02一个大语言模型需要多少 GPU 显存？

用参数量乘以每个参数占用的字节数，16 位是 2，8 位是 1，4 位是 0.5。一个 7–8B 的模型在 16 位下权重约 16 GB，8 位下 8 GB，4 位下 5 GB。一个 70B 的模型大约是 140 GB、70 GB 和 38 GB。这只是权重，所以还要在此基础上多预留 25% 到 50%，用于运行时、激活值和保存对话的缓存。

03运行像 Llama 3.3 这样的 70B 模型，我需要什么 GPU 服务器？

在 4 位下权重约 38 GB，所以为了留出服务余量，你需要一块 64 GB 或更大的 GPU：一块 GPU，一台机器。在 8 位下权重是 70 GB，只有我们最大的单块 GPU 才装得下，而且一次只能服务一个用户，所以如果要承载流量，就得多块 GPU。在 16 位下，我们安装的任何单块 GPU 都装不下，它会变成我们报价的多 GPU 方案。上面的表格列出了具体的 GPU，价格在 GPU 独立服务器 页面上。

04为什么我的模型加载后却无法提供服务？

因为 GPU 显存里不只有权重。运行时及其缓冲区也在里面，而且对话中的每个 token 都会在键值缓存中留下一条记录，以免重复计算。这个缓存会随着上下文长度增长，并随着同时服务的每个请求再次增长，所以一个勉强装下的模型大约只能容纳一段很短的对话。GPU 显存应按权重的 1.25 到 1.5 倍来配置。

05我可以安装哪些推理软件？

任何都可以。你在干净的操作系统上拥有 root 权限，我们没有任何推理服务挡在路上。vLLM 是服务真实流量的常见选择，llama.cpp 适合内存紧张或较旧的 GPU，TGI 和 SGLang 可以原样运行。Ollama 是让模型在端口上应答的最快方式。vLLM 和 Ollama 都提供 OpenAI 兼容端点，所以现有客户端代码只需要换一个新的 base URL。

06为 LLM 租一台服务器比按 token 付费更便宜吗？

这取决于你的使用量。API 按 token 收费，空闲时不花钱；你自己的服务器每月费用固定，繁忙时也不会多花钱。稳定的流量、全天运行的智能体、批处理任务以及任何有隐私要求的场景，通常在自己的机器上更划算，而一天只调用十次的模型则不然。这些合计的每月数字在 GPU 独立服务器 页面上。

07我能获得每秒多少 token？

我们不公布具体数字，因为模型、量化方式、运行时版本、批大小、提示和回复长度以及同时使用的用户数，每一项都可能让结果变化数倍。读取提示受算术能力限制，写出回复受显存带宽限制，而批处理会把成本分摊到多个请求上，直到缓存填满。告诉我们你的模型、量化方式和预期用户数，我们会分享我们实际观察到的情况。

08GPU 会和其他人共享吗？

不会。每台物理服务器只有一个客户，你的操作系统直接看到完整的 GPU。你和它之间没有虚拟机层、MIG 切分、vGPU 配置文件或分时共享，所以没有其他作业会共享它，也没有别人的负载能改变你的延迟。

09如果我的模型装不进一块 GPU 怎么办？

那就是多 GPU 方案，我们会报价而不是通过结账页面出售，因为能装多少块 GPU 取决于它们的宽度和机箱的供电预算。只有当运行时把模型拆分到两块 GPU 上时，两块 GPU 才能给你它们显存的总和，而每个正经的运行时都能做到，只是会损失一些速度。我们的多 GPU 页面展示了那是什么样子，而 DGX Spark 在一台机器中提供 128 GB 的共享内存。

10我可以用这台服务器做 LLM 训练或微调吗？

可以，但要为比服务同一个模型多得多的内存做规划。训练要保存它更新的每个参数的权重、梯度和优化器状态，还要加上反向传播的激活值，所以一个在一块 GPU 上轻松服务的模型，可能要大好几倍才能在那里完整微调。像 LoRA 这样的参数高效方法只需要那份额外内存的一小部分，这就是为什么我们机器上的大多数微调都用其中一种。

11我可以运行 AMD GPU 吗，ROCm 能用吗？

可以。AMD Instinct GPU 是我们安装的显存最大的 GPU 之一，而且往往每 GB 性价比最高，但你的软件必须支持 ROCm 而不是 CUDA。大多数当前的推理运行时都支持，而它们周围的一些工具仍然不支持。下单前告诉我们你的运行时，我们会帮你确认。

11 接下来

从这里继续的页面

准备好运行你自己的模型了吗？

选择工作表指定的 GPU，选一个城市，然后下单。没有长期合同，如果你的数字接近，我们会先帮你确定合适的规格。

为你的模型租一台 GPU 服务器 返回工作表