Ryzen AI 独立显卡

你需要独立显卡吗?

一台 Ryzen AI 机器可以从自己的系统内存中运行一个小模型。独立显卡则是在几个明确的时刻才物有所值。本页就是两者之间的分界线,直白地讲清楚。

小机器已经能覆盖什么

在给显卡定价之前,值得先弄清楚一整台 Ryzen AI 机器在没有显卡的情况下能做什么 —— 因为对很多推理任务来说,这份清单就是全部工作。

  • 从系统内存中运行一个小型量化模型
  • 裸金属上的单一租户,完整 root 权限
  • 你自己的运行时,锁定在你自己的版本上
  • 用于语料和检查点的 NVMe 存储
  • 包含一个千兆端口和一个 IPv4 地址

模型超出了内存

放不下的权重不是运行得慢 —— 而是根本加载不了。超出系统内存所能容纳的范围后,答案就是先按显存来选显卡,而一个模型需要多少在 LLM 页面上有详细说明。

用户数量成倍增长

同时服务很多人,正是显卡的显存带宽和批处理能力派上用场的地方。到了那个节点,小机器上的排队就变成了选择一张独立显卡的理由。

你开始做微调了

训练要同时在内存中保存权重、梯度和优化器状态 —— 是推理所需的好几倍。那就是显卡的领域,有时还需要不止一张显卡

毫秒成了产品本身

当回复速度成为客户体验的一部分时,显卡更快的显存才是诚实的解决办法。小机器适合那些以秒为单位来思考的任务。

常见问题

Ryzen AI 机器与 GPU 服务器相比如何?
同样的工作,不同的内存。Ryzen AI 机器把模型放在系统内存中 —— 按价格来说空间充裕,但读取较慢 —— 而 GPU 服务器把模型放在显存中,更稀缺也快得多。模型大小和流量在两者之间做出选择;机箱上的标签不会。
你们能帮我把工作负载迁移过去吗?
可以。带上容器、模型和数据,在下单前通过在线聊天咨询我们的工程师 —— 在两种形态之间迁移是双向的常规操作,而且最好在第一张账单之前规划,而不是之后。
为什么这个页面上没有价格?
因为价格放在它们不会失真的地方:Ryzen AI 机器在它们自己的页面上实时标价,而我们安装的每一张显卡都在GPU 页面上针对它所装入的确切机器标价。这里重复一个数字,只会是第二份等着过时的副本。