一台 Ryzen AI 机器可以从自己的系统内存中运行一个小模型。独立显卡则是在几个明确的时刻才物有所值。本页就是两者之间的分界线,直白地讲清楚。
在给显卡定价之前,值得先弄清楚一整台 Ryzen AI 机器在没有显卡的情况下能做什么 —— 因为对很多推理任务来说,这份清单就是全部工作。
放不下的权重不是运行得慢 —— 而是根本加载不了。超出系统内存所能容纳的范围后,答案就是先按显存来选显卡,而一个模型需要多少在 LLM 页面上有详细说明。
同时服务很多人,正是显卡的显存带宽和批处理能力派上用场的地方。到了那个节点,小机器上的排队就变成了选择一张独立显卡的理由。
训练要同时在内存中保存权重、梯度和优化器状态 —— 是推理所需的好几倍。那就是显卡的领域,有时还需要不止一张显卡。
当回复速度成为客户体验的一部分时,显卡更快的显存才是诚实的解决办法。小机器适合那些以秒为单位来思考的任务。