博客园· codigger·· 3 天前AI 评分56
128GB 让本地跑大模型成为日用品,但分水岭不在硬件
128GB 让 “本地跑大模型” 成为日用品,但分水岭不在硬件 - codigger
AI 导读
128GB 统一内存设备让本地跑 70B-100B 级模型并带长上下文成为日常,24GB 显卡则因装不下权重加 KV cache 而做不到。11 月评测显示英伟达 DGX Spark 与 AMD 迷你主机生成速度几乎打平(273 与 256 GB/s),AMD 平台价格约为一半、国内同类整机已在 2.3 万元档,微软也将 AMD Ryzen AI Max 写入本机模型支持名单。
来源:博客园 · cnblogs.com