IT之家·· 7 小时前精选AI 评分79
Strata 引擎开源，12GB 显存可跑 125B Qwen3.8，单张 RTX 5070 达 94 词元/秒
12GB 显存显卡跑 125B Qwen3.8 模型：Strata 登场，单张 RTX 5070 跑出 94 词元 / 秒
AI 导读
开发者 Niko1221 开源 Strata 引擎，可在 12GB 显存以上的消费级显卡上运行量化版 Qwen3.8-Flash-Next（1250 亿参数）模型。
推荐理由
原文给出把 MoE 专家分级载入 RAM 加投机解码的显存优化思路，可迁移到其他大模型本地部署场景。
来源：IT之家 · ithome.com