Strata 引擎开源,12GB 显存可跑 125B Qwen3.8,单张 RTX 5070 达 94 词元/秒
开发者 Niko1221 开源 Strata 引擎,可在 12GB 显存以上的消费级显卡上运行量化版 Qwen3.8-Flash-Next(1250 亿参数)模型。
推荐理由:原文给出把 MoE 专家分级载入 RAM 加投机解码的显存优化思路,可迁移到其他大模型本地部署场景。
开发者 Niko1221 开源 Strata 引擎,可在 12GB 显存以上的消费级显卡上运行量化版 Qwen3.8-Flash-Next(1250 亿参数)模型。
推荐理由:原文给出把 MoE 专家分级载入 RAM 加投机解码的显存优化思路,可迁移到其他大模型本地部署场景。
Ai2 开源 AstaBrief 8B,它把研究问题与检索到的文献片段直接转成带引用的报告,训练数据一并开放。模型基于 Qwen3-8B,用 SFT 加 DPO 训练;在 Asta 的 Fast mode 下平均 51.1 秒生成一份报告,约为 Claude 驱动的 Thinking mode(178.5 秒)速度的 3.5 倍。
推荐理由:原文给出一条可迁移的训练经验,用引用密度这一简单信号过滤合成数据,比更复杂的过滤组合更有效。