Strata 引擎开源,12GB 显存可跑 125B Qwen3.8,单张 RTX 5070 达 94 词元/秒
开发者 Niko1221 开源 Strata 引擎,可在 12GB 显存以上的消费级显卡上运行量化版 Qwen3.8-Flash-Next(1250 亿参数)模型。
推荐理由:原文给出把 MoE 专家分级载入 RAM 加投机解码的显存优化思路,可迁移到其他大模型本地部署场景。
技术方向
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
6 条精选近 30 天 6 条共收录 19 条
开发者 Niko1221 开源 Strata 引擎,可在 12GB 显存以上的消费级显卡上运行量化版 Qwen3.8-Flash-Next(1250 亿参数)模型。
推荐理由:原文给出把 MoE 专家分级载入 RAM 加投机解码的显存优化思路,可迁移到其他大模型本地部署场景。
Ai2 开源 AstaBrief 8B,它把研究问题与检索到的文献片段直接转成带引用的报告,训练数据一并开放。模型基于 Qwen3-8B,用 SFT 加 DPO 训练;在 Asta 的 Fast mode 下平均 51.1 秒生成一份报告,约为 Claude 驱动的 Thinking mode(178.5 秒)速度的 3.5 倍。
推荐理由:原文给出一条可迁移的训练经验,用引用密度这一简单信号过滤合成数据,比更复杂的过滤组合更有效。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与语音克隆模型。榜单以 Qwen3 ASR 转写计算 WER/CER 衡量可懂度,以 RTFx 和 TTFA 衡量 H200 GPU 上的批量推理与流式延迟,并以 WavLM 嵌入余弦相似度衡量说话人相似度,把单个模型评测从数周缩短到数小时。
推荐理由:原文对比了人工偏好竞技场与客观指标评测,说明新榜单用 WER、RTFx、TTFA 和说话人相似度补齐开源 TTS 评测的缺口。
NVIDIA 发布开源表格基础模型 Kumo Tabular,输入带标签的表格后可在一次前向传播中预测新行标签,无需训练、微调或特征工程,支持分类与回归。
推荐理由:原文给出四项基准的排名与推理速度对比,读者可据此判断它相对调参梯度提升树和同类表格基础模型的位置。
Hcompany 发布 Holo4 系列智能体模型,包含 27B dense 与 35B-A3B MoE 两种尺寸,可通过 GUI、代码、MCP 和 API 与软件交互,同一模型可跨桌面、网页、Android、代码沙箱与业务 API 运行。
推荐理由:原文给出了多接口能力说明与 OSWorld 2.0 成本性能对比,读者可据此判断开源智能体模型相对闭源前沿模型的取舍。
NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,在 AlphaFold Database 中开放 2800 多种病毒的蛋白复合体预测三维结构,约 30% 的蛋白相互作用为科学界此前未记录。
推荐理由:开放数据集与 BioNeMo 结构预测流程的发布,让研究者能针对自选病毒蛋白靶点批量预测三维结构,降低实验成本。