掘金· 阿Q的AI笔记·· 2026-10-17AI 评分75
拆解 MiniCPM-V 的 LES 调度:35B 模型塞进 3GB 内存,按需加载才是端侧 MoE 真瓶颈
35B模型塞进3GB内存:拆了MiniCPM-V的LES调度,我发现“按需加载”才是端侧MoE的真瓶颈
AI 导读
MiniCPM-V 4.7 用 LES 前瞻专家调度让 35B MoE 以约 3GB 活跃工作集跑完整版权重,iPhone 17 Pro Max 达 13+ token/s,iPad Pro 11 英寸 M4 达 17.39 token/s。
来源:掘金 · juejin.cn