Strata 引擎开源，12GB 显存可跑 125B Qwen3.8，单张 RTX 5070 达 94 词元/秒
开发者 Niko1221 开源 Strata 引擎，可在 12GB 显存以上的消费级显卡上运行量化版 Qwen3.8-Flash-Next（1250 亿参数）模型。
推荐理由：原文给出把 MoE 专家分级载入 RAM 加投机解码的显存优化思路，可迁移到其他大模型本地部署场景。
技术方向
端侧 AI 最新动态
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
3 条精选近 30 天 3 条共收录 8 条
更新
端侧 AI的精选
IT之家精选AI 评分7979
NVIDIA Blog精选AI 评分6363 NVIDIA DGX Spark 64GB 配置本月上市，双机可扩展至 128GB
NVIDIA 推出 DGX Spark 64GB 统一内存配置，本月由 Acer、ASUS、Dell、Gigabyte、HP、MSI 销售，10 月 23 日起售价 $4,999。
推荐理由：新配置把本地智能体开发门槛降到 $4,999，两台组网即可扩展至 128GB 内存，读者可据此评估本地部署的扩展路径。
Google DeepMind精选AI 评分6363 Google DeepMind 为 Private AI Compute 引入安全的服务端持久记忆
Google DeepMind 宣布为 Private AI Compute 平台引入私密的服务端记忆层，让 AI 在跨设备间保持长期连续性的同时维持与端侧处理同级的隐私标准。
推荐理由：原文给出安全飞地、加密通道与设备端密钥相结合的架构细节，可迁移到其他需要云上持久记忆的隐私保护设计中。