Inkling 2 Mini 发布,为本地部署提供前沿性能
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
NVIDIA 宣布来自 ASUS、Dell 和 MSI 的 RTX Spark 紧凑型桌面主机现已上市,为本地 AI 智能体、图像与视频生成及模型微调提供专用 Windows PC。
推荐理由:原文列出了硬件规格、本地模型规模上限和软件生态适配,读者可据此判断它能否承接现有本地 AI 工作流。
AWS 解决方案架构师系统梳理多智能体设计模式,将协调模式分为路径预定义的 Tier 1 与模型运行时选路的 Tier 2,并给出从单次模型调用到自治多智能体的选型决策树。
推荐理由:文章将多智能体协调模式分为确定性控制流与模型自治两层,并给出选型决策树与五个反模式,可直接迁移到自己的架构选型。
llama.cpp 正式发布库 v1.0.0,同时 ggml 也发布 v1.0.0,标志着这一跨平台本地推理项目进入 API 稳定阶段。今后 llama.cpp 和 ggml 将通过主版本号反映公共 C API 和 ABI 的不兼容变更,并遵循语义化版本规则。
推荐理由:v1.0.0 明确了 API 和 ABI 稳定性承诺,依赖 llama.cpp 的下游应用可以据此规划升级与集成。
Google Research 联合 Beth Israel Deaconess Medical Center 和 Harvard Medical School 在 Nature 发表研究,提出多模态 AI 系统 AI-PPG-ACC-HTN,利用消费级智能手表的 PPG 光学信号与加速度计信号,无需袖带校准即可被动检测高血压迹象。
推荐理由:研究以 24 小时动态血压监测为金标准验证,智能手表筛查准确度可比传统袖带流程,为可穿戴医疗级检测提供方法参考。
mattt 在 Hugging Face 博客发布两个开源 Swift 包 AnySpeechRecognizer 与 AnyDecisionModel,均可从 Hugging Face Hub 下载开源模型并在设备本地运行。
推荐理由:原文把两个 Swift 包的 API 设计、可选模型与基准数据列得较细,读者可据此评估能否在 Apple 端替换现有语音与决策方案。
NVIDIA 宣布 RTX Spark 笔记本迎来多项更新,覆盖新模型、Agent 工具与游戏。Nemotron 3.5 Transcribe 是约 4.3B 活跃参数的开放权重语音模型。
推荐理由:原文把 RTX Spark 的硬件能力落到语音模型、Agent 资源调度和游戏生态三条线上,读者可据此评估端侧 AI 的实际使用场景。
Liquid AI 发布新一代基础模型系列 LFM3,将文本、视觉、音频、全模态与决策模型统一到 2B 参数级的同一骨干上,全部开放权重并上架 Hugging Face。LFM3-1.7B 以 35% 更少的参数超越 LFM2.5-2.6B,文本模型 4-bit 下约 1 GB、上下文 256K,可在单张 GPU 上微调并部署到端侧设备。
推荐理由:LFM3 用单一 2B 级骨干覆盖文本、视觉、音频与决策,单卡微调加端侧部署的路线可作为专用模型选型参考。
NVIDIA 在 GTC Berlin 发布本地 AI 硬件产品线更新,覆盖 RTX Spark、DGX Spark 与 DGX Station。DGX Spark 64GB 于 10 月 23 日上市,NVIDIA Sync 本月支持最多八机集群并新增 Model Launcher;DGX Station 新增七项企业管理集成,Windows 版预计 12 月推出。
推荐理由:原文把三条本地 AI 硬件线的能力边界、集群上限和开放入口讲清楚,读者可据此判断哪一档设备匹配自己的工作流。
NVIDIA 创始人兼 CEO 黄仁勋在 GTC Berlin 2026 发表主题演讲,发布 DSX POD 参考设计,将现场部署从六个月缩短至 14 天,并推出面向智能体安全的 OpenShell 参考架构与 Agent Knowledge Foundation。
推荐理由:原文把 AI 工厂、智能体安全与开放模型串成一条可落地的技术路径,读者可据此对照自身基础设施规划。
Hugging Face 发布 AnyLanguageModel 1.0,同时带来 swift-huggingface 1.0 与 swift-xet 1.0。
推荐理由:原文给出了同一套会话代码在本地与托管模型间切换的具体方式,Apple 平台开发者可据此评估迁移成本。
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新,为 Apple silicon Mac 带来 FP8 支持、更快的 LLM 解码和更多 Metal 内核。
推荐理由:原文逐项列出 FP8、MoE 解码和内存占用的具体数字,读者可直接对照自己的 Mac 工作流评估升级收益。
NVIDIA RTX Spark 笔记本现已上市,将 Blackwell RTX GPU 与 Grace CPU 整合为单颗超级芯片,提供最高 1 petaflop AI 算力和最高 128GB 统一内存,起售价 2,399 美元。
推荐理由:原文列出了 RTX Spark 笔记本的售价、硬件配置与本地 AI 能力,读者可据此判断其是否适合作为便携本地 AI 工作站。
NVIDIA 宣布 RTX Spark 于 10 月 16 日发布,这是面向创作者、游戏玩家和 AI 智能体的 Windows PC 平台。
推荐理由:原文汇总了多家媒体的早期评测观点,可借此了解 RTX Spark 在本地 AI、游戏和创作工作流上的实际表现。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,面向多模态智能体任务,并同步推出面向端侧的 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB。
推荐理由:原文列出了三款模型的参数规模、性能对比与部署入口,读者可据此为从数据中心到端侧的智能体选型。
Google DeepMind 与新加坡政府科技局(GovTech)合作,交付了一款针对本地诈骗手法微调的端侧诈骗检测模型,可在普通智能手机上本地分析会话,检测到操纵意图时直接在设备上实时警告用户。
推荐理由:该方案用两阶段流水线把分析留在端侧,并以主权沙箱和匿名数据规避隐私争议,为消息平台兼顾安全与端到端加密提供了可迁移的落地路径。
Liquid AI 发布 LFM2.5-24B-A2B,一个总参数 24B、每 token 仅激活 2B 的端侧推理模型,面向快速、私有的智能体场景。它在 LiveClaw 上以 48.09 分领先 Qwen3.6-35B-A3B 的 38.19 分,上下文窗口从 32K 扩展到 131K,预训练数据从约 17T 增至约 33T tokens。
推荐理由:总参数 24B 但每 token 仅激活 2B,在智能体与工具调用任务上与参数量约多五成的 MoE 持平,适合在自有硬件上持续运行智能体。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,首发覆盖数千款应用、游戏与模型,并同步推出一批面向本地 AI 智能体的软件更新。Nemotron 3.5 Bolt 74B 是专为 RTX Spark 本地智能体打造的 74B 参数 MoE 模型,以 2-bit 量化压入 24GB 显存并将完全开源,10 月 15 日发布。
推荐理由:原文梳理了 RTX Spark 上市首日的软件生态清单,读者可据此判断本地 AI 智能体在端侧落地的成熟度。
作者在 HuggingChat 中开启 ML-intern 模式,用自然语言描述需求,几天内做出六个自定义小模型,总计算成本约 103 美元。
推荐理由:作者用六个总成本约 103 美元的项目,总结了给智能体设预算、要基线、做冒烟测试的可复用方法。
NVIDIA 与 Microsoft 在旧金山活动上宣布共同为 Windows PC 打造运行 AI 智能体的软硬件,推出 RTX Spark 设备并预览 DGX Station for Windows。
推荐理由:原文并置 RTX Spark、MXC 与 DGX Station for Windows,可看出本地智能体在硬件、操作系统与企业桌面三层同时落地。