Inkling 2 Mini 发布,为本地部署提供前沿性能
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
NVIDIA 与 Microsoft 在 Microsoft Ignite 上宣布扩展全栈合作:Azure 提供 NVIDIA Vera Rubin NVL72 虚拟机,并通过 Microsoft Foundry 扩大 NVIDIA Nemotron 开放模型的企业定制与部署。
OpenAI 发文解析 Codex 沙箱的运行机制。Codex 在 macOS、Linux 和 Windows 上执行命令时,会执行用户设定的文件系统和网络限制,使本地命令执行处于用户可控的边界内。
NVIDIA 宣布来自 ASUS、Dell 和 MSI 的 RTX Spark 紧凑型桌面主机现已上市,为本地 AI 智能体、图像与视频生成及模型微调提供专用 Windows PC。
推荐理由:原文列出了硬件规格、本地模型规模上限和软件生态适配,读者可据此判断它能否承接现有本地 AI 工作流。
NVIDIA 在 SC26 上推出 DGX Spark HPC 开发者套件,将四台搭载 GB10 Grace Blackwell Superchip 的 DGX Spark 组成环形连接的桌面集群,供科研人员本地运行多节点科学工作负载与 AI 模型。
AWS 解决方案架构师系统梳理多智能体设计模式,将协调模式分为路径预定义的 Tier 1 与模型运行时选路的 Tier 2,并给出从单次模型调用到自治多智能体的选型决策树。
推荐理由:文章将多智能体协调模式分为确定性控制流与模型自治两层,并给出选型决策树与五个反模式,可直接迁移到自己的架构选型。
llama.cpp 正式发布库 v1.0.0,同时 ggml 也发布 v1.0.0,标志着这一跨平台本地推理项目进入 API 稳定阶段。今后 llama.cpp 和 ggml 将通过主版本号反映公共 C API 和 ABI 的不兼容变更,并遵循语义化版本规则。
推荐理由:v1.0.0 明确了 API 和 ABI 稳定性承诺,依赖 llama.cpp 的下游应用可以据此规划升级与集成。
医疗机构正借助 NVIDIA 技术落地多个 AI 应用,让护理团队减少事务性工作、患者更快获得诊疗。
Tether AI Research 发布 BotPsy,一个基于 Qwen3.5-0.8B 的 0.8B 参数模型,面向函数调用与智能体工作流,适合端侧部署。
AIRECO、EverestLabs AI 与 Greyparrot 等 NVIDIA Inception 成员正用视觉 AI 与机器人分拣混合废弃物。AIRECO 采用 NVIDIA Jetson Orin NX,识别准确率超 95%;EverestLabs AI 的 150 台机器人已回收约 25,000 吨材料。
Google Research 联合 Beth Israel Deaconess Medical Center 和 Harvard Medical School 在 Nature 发表研究,提出多模态 AI 系统 AI-PPG-ACC-HTN,利用消费级智能手表的 PPG 光学信号与加速度计信号,无需袖带校准即可被动检测高血压迹象。
推荐理由:研究以 24 小时动态血压监测为金标准验证,智能手表筛查准确度可比传统袖带流程,为可穿戴医疗级检测提供方法参考。
作者(NVIDIA 员工)为万圣节搭建了 MonsterHouse:一个会听会说的暴躁鬼屋投影,跑在单台工作站上。
mattt 在 Hugging Face 博客发布两个开源 Swift 包 AnySpeechRecognizer 与 AnyDecisionModel,均可从 Hugging Face Hub 下载开源模型并在设备本地运行。
推荐理由:原文把两个 Swift 包的 API 设计、可选模型与基准数据列得较细,读者可据此评估能否在 Apple 端替换现有语音与决策方案。
NVIDIA 宣布 RTX Spark 笔记本迎来多项更新,覆盖新模型、Agent 工具与游戏。Nemotron 3.5 Transcribe 是约 4.3B 活跃参数的开放权重语音模型。
推荐理由:原文把 RTX Spark 的硬件能力落到语音模型、Agent 资源调度和游戏生态三条线上,读者可据此评估端侧 AI 的实际使用场景。
Liquid AI 发布新一代基础模型系列 LFM3,将文本、视觉、音频、全模态与决策模型统一到 2B 参数级的同一骨干上,全部开放权重并上架 Hugging Face。LFM3-1.7B 以 35% 更少的参数超越 LFM2.5-2.6B,文本模型 4-bit 下约 1 GB、上下文 256K,可在单张 GPU 上微调并部署到端侧设备。
推荐理由:LFM3 用单一 2B 级骨干覆盖文本、视觉、音频与决策,单卡微调加端侧部署的路线可作为专用模型选型参考。
Exowatt 使用 Amazon SageMaker AI 无服务器模型定制构建可复用 AI 流水线,为边缘与云端两个部署目标产出任务专用微调模型,准确率超越前沿模型且成本最多降低 49×。该流水线基于 Qwen3-1.7B 微调用于边缘告警分诊,并基于 Qwen3-14B 微调用于云端能源市场分析。Exowatt 现在可在数天而非数月内完成从原始运行数据到微调模型的全流程。
AWS 将 2023 年的边缘视觉质检 MLOps 方案更新至 SageMaker Python SDK v3,用 SageMaker Neo 替换已弃用的 Edge Manager 做边缘优化。
AWS 机器学习博客介绍自适应智能体框架 AAIF:以 llama3.2:1b 作为本地编排器,常规请求交给 Ollama 运行的本地小模型,复杂请求才路由到 Amazon Bedrock 云端模型,以降低 API 成本并保持低延迟。
NVIDIA 在 GTC Berlin 发布本地 AI 硬件产品线更新,覆盖 RTX Spark、DGX Spark 与 DGX Station。DGX Spark 64GB 于 10 月 23 日上市,NVIDIA Sync 本月支持最多八机集群并新增 Model Launcher;DGX Station 新增七项企业管理集成,Windows 版预计 12 月推出。
推荐理由:原文把三条本地 AI 硬件线的能力边界、集群上限和开放入口讲清楚,读者可据此判断哪一档设备匹配自己的工作流。
NVIDIA 创始人兼 CEO 黄仁勋在 GTC Berlin 2026 发表主题演讲,发布 DSX POD 参考设计,将现场部署从六个月缩短至 14 天,并推出面向智能体安全的 OpenShell 参考架构与 Agent Knowledge Foundation。
推荐理由:原文把 AI 工厂、智能体安全与开放模型串成一条可落地的技术路径,读者可据此对照自身基础设施规划。
Hugging Face 发布 AnyLanguageModel 1.0,同时带来 swift-huggingface 1.0 与 swift-xet 1.0。
推荐理由:原文给出了同一套会话代码在本地与托管模型间切换的具体方式,Apple 平台开发者可据此评估迁移成本。
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新,为 Apple silicon Mac 带来 FP8 支持、更快的 LLM 解码和更多 Metal 内核。
推荐理由:原文逐项列出 FP8、MoE 解码和内存占用的具体数字,读者可直接对照自己的 Mac 工作流评估升级收益。
NVIDIA RTX Spark 笔记本现已上市,将 Blackwell RTX GPU 与 Grace CPU 整合为单颗超级芯片,提供最高 1 petaflop AI 算力和最高 128GB 统一内存,起售价 2,399 美元。
推荐理由:原文列出了 RTX Spark 笔记本的售价、硬件配置与本地 AI 能力,读者可据此判断其是否适合作为便携本地 AI 工作站。
NVIDIA 宣布 RTX Spark 于 10 月 16 日发布,这是面向创作者、游戏玩家和 AI 智能体的 Windows PC 平台。
推荐理由:原文汇总了多家媒体的早期评测观点,可借此了解 RTX Spark 在本地 AI、游戏和创作工作流上的实际表现。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,面向多模态智能体任务,并同步推出面向端侧的 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB。
推荐理由:原文列出了三款模型的参数规模、性能对比与部署入口,读者可据此为从数据中心到端侧的智能体选型。
Google Research 在 Research@ 活动上发布 10 项 AI 研究成果与工具,覆盖地球智能、科学研究和商业分析。Google Earth AI 扩大早期访问,整合 100 million 公共数据集查询和 70 多个地理空间工具,Google.org 提供 $10 million 支持危机应对与公共卫生。
Google DeepMind 与新加坡政府科技局(GovTech)合作,交付了一款针对本地诈骗手法微调的端侧诈骗检测模型,可在普通智能手机上本地分析会话,检测到操纵意图时直接在设备上实时警告用户。
推荐理由:该方案用两阶段流水线把分析留在端侧,并以主权沙箱和匿名数据规避隐私争议,为消息平台兼顾安全与端到端加密提供了可迁移的落地路径。
Liquid AI 发布 LFM2.5-24B-A2B,一个总参数 24B、每 token 仅激活 2B 的端侧推理模型,面向快速、私有的智能体场景。它在 LiveClaw 上以 48.09 分领先 Qwen3.6-35B-A3B 的 38.19 分,上下文窗口从 32K 扩展到 131K,预训练数据从约 17T 增至约 33T tokens。
推荐理由:总参数 24B 但每 token 仅激活 2B,在智能体与工具调用任务上与参数量约多五成的 MoE 持平,适合在自有硬件上持续运行智能体。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,首发覆盖数千款应用、游戏与模型,并同步推出一批面向本地 AI 智能体的软件更新。Nemotron 3.5 Bolt 74B 是专为 RTX Spark 本地智能体打造的 74B 参数 MoE 模型,以 2-bit 量化压入 24GB 显存并将完全开源,10 月 15 日发布。
推荐理由:原文梳理了 RTX Spark 上市首日的软件生态清单,读者可据此判断本地 AI 智能体在端侧落地的成熟度。
作者在 HuggingChat 中开启 ML-intern 模式,用自然语言描述需求,几天内做出六个自定义小模型,总计算成本约 103 美元。
推荐理由:作者用六个总成本约 103 美元的项目,总结了给智能体设预算、要基线、做冒烟测试的可复用方法。
NVIDIA 与 Microsoft 在旧金山活动上宣布共同为 Windows PC 打造运行 AI 智能体的软硬件,推出 RTX Spark 设备并预览 DGX Station for Windows。
推荐理由:原文并置 RTX Spark、MXC 与 DGX Station for Windows,可看出本地智能体在硬件、操作系统与企业桌面三层同时落地。
Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 与实验性 d1-omni-600M,d1-3B 在 Decision Index 0.2.1 得 48.57 分,超过 Decider 35B-A3B(47.11)。
推荐理由:d1-3B 在 Decision Index 0.2.1 上以 48.57 分超过 Decider 35B-A3B,为端侧结构化决策提供了可复用的开源权重方案。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、740M 参数的开源轻量级多模态嵌入模型,采用 Apache 2.0 许可,可将文本、图像、音频和视频统一映射到同一嵌入空间。
推荐理由:原文给出了参数量、模态拆分与量化后的内存占用,便于读者判断它能否直接落到自家端侧检索链路中。
NVIDIA 推出 DGX Spark 64GB 统一内存配置,本月由 Acer、ASUS、Dell、Gigabyte、HP、MSI 销售,10 月 23 日起售价 $4,999。
推荐理由:新配置把本地智能体开发门槛降到 $4,999,两台组网即可扩展至 128GB 内存,读者可据此评估本地部署的扩展路径。
Google DeepMind 宣布为 Private AI Compute 平台引入私密的服务端记忆层,让 AI 在跨设备间保持长期连续性的同时维持与端侧处理同级的隐私标准。
推荐理由:原文给出安全飞地、加密通道与设备端密钥相结合的架构细节,可迁移到其他需要云上持久记忆的隐私保护设计中。
K-Search 为进化式内核搜索框架新增 MLX 后端,通过结构化 CUDA-to-MLX 翻译层将现有 CUDA 内核自动适配为 Apple Silicon 的高质量 GPU 内核,无需从零重建。