Inkling 2 Mini 发布,为本地部署提供前沿性能
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
Hugging Face 基于 272 个生产环境 SFT 任务(约 7,382 GPU 小时、NVIDIA H200)发现,常用 FLOP 预估与实际耗时偏差很大(R² = 0.31,MAE 12.41 h),而仅用派发前配置信息训练的 CatBoost 回归器达到 R² = 0.98、MAE 1.71 h、中位误差 0.51 h。
Rumble-2-Flash 是 Reson8 发布的 0.5B 参数语音识别模型,支持 40+ 语言并自动检测语种,已以 Apache 2.0 协议开源,原生兼容 🤗 Transformers 与 vLLM。
推荐理由:原文给出 0.5B 语音模型与 30B 模型的基准对比,以及跨分词器的 on-policy 蒸馏方法,可作为小模型压缩的参考路径。
Hugging Face 将 Inference Providers 的语言模型路由切换至 OpenRouter,用户用 Hugging Face token 即可通过统一 API 调用服务商托管的开放权重模型。
推荐理由:原文同时给出路由切换细节和开放权重模型使用占比数据,读者可据此评估统一推理入口对现有工作流的影响。
本教程演示在 Isaac Sim 中用 UR17G 机械臂、Robotiq 2F-140 夹爪与饮料罐 OpenUSD 资产完成抓取放置任务,并由 GPT-6 Sol 智能体生成并执行任务代码。
AI2 联合 Carnegie Mellon、NVIDIA 和 Johns Hopkins 的研究者发布 XYBench 基准,包含 8115 条来自 Stack Overflow、Stack Exchange、WikiHow 等的真实问题,衡量模型能否识别用户请求中的隐含误解并引导其转向真正目标。
推荐理由:该基准提供了一种衡量模型识别用户误解能力的框架,实验显示五个主流模型在误解识别上仍落后于人类参考答案。
llama.cpp 正式发布库 v1.0.0,同时 ggml 也发布 v1.0.0,标志着这一跨平台本地推理项目进入 API 稳定阶段。今后 llama.cpp 和 ggml 将通过主版本号反映公共 C API 和 ABI 的不兼容变更,并遵循语义化版本规则。
推荐理由:v1.0.0 明确了 API 和 ABI 稳定性承诺,依赖 llama.cpp 的下游应用可以据此规划升级与集成。
Hugging Face Hub 现在支持将组织关联到 Google Cloud 账户,用量计入现有 Google Cloud 账单而非信用卡扣款。
推荐理由:原文列出了可结算的服务范围与切换前后计费规则,读者可据此判断能否走现有 Google Cloud 采购流程。
Hugging Face 与 Liva AI 合作,为 Open ASR Leaderboard 新增埃及和尼日利亚口音英语两组私有会话数据,时长分别为 1.34 小时和 1.55 小时。
Mistral 发布多模态 MoE 模型 Mistral Large 4(代号 Le Chonk),总参数约 1T、激活参数 49B,上下文窗口 1M tokens,以 Mistral Ecosystem Open-Weight License 开源,并提供 FP8 与 NVFP4 两种官方变体。
推荐理由:原文给出 Mistral Large 4 的架构细节、安全基准与多种部署方案,便于与同类开源模型比较选型。
mattt 在 Hugging Face 博客发布两个开源 Swift 包 AnySpeechRecognizer 与 AnyDecisionModel,均可从 Hugging Face Hub 下载开源模型并在设备本地运行。
推荐理由:原文把两个 Swift 包的 API 设计、可选模型与基准数据列得较细,读者可据此评估能否在 Apple 端替换现有语音与决策方案。
Hugging Face 推出 torch-neuronx model support Space,可查询 Hub 上热门模型能否不修改即在 AWS Trainium 上运行,并提供可复现的运行脚本。
AWS 演示在单台 trn2.48xlarge 实例(16 个 Trainium2 加速器、64 个逻辑 NeuronCore)上用 torchtitan 以三种方式训练 Qwen3。
NVIDIA 推出预训练关系型基础模型 Kumo Relational,可直接对企业数据库做预测,无需任务特定训练、特征工程或表扁平化。它在 15 个数据库的 41 个任务上超越监督关系深度学习模型和专家构建的梯度提升树流水线,在 SAP SALT 基准上比 AutoGluon 集成的平均倒数排名高 8%。
推荐理由:原文给出 41 个任务上的对比数据,读者可据此判断关系型数据基础模型能否替代现有 XGBoost 流水线。
IBM Granite 团队发布 Granite Speech 5.0 系列更新:新模型 granite-speech-5.0-2b 与更新版 granite-speech-5.0-470m-turboctc、granite-speech-4.1-2b-plus,分别面向高精度多语转写翻译、端侧高速转写和多说话人录音。
推荐理由:三个模型分别覆盖高精度转写、端侧极速转写和多说话人归因场景,读者可按企业需求直接选型。
Hugging Face 推出 SimReady Central,汇集超过 2,000 个仿真就绪的 OpenUSD 资产,为机器人仿真和 AI 工厂数字孪生提供免费开放起点。
推荐理由:原文说明了 SimReady 资产如何补齐碰撞几何、质量与摩擦等物理属性,读者可据此把现成 3D 模型直接用于仿真工作流。
NVIDIA 宣布扩展其开放模型家族,新成员覆盖语言、机器人、生物和量子计算,组织可用本地数据定制并在自有基础设施上部署。
推荐理由:原文按语言、机器人、生物和量子等领域逐一列出各开放模型的能力与可用入口,读者可据此判断哪些模型适合纳入本地化部署。
Hugging Face 宣布 TorchTPU 为 PyTorch 增加原生 TPU 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 Optimum TPU 即可在 TPU 上运行,加载 Hub 模型只需设置 device_map 为 tpu。
推荐理由:原文对比了 torch_xla 旧方案并给出 device_map=tpu 等迁移细节,读者可评估现有 PyTorch 代码上 TPU 的改造成本。
Hugging Face 发布 AnyLanguageModel 1.0,同时带来 swift-huggingface 1.0 与 swift-xet 1.0。
推荐理由:原文给出了同一套会话代码在本地与托管模型间切换的具体方式,Apple 平台开发者可据此评估迁移成本。
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新,为 Apple silicon Mac 带来 FP8 支持、更快的 LLM 解码和更多 Metal 内核。
推荐理由:原文逐项列出 FP8、MoE 解码和内存占用的具体数字,读者可直接对照自己的 Mac 工作流评估升级收益。
2026 年 1 月至 9 月,Amazon SageMaker JumpStart 新增接入来自 30 家提供商的 100 多个模型,大幅扩展其基础模型目录。
Hugging Face 宣布 TorchNeuron 将于 2026 年 10 月 20 日进入公开测试,可通过 pip install torch-neuronx 安装。
推荐理由:相比 Optimum Neuron 的编译器式用法,TorchNeuron 把 Trainium 变成原生 PyTorch 设备,现有 HF 脚本几乎不用改即可迁移。
美国新实验室 Reflection 发布其首个模型 Beam(reflectionai/Beam-1.0-501B-A23B),为 501B 参数的 MoE 模型,每 token 激活 23B,支持 1M 上下文,文本输入输出,采用 Apache 2.0 许可,面向编码与智能体场景。
推荐理由:Beam 以 501B 参数的 MoE 架构和 Apache 2.0 许可开源,为想在自有硬件上部署前沿规模模型并做定制的团队提供了新选择。
Meta 发布开源多模态混合专家模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,上下文窗口最长 1M tokens,支持文本、图像、音频、视频输入并输出文本。
推荐理由:文章给出 816B 参数 MoE 模型从推理部署到 LoRA 微调的完整配方,可作为同类开源大模型落地的参考路径。
Black Forest Labs 发布图像模型 FLUX.3 Image Klein,Hugging Face Diffusers 首日支持。单模型覆盖文生图、多参考图生图与边界框布局控制;蒸馏检查点在单张 H100 上约 1.93 秒生成 1024×1024 图像,并提供 NVFP4、FP8 量化权重与 DreamBooth LoRA 训练脚本。
推荐理由:原文同时给出能力清单、显存占用与 LoRA 训练脚本,读者可据此判断 FLUX.3 能否在自己的 GPU 上跑通。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,面向多模态智能体任务,并同步推出面向端侧的 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB。
推荐理由:原文列出了三款模型的参数规模、性能对比与部署入口,读者可据此为从数据中心到端侧的智能体选型。
Liquid AI 发布 LFM2.5-24B-A2B,一个总参数 24B、每 token 仅激活 2B 的端侧推理模型,面向快速、私有的智能体场景。它在 LiveClaw 上以 48.09 分领先 Qwen3.6-35B-A3B 的 38.19 分,上下文窗口从 32K 扩展到 131K,预训练数据从约 17T 增至约 33T tokens。
推荐理由:总参数 24B 但每 token 仅激活 2B,在智能体与工具调用任务上与参数量约多五成的 MoE 持平,适合在自有硬件上持续运行智能体。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,首发覆盖数千款应用、游戏与模型,并同步推出一批面向本地 AI 智能体的软件更新。Nemotron 3.5 Bolt 74B 是专为 RTX Spark 本地智能体打造的 74B 参数 MoE 模型,以 2-bit 量化压入 24GB 显存并将完全开源,10 月 15 日发布。
推荐理由:原文梳理了 RTX Spark 上市首日的软件生态清单,读者可据此判断本地 AI 智能体在端侧落地的成熟度。
作者在 HuggingChat 中开启 ML-intern 模式,用自然语言描述需求,几天内做出六个自定义小模型,总计算成本约 103 美元。
推荐理由:作者用六个总成本约 103 美元的项目,总结了给智能体设预算、要基线、做冒烟测试的可复用方法。
Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 与实验性 d1-omni-600M,d1-3B 在 Decision Index 0.2.1 得 48.57 分,超过 Decider 35B-A3B(47.11)。
推荐理由:d1-3B 在 Decision Index 0.2.1 上以 48.57 分超过 Decider 35B-A3B,为端侧结构化决策提供了可复用的开源权重方案。
NVIDIA 团队基于 Nemotron 3 通过 SFT、RL 与反馈式推理构建专家系统,在 IOI 2026 取得 535.4/600(超过 361.12 的金牌线),在 IMO 2026 取得 30/42(超过 29 的金牌线)。
推荐理由:原文完整给出从基座模型、数据筛选、SFT/RL 到推理循环的四步专精化方法,读者可将其迁移到自己的领域模型训练。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与语音克隆模型。榜单以 Qwen3 ASR 转写计算 WER/CER 衡量可懂度,以 RTFx 和 TTFA 衡量 H200 GPU 上的批量推理与流式延迟,并以 WavLM 嵌入余弦相似度衡量说话人相似度,把单个模型评测从数周缩短到数小时。
推荐理由:原文对比了人工偏好竞技场与客观指标评测,说明新榜单用 WER、RTFx、TTFA 和说话人相似度补齐开源 TTS 评测的缺口。
Multiverse Computing 发表论文 ProvenanceGuard,提出面向 MCP 智能体的来源感知事实性验证方法,专门检测事实成立但归属来源错误的跨来源混淆问题。
推荐理由:论文针对 MCP 智能体的跨来源混淆问题提出来源感知验证方法,在医疗测试中拦截了专家判定不应通过的 139 条声明里的 138 条。
Hcompany 发布 Holo4 系列智能体模型,包含 27B dense 与 35B-A3B MoE 两种尺寸,可通过 GUI、代码、MCP 和 API 与软件交互,同一模型可跨桌面、网页、Android、代码沙箱与业务 API 运行。
推荐理由:原文给出了多接口能力说明与 OSWorld 2.0 成本性能对比,读者可据此判断开源智能体模型相对闭源前沿模型的取舍。
微软研究院联合华盛顿大学与 Providence 发布开源病理基础模型 GigaPath-Flash 与 GigaTIME-Flash,权重与代码以 Apache 2.0 许可在 HuggingFace 开放。