Inkling 2 Mini 发布,为本地部署提供前沿性能
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
Hugging Face 与 Thinking Machines Lab 联合发布 Inkling 2 Mini,一款面向本地部署的多模态 MoE 模型,物理参数约 26B、每 token 激活 3B,支持 1M token 上下文。
推荐理由:原文详解了循环层与跨轮消息机制如何让 24 个物理层达到 48 层逻辑效果,可迁移到其他端侧模型设计。
Rumble-2-Flash 是 Reson8 发布的 0.5B 参数语音识别模型,支持 40+ 语言并自动检测语种,已以 Apache 2.0 协议开源,原生兼容 🤗 Transformers 与 vLLM。
推荐理由:原文给出 0.5B 语音模型与 30B 模型的基准对比,以及跨分词器的 on-policy 蒸馏方法,可作为小模型压缩的参考路径。
Hugging Face 将 Inference Providers 的语言模型路由切换至 OpenRouter,用户用 Hugging Face token 即可通过统一 API 调用服务商托管的开放权重模型。
推荐理由:原文同时给出路由切换细节和开放权重模型使用占比数据,读者可据此评估统一推理入口对现有工作流的影响。
AI2 联合 Carnegie Mellon、NVIDIA 和 Johns Hopkins 的研究者发布 XYBench 基准,包含 8115 条来自 Stack Overflow、Stack Exchange、WikiHow 等的真实问题,衡量模型能否识别用户请求中的隐含误解并引导其转向真正目标。
推荐理由:该基准提供了一种衡量模型识别用户误解能力的框架,实验显示五个主流模型在误解识别上仍落后于人类参考答案。
llama.cpp 正式发布库 v1.0.0,同时 ggml 也发布 v1.0.0,标志着这一跨平台本地推理项目进入 API 稳定阶段。今后 llama.cpp 和 ggml 将通过主版本号反映公共 C API 和 ABI 的不兼容变更,并遵循语义化版本规则。
推荐理由:v1.0.0 明确了 API 和 ABI 稳定性承诺,依赖 llama.cpp 的下游应用可以据此规划升级与集成。
Hugging Face Hub 现在支持将组织关联到 Google Cloud 账户,用量计入现有 Google Cloud 账单而非信用卡扣款。
推荐理由:原文列出了可结算的服务范围与切换前后计费规则,读者可据此判断能否走现有 Google Cloud 采购流程。
Mistral 发布多模态 MoE 模型 Mistral Large 4(代号 Le Chonk),总参数约 1T、激活参数 49B,上下文窗口 1M tokens,以 Mistral Ecosystem Open-Weight License 开源,并提供 FP8 与 NVFP4 两种官方变体。
推荐理由:原文给出 Mistral Large 4 的架构细节、安全基准与多种部署方案,便于与同类开源模型比较选型。
mattt 在 Hugging Face 博客发布两个开源 Swift 包 AnySpeechRecognizer 与 AnyDecisionModel,均可从 Hugging Face Hub 下载开源模型并在设备本地运行。
推荐理由:原文把两个 Swift 包的 API 设计、可选模型与基准数据列得较细,读者可据此评估能否在 Apple 端替换现有语音与决策方案。
NVIDIA 推出预训练关系型基础模型 Kumo Relational,可直接对企业数据库做预测,无需任务特定训练、特征工程或表扁平化。它在 15 个数据库的 41 个任务上超越监督关系深度学习模型和专家构建的梯度提升树流水线,在 SAP SALT 基准上比 AutoGluon 集成的平均倒数排名高 8%。
推荐理由:原文给出 41 个任务上的对比数据,读者可据此判断关系型数据基础模型能否替代现有 XGBoost 流水线。
IBM Granite 团队发布 Granite Speech 5.0 系列更新:新模型 granite-speech-5.0-2b 与更新版 granite-speech-5.0-470m-turboctc、granite-speech-4.1-2b-plus,分别面向高精度多语转写翻译、端侧高速转写和多说话人录音。
推荐理由:三个模型分别覆盖高精度转写、端侧极速转写和多说话人归因场景,读者可按企业需求直接选型。
Hugging Face 推出 SimReady Central,汇集超过 2,000 个仿真就绪的 OpenUSD 资产,为机器人仿真和 AI 工厂数字孪生提供免费开放起点。
推荐理由:原文说明了 SimReady 资产如何补齐碰撞几何、质量与摩擦等物理属性,读者可据此把现成 3D 模型直接用于仿真工作流。
NVIDIA 宣布扩展其开放模型家族,新成员覆盖语言、机器人、生物和量子计算,组织可用本地数据定制并在自有基础设施上部署。
推荐理由:原文按语言、机器人、生物和量子等领域逐一列出各开放模型的能力与可用入口,读者可据此判断哪些模型适合纳入本地化部署。
Hugging Face 宣布 TorchTPU 为 PyTorch 增加原生 TPU 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 Optimum TPU 即可在 TPU 上运行,加载 Hub 模型只需设置 device_map 为 tpu。
推荐理由:原文对比了 torch_xla 旧方案并给出 device_map=tpu 等迁移细节,读者可评估现有 PyTorch 代码上 TPU 的改造成本。
Hugging Face 发布 AnyLanguageModel 1.0,同时带来 swift-huggingface 1.0 与 swift-xet 1.0。
推荐理由:原文给出了同一套会话代码在本地与托管模型间切换的具体方式,Apple 平台开发者可据此评估迁移成本。
Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 后端更新,为 Apple silicon Mac 带来 FP8 支持、更快的 LLM 解码和更多 Metal 内核。
推荐理由:原文逐项列出 FP8、MoE 解码和内存占用的具体数字,读者可直接对照自己的 Mac 工作流评估升级收益。
Hugging Face 宣布 TorchNeuron 将于 2026 年 10 月 20 日进入公开测试,可通过 pip install torch-neuronx 安装。
推荐理由:相比 Optimum Neuron 的编译器式用法,TorchNeuron 把 Trainium 变成原生 PyTorch 设备,现有 HF 脚本几乎不用改即可迁移。
Meta 发布开源多模态混合专家模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,上下文窗口最长 1M tokens,支持文本、图像、音频、视频输入并输出文本。
推荐理由:文章给出 816B 参数 MoE 模型从推理部署到 LoRA 微调的完整配方,可作为同类开源大模型落地的参考路径。
Black Forest Labs 发布图像模型 FLUX.3 Image Klein,Hugging Face Diffusers 首日支持。单模型覆盖文生图、多参考图生图与边界框布局控制;蒸馏检查点在单张 H100 上约 1.93 秒生成 1024×1024 图像,并提供 NVFP4、FP8 量化权重与 DreamBooth LoRA 训练脚本。
推荐理由:原文同时给出能力清单、显存占用与 LoRA 训练脚本,读者可据此判断 FLUX.3 能否在自己的 GPU 上跑通。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL,面向多模态智能体任务,并同步推出面向端侧的 Bolt 74B-A9B 24GB 与 Bolt E4B 4GB。
推荐理由:原文列出了三款模型的参数规模、性能对比与部署入口,读者可据此为从数据中心到端侧的智能体选型。
Liquid AI 发布 LFM2.5-24B-A2B,一个总参数 24B、每 token 仅激活 2B 的端侧推理模型,面向快速、私有的智能体场景。它在 LiveClaw 上以 48.09 分领先 Qwen3.6-35B-A3B 的 38.19 分,上下文窗口从 32K 扩展到 131K,预训练数据从约 17T 增至约 33T tokens。
推荐理由:总参数 24B 但每 token 仅激活 2B,在智能体与工具调用任务上与参数量约多五成的 MoE 持平,适合在自有硬件上持续运行智能体。