跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

55 条精选近 30 天 30 条共收录 392 条

更新

精选归档 · 第 3 页

10月16日周五第 41–55 条
  1. Hugging Face Blog64

    扩展印度语预训练:2.8 万亿 token 与开放数据生成管线

    NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token 覆盖 22 种印度语言,同时开放生成该语料的 GPU 加速数据管线。

    推荐理由:语料覆盖 22 种印度语言并开放完整生成管线,读者可参考其翻译、质检与修复流程复用到自己的多语言数据构建。

10月15日周四
  1. Hugging Face Blog72

    Apertus 1.5 发布:支持图像与音频理解,上下文窗口扩展至 262,144 tokens

    Project Apertus 发布 Apertus 1.5 的 8B 与 70B 模型(2026 年 7 月 24 日上线 Hugging Face,Apache 2.0 许可),在 Apertus 1.0 基础上新增图像与音频理解、可选思考模式,上下文窗口扩展至 262,144 tokens。

    推荐理由:原文完整公开了从数据、训练配方到中间检查点的全流程细节,可作为复现开源多模态模型训练的参考样本。

  2. Google Research62

    Google Earth AI 地理空间智能体公布三项更新并扩大早期访问

    Google Research 公布 Earth AI 地理空间推理智能体的三项更新,涵盖技术报告、合作伙伴实测结果与早期访问扩展。技术报告在 GeoExpertQueries、GeoKTools、CBGB、UnivEARTH 四个基准上对比四种智能体配置,表明领域专用技能与前置规划显著优于开箱即用的 LLM,两个新基准的开发集已全部开放。

    推荐理由:报告用四档配置在四项基准上对比表明,领域技能与前置规划是通用 LLM 应对真实空间推理任务的关键。

10月14日周三
  1. GitHub Blog · AI & ML60

    GitHub 新密钥扫描分类器:基于 ModernBERT,误报更低、速度与成本大幅优化

    GitHub 上线了基于微调 ModernBERT 分类器的新密钥扫描管线,替代原有 LLM 管线。新管线采用正则候选生成加上下文感知分类的两阶段设计,模型导出为 ONNX 并做 8-bit 量化。

    推荐理由:原文给出用小型微调编码器替代 LLM 调用的完整管线与量化结果,可迁移到其他低延迟的文本判定场景。

10月9日周五
10月8日周四
  1. Microsoft Research77

    微软亚洲研究院开源 Agent Lightning v1.0:约 3500 行的轻量级智能体 RL 训练框架

    微软亚洲研究院提出 Harnessed Agentic RL 训练范式并开源 Agent Lightning v1.0,让部署时使用的 agent harness 通过 LLM proxy 直接参与强化学习,无需在训练框架中重新实现 agent。

    推荐理由:核心可迁移点在于把部署用的 harness 直接接入 RL 训练,省去在训练框架中重写 agent 的成本。

10月7日周三
  1. Hugging Face Blog71

    微调 Nemotron 在 IOI 2026 与 IMO 2026 双双取得金牌级成绩

    NVIDIA 团队基于 Nemotron 3 通过 SFT、RL 与反馈式推理构建专家系统,在 IOI 2026 取得 535.4/600(超过 361.12 的金牌线),在 IMO 2026 取得 30/42(超过 29 的金牌线)。

    推荐理由:原文完整给出从基座模型、数据筛选、SFT/RL 到推理循环的四步专精化方法,读者可将其迁移到自己的领域模型训练。

10月6日周二
  1. Mistral AI77

    Mistral AI 发布 Mistral Large 4:1 万亿参数原生多模态模型开启公开预览

    Mistral AI 发布 Mistral Large 4(ML4)公开预览,1 万亿参数、490 亿活跃参数的原生多模态模型,为其迄今最大最强模型。权重将于本月底开放,模型在 Mistral 自有欧洲数据中心基于 3,800 块 NVIDIA Grace Blackwell GPU 完成训练。

    推荐理由:官方公布 ML4 在网络安全、编码与多模态基准上与闭源模型的对比数据,读者可据此判断开放权重模型的当前位置。

10月2日周五
  1. Hugging Face Blog66

    Ai2 开源 AstaBrief 8B,Asta 平台的快速报告生成模型

    Ai2 开源 AstaBrief 8B,它把研究问题与检索到的文献片段直接转成带引用的报告,训练数据一并开放。模型基于 Qwen3-8B,用 SFT 加 DPO 训练;在 Asta 的 Fast mode 下平均 51.1 秒生成一份报告,约为 Claude 驱动的 Thinking mode(178.5 秒)速度的 3.5 倍。

    推荐理由:原文给出一条可迁移的训练经验,用引用密度这一简单信号过滤合成数据,比更复杂的过滤组合更有效。

  2. Google Research68

    Google 发布基于 TEE 的新一代联邦学习系统,迈向可证明隐私的学习

    Google Research 宣布新一代联邦学习系统,利用可信执行环境(TEE)提供完全可验证、可审计的数据匿名化保证,Gboard 已率先采用。新系统由客户端加密上传与访问策略、基于 RAFT 共识的 KMS 密钥管理、用 Federated Language 编排的 TEE 训练循环以及加密恢复状态协同工作,训练时间从此前的 1-2 个月大幅缩短,同时模型准确率提升。

    推荐理由:原文对比了新旧联邦学习系统在隐私可验证性与训练效率上的差异,读者可了解 TEE 如何移除对服务器运营方的信任依赖。

9月29日周二
  1. Hugging Face Blog72

    NVIDIA 发布开源表格基础模型 Kumo Tabular,四项基准排名第一

    NVIDIA 发布开源表格基础模型 Kumo Tabular,输入带标签的表格后可在一次前向传播中预测新行标签,无需训练、微调或特征工程,支持分类与回归。

    推荐理由:原文给出四项基准的排名与推理速度对比,读者可据此判断它相对调参梯度提升树和同类表格基础模型的位置。

9月24日周四
  1. NVIDIA Blog66

    NVIDIA 与 Google DeepMind 如何借开放病毒蛋白结构数据帮助研究者应对下一次疫情

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,在 AlphaFold Database 中开放 2800 多种病毒的蛋白复合体预测三维结构,约 30% 的蛋白相互作用为科学界此前未记录。

    推荐理由:开放数据集与 BioNeMo 结构预测流程的发布,让研究者能针对自选病毒蛋白靶点批量预测三维结构,降低实验成本。

9月8日周二
  1. Google DeepMind80

    Google DeepMind 发布 AlphaGenome Atlas,预测人类基因组全部单字母变异的分子影响

    Google DeepMind 发布 AlphaGenome Atlas,这是一个包含人类基因组全部 90 亿个单核苷酸变异分子效应预测的平台,即日起通过免费网站门户向学术研究开放。

    推荐理由:Atlas 把 AlphaGenome 的预测预计算成覆盖全部 90 亿变体的图谱,规模超 AlphaFold 数据库 30 倍,可对照后者的路径评估其科研影响。

9月3日周四