扩展印度语预训练:2.8 万亿 token 与开放数据生成管线
NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token 覆盖 22 种印度语言,同时开放生成该语料的 GPU 加速数据管线。
推荐理由:语料覆盖 22 种印度语言并开放完整生成管线,读者可参考其翻译、质检与修复流程复用到自己的多语言数据构建。
技术方向
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
55 条精选近 30 天 30 条共收录 392 条
NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token 覆盖 22 种印度语言,同时开放生成该语料的 GPU 加速数据管线。
推荐理由:语料覆盖 22 种印度语言并开放完整生成管线,读者可参考其翻译、质检与修复流程复用到自己的多语言数据构建。
Project Apertus 发布 Apertus 1.5 的 8B 与 70B 模型(2026 年 7 月 24 日上线 Hugging Face,Apache 2.0 许可),在 Apertus 1.0 基础上新增图像与音频理解、可选思考模式,上下文窗口扩展至 262,144 tokens。
推荐理由:原文完整公开了从数据、训练配方到中间检查点的全流程细节,可作为复现开源多模态模型训练的参考样本。
Ai2 发布高分辨率气候模拟器 HiRO-ACEv2,整套系统生成全球 3 km 气候数据的成本约为 X-SHiELD 的 1/300。
推荐理由:原文把 HiRO-ACEv2 的精度和成本与 X-SHiELD 逐项对比,读者可据此判断高分辨率气候模拟的可用边界。
Google Research 公布 Earth AI 地理空间推理智能体的三项更新,涵盖技术报告、合作伙伴实测结果与早期访问扩展。技术报告在 GeoExpertQueries、GeoKTools、CBGB、UnivEARTH 四个基准上对比四种智能体配置,表明领域专用技能与前置规划显著优于开箱即用的 LLM,两个新基准的开发集已全部开放。
推荐理由:报告用四档配置在四项基准上对比表明,领域技能与前置规划是通用 LLM 应对真实空间推理任务的关键。
GitHub 上线了基于微调 ModernBERT 分类器的新密钥扫描管线,替代原有 LLM 管线。新管线采用正则候选生成加上下文感知分类的两阶段设计,模型导出为 ONNX 并做 8-bit 量化。
推荐理由:原文给出用小型微调编码器替代 LLM 调用的完整管线与量化结果,可迁移到其他低延迟的文本判定场景。
作者在 HuggingChat 中开启 ML-intern 模式,用自然语言描述需求,几天内做出六个自定义小模型,总计算成本约 103 美元。
推荐理由:作者用六个总成本约 103 美元的项目,总结了给智能体设预算、要基线、做冒烟测试的可复用方法。
微软亚洲研究院提出 Harnessed Agentic RL 训练范式并开源 Agent Lightning v1.0,让部署时使用的 agent harness 通过 LLM proxy 直接参与强化学习,无需在训练框架中重新实现 agent。
推荐理由:核心可迁移点在于把部署用的 harness 直接接入 RL 训练,省去在训练框架中重写 agent 的成本。
NVIDIA 团队基于 Nemotron 3 通过 SFT、RL 与反馈式推理构建专家系统,在 IOI 2026 取得 535.4/600(超过 361.12 的金牌线),在 IMO 2026 取得 30/42(超过 29 的金牌线)。
推荐理由:原文完整给出从基座模型、数据筛选、SFT/RL 到推理循环的四步专精化方法,读者可将其迁移到自己的领域模型训练。
Mistral AI 发布 Mistral Large 4(ML4)公开预览,1 万亿参数、490 亿活跃参数的原生多模态模型,为其迄今最大最强模型。权重将于本月底开放,模型在 Mistral 自有欧洲数据中心基于 3,800 块 NVIDIA Grace Blackwell GPU 完成训练。
推荐理由:官方公布 ML4 在网络安全、编码与多模态基准上与闭源模型的对比数据,读者可据此判断开放权重模型的当前位置。
Ai2 开源 AstaBrief 8B,它把研究问题与检索到的文献片段直接转成带引用的报告,训练数据一并开放。模型基于 Qwen3-8B,用 SFT 加 DPO 训练;在 Asta 的 Fast mode 下平均 51.1 秒生成一份报告,约为 Claude 驱动的 Thinking mode(178.5 秒)速度的 3.5 倍。
推荐理由:原文给出一条可迁移的训练经验,用引用密度这一简单信号过滤合成数据,比更复杂的过滤组合更有效。
Google Research 宣布新一代联邦学习系统,利用可信执行环境(TEE)提供完全可验证、可审计的数据匿名化保证,Gboard 已率先采用。新系统由客户端加密上传与访问策略、基于 RAFT 共识的 KMS 密钥管理、用 Federated Language 编排的 TEE 训练循环以及加密恢复状态协同工作,训练时间从此前的 1-2 个月大幅缩短,同时模型准确率提升。
推荐理由:原文对比了新旧联邦学习系统在隐私可验证性与训练效率上的差异,读者可了解 TEE 如何移除对服务器运营方的信任依赖。
NVIDIA 发布开源表格基础模型 Kumo Tabular,输入带标签的表格后可在一次前向传播中预测新行标签,无需训练、微调或特征工程,支持分类与回归。
推荐理由:原文给出四项基准的排名与推理速度对比,读者可据此判断它相对调参梯度提升树和同类表格基础模型的位置。
NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,在 AlphaFold Database 中开放 2800 多种病毒的蛋白复合体预测三维结构,约 30% 的蛋白相互作用为科学界此前未记录。
推荐理由:开放数据集与 BioNeMo 结构预测流程的发布,让研究者能针对自选病毒蛋白靶点批量预测三维结构,降低实验成本。
Google DeepMind 发布 AlphaGenome Atlas,这是一个包含人类基因组全部 90 亿个单核苷酸变异分子效应预测的平台,即日起通过免费网站门户向学术研究开放。
推荐理由:Atlas 把 AlphaGenome 的预测预计算成覆盖全部 90 亿变体的图谱,规模超 AlphaFold 数据库 30 倍,可对照后者的路径评估其科研影响。
Google DeepMind 与 Google Research 发布 WeatherNext 3,据 Brightband 独立实时评估为迄今最先进、最准确的全球气象模型。
推荐理由:原文给出了它直接从实时卫星观测学习、逐小时生成 5 公里分辨率预报的技术路线,读者可据此判断 AI 气象预报的能力边界与落地方式。