跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

5 条精选近 30 天 4 条共收录 13 条

更新

数据与训练的精选

10月2日周五第 1–5 条
  1. Hugging Face Blog66

    Ai2 开源 AstaBrief 8B,Asta 平台的快速报告生成模型

    Ai2 开源 AstaBrief 8B,它把研究问题与检索到的文献片段直接转成带引用的报告,训练数据一并开放。模型基于 Qwen3-8B,用 SFT 加 DPO 训练;在 Asta 的 Fast mode 下平均 51.1 秒生成一份报告,约为 Claude 驱动的 Thinking mode(178.5 秒)速度的 3.5 倍。

    推荐理由:原文给出一条可迁移的训练经验,用引用密度这一简单信号过滤合成数据,比更复杂的过滤组合更有效。

  2. Google Research68

    Google 发布基于 TEE 的新一代联邦学习系统,迈向可证明隐私的学习

    Google Research 宣布新一代联邦学习系统,利用可信执行环境(TEE)提供完全可验证、可审计的数据匿名化保证,Gboard 已率先采用。新系统由客户端加密上传与访问策略、基于 RAFT 共识的 KMS 密钥管理、用 Federated Language 编排的 TEE 训练循环以及加密恢复状态协同工作,训练时间从此前的 1-2 个月大幅缩短,同时模型准确率提升。

    推荐理由:原文对比了新旧联邦学习系统在隐私可验证性与训练效率上的差异,读者可了解 TEE 如何移除对服务器运营方的信任依赖。

9月29日周二
  1. Hugging Face Blog72

    NVIDIA 发布开源表格基础模型 Kumo Tabular,四项基准排名第一

    NVIDIA 发布开源表格基础模型 Kumo Tabular,输入带标签的表格后可在一次前向传播中预测新行标签,无需训练、微调或特征工程,支持分类与回归。

    推荐理由:原文给出四项基准的排名与推理速度对比,读者可据此判断它相对调参梯度提升树和同类表格基础模型的位置。

9月24日周四
  1. NVIDIA Blog66

    NVIDIA 与 Google DeepMind 如何借开放病毒蛋白结构数据帮助研究者应对下一次疫情

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,在 AlphaFold Database 中开放 2800 多种病毒的蛋白复合体预测三维结构,约 30% 的蛋白相互作用为科学界此前未记录。

    推荐理由:开放数据集与 BioNeMo 结构预测流程的发布,让研究者能针对自选病毒蛋白靶点批量预测三维结构,降低实验成本。

9月3日周四