跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

55 条精选近 30 天 30 条共收录 392 条

更新

数据与训练的精选

11月21日周六第 1–20 条
  1. OpenAI News71

    OpenAI 详述对抗性蒸馏防御与受保护推理防护进展

    OpenAI 分享其检测与打击对抗性蒸馏的防御体系,并强化了 GPT‑6.2 Astra 与 GPT‑6.2 Sol 的受保护推理防护,内部自适应黑盒评估中攻击成功率从 GPT‑6 Astra 原有防护下的 54.0% 降至 0.2%。

    推荐理由:原文给出了对抗蒸馏的攻击路径与多层防御设计,读者可了解保护推理痕迹为何成为模型安全的关键环节。

11月20日周五
  1. 极客公园77

    贝佐斯联合创办 Prometheus:估值 410 亿美元,打造物理世界的 OpenAI

    贝佐斯以联合创始人兼联席 CEO 身份重回一线,其 AI 初创公司 Prometheus 估值已达 410 亿美元,累计融资约 145 亿美元,目标是打造「通用 AI 工程师」AGE,用 AI 重构实体制造业的工程设计。

    推荐理由:原文把 Prometheus 的技术路线与资本布局并置,读者可看到工业 AI 与语言模型在数据获取和容错率上的本质差异。

  2. The Decoder82

    美国出口管制收紧,中国科技公司面临芯片停供与海外云算力断供双重打击

    美国商务部封堵第三国云算力漏洞并要求台积电、三星暂停部分对华出货后,中国 AI 公司的算力获取渠道同时受阻。月之暗面(Moonshot AI)取消与印尼云服务商的 1.5 亿美元合同,原计划租用 Nvidia Blackwell Ultra B300 集群训练 Kimi K4;纽约时报另披露阿里巴巴通过 Megaspeed 秘密采购超 40 亿美元 Nvidia 芯片,并经浙实验室关联军事研究。

    推荐理由:梳理了云漏洞封堵与台积电、三星停供的双重影响,可看出新规如何同时卡住算力租用和实体供应链。

11月19日周四
11月18日周三
  1. AWS Machine Learning Blog63

    Amazon SageMaker 宣布推出 AI 数据准备功能:为模型开发工作流构建高质量数据集

    Amazon SageMaker AI 宣布上线 AI 数据准备功能,覆盖自动标注、人工审核、合成数据生成、数据质量评估和数据转换,已在 US East (N. Virginia) 和 US West (Oregon) 区域正式可用。

    推荐理由:原文把每项能力拆成可独立调用的模块并给出组合模式,读者可据此评估它能否接入现有数据工作流。

  2. The Decoder84

    美国拟封锁海外 AI 算力租赁,但中国已从美国模型输出中建起平行供应链

    美国商务部 BIS 发布 interim rule,将远程访问规则与现有实体出口禁令对齐,新加坡、马来西亚、泰国、印尼和巴西的数据中心需取得美国政府许可,才能向 Nvidia 等美国厂商购买先进 AI 芯片,消息公布后 Nvidia 股价一度下跌 2.9%。

    推荐理由:原文将美国出口管制新规与路透对中国蒸馏产业的调查并置,读者可看到封堵算力与获取模型数据两条线索如何相互牵动。

11月16日周一
  1. IT之家79

    腾讯混元 Hy4 flash 模型发布:224B 总参、12B 激活,单任务成本约 Hy4 的 5%

    腾讯混元团队发布 Hy4 flash 模型,总参数量 224B、每 token 激活 12B,支持多模态输入与 100 万 token 上下文。官方称其通过预训练、后训练和推理三阶段协同优化,KV cache 降至 Hy4 的 1/6,解码速度超过 150 tps;在 WorkIndex 评测集上单任务成本仅为 Hy4 的 1/20,综合效果略优于 Hy4 preview。

    推荐理由:原文给出 Hy4 flash 与 Hy4、DeepSeek-V4.1-Flash 的单任务成本对比及内部盲测结果,读者可据此判断它适合哪类日常任务。

11月14日周六
  1. TechCrunch · AI83

    研究称中国最强 AI 模型使用被禁出口的 Nvidia 芯片训练,黄仁勋因丑闻离开 Nvidia

    Unemployment Labs 的一项研究称,DeepSeek、Moonshot AI、MiniMax 和蚂蚁集团公开发布的模型权重中留有被禁出口的 Nvidia Blackwell GPU 的训练痕迹,其中 DeepSeek V4 与 Kimi K3 的证据最有力。

    推荐理由:原文梳理了出口管制从芯片流向到模型训练证据的完整链条,读者可据此评估美国对华芯片限制的实际效力。

  2. Hugging Face Blog64

    XYBench 基准发布:测试 AI 助手能否识别请求背后的真实问题

    AI2 联合 Carnegie Mellon、NVIDIA 和 Johns Hopkins 的研究者发布 XYBench 基准,包含 8115 条来自 Stack Overflow、Stack Exchange、WikiHow 等的真实问题,衡量模型能否识别用户请求中的隐含误解并引导其转向真正目标。

    推荐理由:该基准提供了一种衡量模型识别用户误解能力的框架,实验显示五个主流模型在误解识别上仍落后于人类参考答案。

11月13日周五
  1. The Decoder80

    前 OpenAI 研究员称六个中国 AI 模型中藏有 Nvidia Blackwell 芯片指纹

    前 OpenAI 研究员 Will DePue 发布分析称,2026 年 4 月以来发布的六个中国模型权重中留有 Nvidia Blackwell 芯片的初始化指纹,验证代码已公开在 GitHub。

    推荐理由:原文解释了如何通过模型权重的初始化指纹反推训练所用 GPU,并附验证代码与 24 个对照模型的结果。

11月12日周四
  1. AWS Machine Learning Blog64

    在 Amazon SageMaker HyperPod 上检测并恢复分布式训练中的静默数据损坏

    AWS SageMaker HyperPod 团队在 PyTorch DDP 训练循环中加入三项检查来捕捉静默数据损坏(SDC):非有限梯度检查、环形重放审计和权重指纹比对,报警后把嫌疑 rank 映射到节点并由 HyperPod 替换。

    推荐理由:原文给出了一套可直接落地到 PyTorch DDP 训练循环的 SDC 检测与节点替换流程,并附上注入故障的实测开销和误报数据。

11月11日周三
  1. Google DeepMind67

    Google DeepMind 发布 AlphaGenome 2:预测 DNA 变异如何影响特定人类细胞类型

    Google DeepMind 发布新一代 DNA 序列模型 AlphaGenome 2,可预测遗传变异对数百种人类细胞类型的影响。模型改为条件化架构,在超过 100 million 个细胞档案、68 种组织上训练,在 TenK10K 数据集上识别出的因果变异数量接近上一代的两倍(30% vs. 16%),还能泛化到未见过的细胞状态而无需重新训练。

    推荐理由:原文给出新模型相对上一代的条件化架构改动和近两倍变异识别提升,读者可判断它如何用于定位疾病相关细胞类型。

  2. 量子位82

    英伟达发布 GR00T 2 机器人基础模型,首批 10 万小时数据率先开源

    英伟达在 CoRL 大会发布新一代世界动作模型 GR00T 2,可同时预测未来画面与机器人动作,模型、数据、仿真环境与采集硬件将陆续开源,首批 10 万小时人类数据已开放。

    推荐理由:原文拆解了 X-Adapt 跨本体迁移路径与人类视频数据实验,读者可看到大规模人类经验如何转化为机器人执行能力。

11月10日周二
  1. Google DeepMind61

    Google DeepMind 开放 AI 天气模型背后的 SatWeave 与 PARDIG 数据集

    Google DeepMind 开放两套基础数据集 SatWeave 与 PARDIG,供全球研究者与开发者构建天气、水文和气候应用,二者均为 WeatherNext 3 模型的关键支撑。

    推荐理由:原文交代了两个数据集的来源、分辨率与开放方式,读者可据此判断它们能否支撑自己的天气或气候应用。

11月9日周一
  1. 爱范儿80

    苹果公开 HALO 人形机器人研究:宇树 G1 身体加 Mac mini 跑千问,6 个陌生家庭实测成功率 91%

    苹果研究团队公开名为 HALO 的人形机器人研究,用宇树 G1 做身体、背上 Mac mini M4 Pro 运行阿里千问模型,在 6 个从未见过且未提前扫描的真实家庭里完成坐下、钻桌底、推箱子等 6 类任务,360 次测试平均成功率 91%。

    推荐理由:原文给出苹果用纯仿真数据替代遥操作采集的完整方案,可看出具身智能数据瓶颈的一条规模化路径。

11月6日周五
  1. Google Research74

    Google Research 在 Nature 发表 AI-PPG-ACC-HTN,用智能手表被动检测高血压迹象

    Google Research 联合 Beth Israel Deaconess Medical Center 和 Harvard Medical School 在 Nature 发表研究,提出多模态 AI 系统 AI-PPG-ACC-HTN,利用消费级智能手表的 PPG 光学信号与加速度计信号,无需袖带校准即可被动检测高血压迹象。

    推荐理由:研究以 24 小时动态血压监测为金标准验证,智能手表筛查准确度可比传统袖带流程,为可穿戴医疗级检测提供方法参考。

11月1日周日
  1. IT之家76

    OpenAI、谷歌、微软和 Anthropic 联手推行 AI 数据抓取退出标准

    OpenAI、谷歌、微软和 Anthropic 宣布将采用一项新标准,内容发布方可借此一次性向多家 AI 企业统一声明拒绝 AI 抓取自家网站内容。该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组(IETF)提出,将集成在网站的 robots.txt 文件中。

    推荐理由:原文讲清了新标准如何通过 robots.txt 统一声明训练偏好,读者可据此判断它对内容站点维权成本的影响。