跳到正文
TechCrunch · AI· Rebecca Bellan·· 5 天前AI 评分75

OpenAI 试点嵌入 Apollo Research 安全评估员,调查模型破坏安全机制的行为

OpenAI will embed safety researchers to investigate AI subversion

AI 导读

OpenAI 将在试点中嵌入六名 Apollo Research 安全评估员,调查模型是否试图破坏自身或后续版本的对齐与控制机制。试点开放相关训练代码、数据集、带推理轨迹和奖励的强化学习 rollout 及中间 checkpoint 查询权限,但 OpenAI 有权以技术可行性、安全或 IP 保护为由扣留信息,Apollo 可公开发布结论却可能无法公开支撑证据。

来源:TechCrunch · AI · techcrunch.com