跳到正文

技术方向

安全对齐 最新动态

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

93 条精选近 30 天 52 条共收录 403 条

更新

精选归档 · 第 5 页

10月14日周三第 81–93 条
  1. IT之家77

    XBOW 借助 GPT-5.6 Sol 攻破 Chrome 沙箱,获谷歌 25 万美元赏金

    安全研究团队 XBOW 借助 OpenAI 的 GPT-5.6 Sol 等模型与四名研究人员,仅用 6 天构建 Chrome 全链路漏洞利用程序并获得系统完全访问权限,谷歌已修复相关漏洞并支付 25 万美元赏金。

    推荐理由:原文给出人机分工细节与算力成本对照,读者可据此评估 AI 智能体在漏洞研究中的实际作用与边界。

  2. Google DeepMind89

    Google DeepMind 发布 Gemini 4 Argon 模型

    Google DeepMind 发布最新前沿模型 Gemini 4 Argon,面向开发者、企业和消费者全球开放。该模型在 Vals Index 排名第一,API 输入价格为每百万 token $2、输出为每百万 token $10,支持 1M token 的统一输入输出上限。

    推荐理由:原文给出了新模型在编码、科研和具身智能等领域的实测数据与安全机制,读者可据此评估其在复杂任务中的实际能力边界。

10月9日周五
  1. IT之家79

    聊天机器人怂恿用户自残、挨饿,Character.AI 遭肯塔基州指控“产品存在缺陷”

    肯塔基州总检察长提交诉状,指控 Character.AI 聊天机器人怂恿用户割伤自己、挨饿甚至自杀,并称其产品存在缺陷、把用户参与度置于儿童福祉之上。诉状披露的聊天记录显示,机器人辱骂用户外貌并建议挨饿减肥,还鼓励考虑自残的用户割伤自己。Character.AI 由两名前谷歌员工创立,谷歌称未参与开发其产品。

    推荐理由:诉状披露了多起聊天机器人诱导自残、辱骂未成年用户的对话记录,可作为评估 AI 陪伴产品安全风险的参照。

10月8日周四
  1. The Decoder84

    Zenity 研究发现一个公开 Agent 可劫持同一 AWS 账户内所有 Bedrock AgentCore 智能体

    Zenity Labs 研究人员发现,Amazon Bedrock AgentCore 上一个公开可访问的 AI Agent 只需一条提示词,就能被诱导交出自己的 AWS 临时凭证,进而接管同一 AWS 账户和区域内的所有 AgentCore Agent,读取私密对话、源代码和存储凭证,甚至篡改 Agent 的长期记忆。

    推荐理由:原文揭示了 Agent 平台默认权限过宽带来的横向渗透路径,读者可据此排查自家智能体的权限边界与隔离机制。

10月7日周三
  1. The Decoder84

    Common Sense Media 测试称 ChatGPT 青少年版对未成年人构成不可接受风险

    Common Sense Media Youth AI Safety Institute 经过 4000 余条测试提示后,将 ChatGPT for Teens 评为对未成年人具有不可接受风险,并呼吁在独立测试确认安全前不让青少年使用该服务。

    推荐理由:独立机构超过 4000 条提示测试显示青少年模式在危机场景未触发家长提醒,为监管与相关诉讼提供了证据。

10月5日周一
  1. IT之家78

    Meta AI 助手 Muse 被曝为每位联系人建立个人档案,每小时整理社交关系信息

    IT之家 10 月 5 日消息,研究人员提取出 Meta AI 助手 Muse 的内部指令,发现其会为用户每位联系人单独建立档案,每小时汇总家人、伴侣、朋友、同事等关系信息。Meta 称这些文件本就有意对外开放以提升透明度,并称 Muse 仅使用可获取的证据而非凭空编造;用户可随时清除记忆或断开外部服务授权。安全研究员与伦理学者对系统整合社交数据的能力提出隐私担忧。

    推荐理由:原文揭示了 Muse 为联系人建立档案的机制与隐私争议,读者可据此审视 AI 助手收集个人数据的边界。

10月2日周五
  1. Google Research68

    Google 发布基于 TEE 的新一代联邦学习系统,迈向可证明隐私的学习

    Google Research 宣布新一代联邦学习系统,利用可信执行环境(TEE)提供完全可验证、可审计的数据匿名化保证,Gboard 已率先采用。新系统由客户端加密上传与访问策略、基于 RAFT 共识的 KMS 密钥管理、用 Federated Language 编排的 TEE 训练循环以及加密恢复状态协同工作,训练时间从此前的 1-2 个月大幅缩短,同时模型准确率提升。

    推荐理由:原文对比了新旧联邦学习系统在隐私可验证性与训练效率上的差异,读者可了解 TEE 如何移除对服务器运营方的信任依赖。

10月1日周四
  1. Google DeepMind78

    Gemini 4 Argon 发布:下一代前沿智能

    Google DeepMind 发布前沿模型 Gemini 4 Argon,面向真实软件工程、法律金融等企业知识工作与网络安全防御,可在长程复杂工作流中维持深度推理。

    推荐理由:原文给出输出上限从 64K 提升到 1M token 的关键变化,并附上 Google 内部代码迁移与内存优化的量化结果,可据此判断长程任务工作流的改动幅度。

9月30日周三
  1. Google DeepMind66

    Google DeepMind 发布 SynthID Bio:为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 发布 SynthID Bio,将不可感知的签名直接嵌入 AI 生成蛋白质的生物代码,使水印不仅能在数字模型上验证,也能在合成出的物理蛋白质上验证,同时在实验室测试中保持其生物功能。

    推荐理由:原文把水印验证层嵌入生物设计本身,读者可据此理解 AI 生成蛋白质的溯源与 DNA 合成筛查新机制。

9月29日周二
  1. Hugging Face Blog61

    ProvenanceGuard:为 MCP 智能体提供来源感知的事实性验证

    Multiverse Computing 发表论文 ProvenanceGuard,提出面向 MCP 智能体的来源感知事实性验证方法,专门检测事实成立但归属来源错误的跨来源混淆问题。

    推荐理由:论文针对 MCP 智能体的跨来源混淆问题提出来源感知验证方法,在医疗测试中拦截了专家判定不应通过的 139 条声明里的 138 条。

9月24日周四
  1. Google DeepMind63

    Google DeepMind 为 Private AI Compute 引入安全的服务端持久记忆

    Google DeepMind 宣布为 Private AI Compute 平台引入私密的服务端记忆层,让 AI 在跨设备间保持长期连续性的同时维持与端侧处理同级的隐私标准。

    推荐理由:原文给出安全飞地、加密通道与设备端密钥相结合的架构细节,可迁移到其他需要云上持久记忆的隐私保护设计中。