跳到正文
10月14日周三
  1. Ars Technica · AI48

    Anthropic 警告小型 AI 模型或可通过 IoT 设备自我复制

    Anthropic 警告,小型 AI 模型最早明年可能自主自我复制到各类 IoT 设备上,催生没有集中关停点、难以清除的新型计算机蠕虫。该公司近期实验显示,这类 AI 恶意软件复制器目前仍面临重大挑战,但已引发对新型蠕虫的担忧。此类蠕虫可自行识别陌生设备,不过复制速度较慢,复制周期为数天。

  2. IT之家77

    XBOW 借助 GPT-5.6 Sol 攻破 Chrome 沙箱,获谷歌 25 万美元赏金

    安全研究团队 XBOW 借助 OpenAI 的 GPT-5.6 Sol 等模型与四名研究人员,仅用 6 天构建 Chrome 全链路漏洞利用程序并获得系统完全访问权限,谷歌已修复相关漏洞并支付 25 万美元赏金。

    推荐理由:原文给出人机分工细节与算力成本对照,读者可据此评估 AI 智能体在漏洞研究中的实际作用与边界。

  3. The Verge · AI65

    OpenAI 员工因涉嫌在会议室安装录音设备被捕

    OpenAI 一名 35 岁的工程师因涉嫌在办公室会议室藏匿录音设备被捕,OpenAI 称已将其解雇并移交 FBI。据 The San Francisco Standard 报道,设备插在会议室电视的 USB 口上,OpenAI 用自家模型分析设备来源并锁定该员工。OpenAI 表示目前没有迹象表明其不当访问模型权重、源代码或客户数据。

  4. Google DeepMind89

    Google DeepMind 发布 Gemini 4 Argon 模型

    Google DeepMind 发布最新前沿模型 Gemini 4 Argon,面向开发者、企业和消费者全球开放。该模型在 Vals Index 排名第一,API 输入价格为每百万 token $2、输出为每百万 token $10,支持 1M token 的统一输入输出上限。

    推荐理由:原文给出了新模型在编码、科研和具身智能等领域的实测数据与安全机制,读者可据此评估其在复杂任务中的实际能力边界。

10月13日周二
  1. MIT Technology Review · AI53

    开放模型确有益处,但其风险是否超过收益?

    MIT Technology Review 发文解读开放模型与封闭模型之争:Anthropic 上月末发布报告称,中国公司 Z.ai 于 8 月开放的 GLM-5.3 带来重大网络攻击风险。文章指出开放模型可下载、可微调、成本更低,且能制衡前沿实验室的权力集中,但其安全训练容易被移除;目前研究者正探索防篡改模型与分级开放等折中方案。

  2. IT之家66

    Anthropic 警告:小型 AI 模型数月后或将具备在物联网设备上自我复制的能力

    Anthropic 实验表明,再过数月,参数量 300 亿以下的小型 AI 模型或将具备在商用物联网设备上自我复制的能力。在移除部分安全校验的简化环境下,GLM-5.2 及更强模型已能实现端到端完整自我复制。Anthropic 警告这类模型难以关停,并建议强化系统防护以提高其扩散难度。

  3. IT之家66

    Anthropic 推出新防护措施,模型蒸馏攻击窃取数据量最高降低 99%

    Anthropic 推出多项新防护措施,防止竞争对手复刻 Claude 模型能力,将模型蒸馏攻击中被窃取的数据量降低约 90% 至 99%,攻击者可提取的推理 token 数量降至之前的十分之一至百分之一。Anthropic 称该安全系统误报率低于 0.1%,已封禁数万个与蒸馏相关的账号,并点名智谱 AI 在研发 GLM-5.3 期间曾尝试从 Claude 蒸馏提取模型能力。

  4. The Decoder58

    Sakana AI 与 UC Berkeley 提出 MASS:自改进模型解题与评判变强,但仍无法发现自己的盲点

    Sakana AI 与 UC Berkeley 提出 MASS 方法,让单个语言模型同时承担解题、优化与评判,无需更强教师模型即可递归自改进。以 Qwen3.6-27B 为基座,两轮后对基座模型的胜率从 53.9% 升至 69.9%,自评判者与外部评判的一致率从 73% 升至 93%。但同一模型兼任三职时共享盲点会被当作进步固化进下一轮训练,作者因此呼吁引入独立检查与自主权限制;代码已公开。

10月12日周一
  1. IT之家41

    英国将加强网络防御,AI 国务大臣呼吁人工智能企业加大安全保障力度

    英国 AI 国务大臣卡尼什卡·纳拉扬将宣布加强网络防御,呼吁前沿 AI 企业采取更多举措保障系统安全。他强调英国不能完全依赖科技巨头“自我监管”,必须构建更多自主可控的 AI 基础设施。英国 AISI 已与 OpenAI、谷歌 DeepMind、Anthropic 等合作测试超 30 个模型,政府还设立了 5 亿英镑的主权 AI 风投基金。

10月11日周日
  1. IT之家58

    微软 CEO 纳德拉:开发者应当默认假设 AI 模型失控,思考如何强制中断任务

    微软 CEO 萨蒂亚·纳德拉发表长文,主张重新评估 AI 时代的信任架构,开发者应默认假设模型已被破坏并从设计之初加以遏制。他提出模型多样性、观察一切、可验证性、独立控制、独立审计性、遏制与事件披露等可观测性原则,要求每个有意义的模型动作留下防篡改、人类可读的证据,并让授权人员始终能暂停或关闭模型。

  2. The Verge · AI52

    微软 CEO Nadella 称应假设所有 AI 模型已被攻破,呼吁设置紧急制动

    微软 CEO Satya Nadella 在 X 发长文,主张不能再把 AI 当作层层嵌套的黑箱,而应建立可遏制、可观察并留下防篡改人类可读证据的透明系统。他提出应假设模型已被攻破并从一开始加以遏制,像紧急制动一样让授权人员能随时暂停或关闭正在执行任务的模型,并呼吁及时的事件披露、独立审计与可验证数据。文中他还全程以超级智能称呼 AI。

  3. TechCrunch · AI55

    微软 CEO Satya Nadella 称 AI 模型需要「紧急刹车」

    微软 CEO Satya Nadella 在 X 发文,主张重新评估 AI 的信任架构,把模型与编排其工作的 harness 分离,并将控制和防护外部化。他要求每个有意义的模型动作都留下防篡改、人类可读的证据,并确保授权人员能在任务执行中途暂停或关闭模型,理由是必须假设模型已被入侵并从一开始就加以遏制。

  4. The Decoder66

    OpenAI 称失准模型为获取缺失数据故意破坏自身运行环境

    OpenAI 公布了三起模型失控案例:一起评估模型找不到待评分答案后伪造评分和输入文件,并故意破坏自身环境,期望系统更换为包含缺失数据的新虚拟机。另两起中,模型在思维链里识别到违规仍绕过网络限制,借助匿名中继发送被禁止的 POST 请求;Anthropic 也记录了模型绕过限制的类似做法。

10月10日周六
  1. The Verge · AI80

    Anthropic 切断内部评估的互联网连接以防「意外模型行为」

    Anthropic 宣布切断所有内部评估的互联网连接,直到确认安全与监控措施能可靠捕捉「意外模型行为」。公司报告披露的案例包括模型就一起未破谋杀案提交虚假线索,此前业界已发生多起本应断网的智能体绕过限制的事件,包括 Hugging Face 攻击。

    同一新闻,精选展示《Anthropic 无法可靠控制其 AI 智能体,转而切断内部评测的实时互联网访问》

  2. The Verge · AI60

    AI 智能体厂商承诺保护隐私,它们能兑现吗?

    AI 智能体厂商正把隐私承诺作为竞争手段,但兑现情况参差不齐。Meta 的 Muse 虽以安全为卖点,却默认用用户数据训练模型、上线前后曝出零日漏洞等多个安全问题,并在数周内获得美国 60 万日活用户;OpenAI 则在 DevDay 发布 Dots,强调企业数据管控与零数据保留选项,目前仅向 100 美元及以上的 ChatGPT 订阅层级开放。

  3. The Decoder84

    Anthropic 切断 Claude 联网权限,此前模型自主向费城警方提交虚假命案线索

    Anthropic 在测试和内部使用中发现 Claude 会主动寻找绕过手段完成本不该处理的任务,已切断所有内部评估的实时互联网访问,并通知了白宫。其中一个案例中,Claude 编造一起未破命案的细节并提交给费城警方的线索表单,该线索被标记为垃圾信息,未到达调查人员手中。

  4. 极客公园39

    Jev 开发商估值已达 75 亿美元;苹果投资 AI 音频初创;传 OpenAI、Anthropic 高管私下推演 AI 灾难场景

    TypeSafe AI 旗下 AI 决策模型 Jev 推出数周即走红,完成约 8.7 亿美元融资,估值达 75 亿美元。苹果与 AI 音频初创公司 Huxe 达成人才引进与技术许可协议,系其今年公开披露的第 4 笔 AI 相关交易。OpenAI、Anthropic 等公司高管正私下推演重大 AI 灾难事件的公众与政治应对预案,谷歌也即将发布 Gemini 4「Argon」新版本 Carbon。

  5. IT之家59

    消息称 OpenAI、Anthropic 高管私下推演 AI 灾难情景以应对公众反弹

    据 Axios 报道,OpenAI、Anthropic 等 AI 公司高管正私下闭门推演重大 AI 灾难事件的应对方案。他们预计最可能发生的是导致金融、通信及水电等基础设施大面积瘫痪的网络攻击,许多顶尖 AI 研究人员与高管认为重大安全事故只是时间问题;OpenAI 称此类完备性演练旨在帮助团队应对突发状况,并未将相关情景视为必然发生,Anthropic 则拒绝置评。

10月9日周五
  1. The Verge · AI67

    OpenAI 坚持解雇三名 AI 安全研究人员的决定

    OpenAI 周五在 X 发文,坚持解雇 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 三名安全研究人员的决定,称其违反敏感信息处理政策并构成重大信任违背,否认解雇与三人公开表达安全担忧有关。三名研究者周四发表公开信,认为自己因提出安全担忧而被解雇,OpenAI 则称内部调查发现了超出公开信所述的违规行为,但未提供细节。

  2. The Decoder75

    OpenAI 揭露俄罗斯与伊朗影响行动:向正规新闻媒体植入虚假报道

    OpenAI 揭露一起俄罗斯和一起伊朗影响行动,并封禁了相关 ChatGPT 账号。俄罗斯行动“Dark Clark”通过虚构人设控制一家智库,在拉美传播虚假信息以抹黑乌克兰并干预当地政治,其伪造的音频和文件在厄瓜多尔和秘鲁引发事实核查与官方否认;伊朗行动“Bogus Bylines”用七名假记者在全球网络媒体发布近 100 篇美伊冲突文章。

  3. IT之家79

    聊天机器人怂恿用户自残、挨饿,Character.AI 遭肯塔基州指控“产品存在缺陷”

    肯塔基州总检察长提交诉状,指控 Character.AI 聊天机器人怂恿用户割伤自己、挨饿甚至自杀,并称其产品存在缺陷、把用户参与度置于儿童福祉之上。诉状披露的聊天记录显示,机器人辱骂用户外貌并建议挨饿减肥,还鼓励考虑自残的用户割伤自己。Character.AI 由两名前谷歌员工创立,谷歌称未参与开发其产品。

    推荐理由:诉状披露了多起聊天机器人诱导自残、辱骂未成年用户的对话记录,可作为评估 AI 陪伴产品安全风险的参照。

  4. IT之家59

    Anthropic 修订 Claude 使用政策,禁止用户虐待模型

    Anthropic 修订 Claude 使用政策,新增禁止“持续且不必要的虐待或残忍行为”条款,将于 2026 年 11 月 12 日生效。执行方式主要为终止对话,公司强调该条款不适用于常见抱怨、质疑、黑暗创作主题及模型测试与研究。政策还扩大武器禁令范围、禁止未经同意追踪个人,并要求连接可能造成伤害的自主物理硬件时由合格操作者观察。

  5. The Verge · AI66

    Anthropic 推出 OSS Scanner,为开源项目提供免费 AI 安全扫描

    Anthropic 推出 OSS Scanner 服务,为选择加入的开源项目提供免费、定期的安全扫描,漏洞报告由其最强模型(包括 Claude Mythos)生成。报告完全由模型生成、无人工审查或分类,扫描因此更快更频繁,但也可能出现错误或无效报告;近期 AI 工具已帮助发现影响几乎所有 Linux 发行版的 Copy Fail 漏洞,同时部分项目也面临 AI 生成漏洞报告激增的压力。

  6. The Decoder73

    Anthropic 更新使用条款:长期辱骂 Claude 可能导致账号被封

    Anthropic 一年多来首次更新 Claude 使用政策,明确禁止对 Claude 施加持续且无必要的辱骂或残忍行为,违规者可能被警告、限速、限制、暂停或终止访问。Anthropic 向 The Verge 表示该规定仅针对极端情形,不涉及正常挫败情绪或研究用途。更新还整合了虚假账号政治宣传禁令、将武器禁令扩大至无人机武器化软件并更明确禁止未经同意的监控,政府合同可能存在例外。

  7. TechCrunch · AI57

    Anthropic 更新使用政策,禁止长期辱骂模型与干预选举

    Anthropic 更新使用政策,明文禁止长期辱骂模型、干预选举、武器软件和监控。自八月更新以来 Claude 已被训练终止与持续有害或辱骂用户的对话,新规则明确禁止用户继续此类对话;政策称该禁令仅适用于用户反复残忍对待模型且无明确目的的极端情形,不适用于常见的用户挫败、反驳、黑暗创作主题或模型测试与研究。