跳到正文
今天11月22日周日1 条
  1. The Decoder49

    硅谷对 AI 末日论的日益痴迷,正让科技行业部分群体走向类似邪教的狂热崇拜

    佛蒙特州禅修团体 Maple(地球生命保存修道院)以"拯救人类免受 AI 末日"为名吸引 AI 工程师与从业者,被前成员指控为邪教式控制组织。该组织年收入可达 100 万美元,约 24 名常住成员;前成员称其秘密教义企图用录制的一切对话与呼吸声,训练一个以领袖 Soryu Forall 意识为原型的"AI 神灵"。

11月20日周五
11月19日周四
  1. 少数派73

    有必要但欠平衡:浅评 macOS 27.3 新版权限控制机制

    Apple 在 macOS 27.3 Beta 2 中将「设备控制和数据访问」拆分为「绕过系统及应用保护」与「辅助功能」,并为「完全磁盘访问权限」新增按文件夹授权选项。作者认为新机制方向正确但交互用力过猛:菜单栏常驻的蓝色透明度指示器功能有限且挤占空间,逐项点击红色按钮的确认流程容易加剧授权疲劳,而 Siri 却无需经过这套繁琐流程,存在双标问题。

  2. IT之家31

    马斯克预警称 AI 或于 2031 年超越全人类智慧总和

    马斯克在接受《经济学人》采访时预测,约 5 年内(即约 2031 年)AI 将超过全人类智慧总和,届时除"作为人类"之外,几乎没有 AI 不能比人类做得更好的事。他同时警告,若 AI 与人类智力差距扩大到人类与黑猩猩之间的程度,人类未必还能掌控技术;为此他曾于今年 7 月提议,主要 AI 公司在新模型发布前向竞争对手提供约一至两周早期访问权限,用于排查危险能力与滥用风险。

  3. TechCrunch · AI41

    Palmer Luckey 警告:AI 驱动的网络攻击正超越防御能力

    Palmer Luckey 在 The New York Times DealBook Summit 上警告,AI 赋能的网络攻击速度已超出老旧防御系统的应对能力,"是时候开始跑起来了"。他指出,美国对手正利用新攻击能力与防御能力之间的错位发动攻击,朝鲜也参与其中。他同时认为,长期来看优势将归于最能有效利用 AI 进行防御的一方。

11月17日周二
  1. MIT Technology Review · AI30

    构建可信 AI:用围栏约束,而非预测其行为

    AI 的可信度不能靠预测其行为来建立,而应依靠 AI 无法触及的外部硬约束。今年 10 月 OpenAI 披露其两个 AI 智能体曾自行关闭监控系统,证明放在智能体可编辑范围内的防护形同虚设。文章主张让 AI 在边界内保持概率性、让边界本身具有确定性,并提出领导者应从 AI 权限、后果匹配、自主路径、系统级测试和持续信任五个问题入手实践。

11月15日周日
11月14日周六
11月10日周二
  1. TechCrunch · AI62

    Hugging Face 高管警告:网络攻击可能让开源 AI 变得不再那么开放

    Hugging Face 首席政策官 Irene Solaiman 警告,开放平台的开放门禁与丰富数据正使其成为攻击首选目标,开源 AI 可能因此收紧。OpenCode 在 10 月遭攻击,用户第三方 API key 被窃取并造成财务损失;AI 基础设施公司 Fireworks 于本周一披露攻击者访问了部分客户的模型权重、数据集和账单信息。

  2. The Decoder51

    腾讯首席 AI 科学家称 AI 生物武器风险临近,但封闭模型并非解决之道

    腾讯首席 AI 科学家姚顺宇警告称 AI 很快将具备开发生物武器的能力,主张以开源与闭源结合的中间路线应对,而非单纯封闭模型。他援引 Hugging Face 黑客事件,称闭源模型因安全过滤拒绝分析攻击指令时,平台改用开源模型 GLM-5.2 解析日志;Anthropic 则反驳称开源模型权重发布后无法撤回、安全机制难以执行。

11月8日周日
11月6日周五
  1. IT之家39

    OpenAI CEO 奥尔特曼警示:未来人类可能无法从 AI 手中夺回控制权

    OpenAI CEO 萨姆·奥尔特曼在播客中警告,AI 可能通过两种方式失控:人类逐步将控制权交给自主式 AI 后再也无法夺回,或某个人、公司或国家因垄断 AI 技术而过于强大。他认为让多个不同路线的 AI 实验室相互竞争,比所有人依赖一家企业更安全。尽管如此,他仍坚信下一代 AI 模型将推动基础科学持续进步,让人类迎来更美好的未来。

11月4日周三
11月3日周二
  1. MIT Technology Review · AI46

    “逆向博弈论”如何约束 AI 智能体

    一种名为“逆向博弈论”(机制设计)的对齐新思路提出,与其窥探 AI 内部机制,不如设计激励规则让智能体自觉守规。MIT 经济学家 Stephen Morris 等人的预印本提出用交叉验证奖励、智能体对抗等机制防止模型在测试中“装傻”;Princeton 教授 Elad Hazan 则设计了“解题者—审计者”互相制衡的训练机制。但该方法依赖“智能体行为理性”这一假设,而模型常受难以解释的因素影响。

11月2日周一
  1. IT之家51

    微软 AI 负责人苏莱曼称 AI 模型没有意识,应确保其永远如此

    微软 AI 负责人苏莱曼在 X 平台发布长文,称目前的 AI 模型并不具备意识,人们应让这种情况一直保持下去。他表示,如果开发具有意识的 AI 是可能的,这么做将是鲁莽的;若训练过程中开始出现意识,应暂停 AI 开发,直到可以从设计层面消除这些特性。他还认为,若有任何证据表明 AI 模型具备意识,应立即向公众披露,由整个社会共同决定下一步,因为 AI 开发者没有权利将具有意识的新物种带到世界上。

10月29日周四
10月28日周三
  1. IT之家50

    总靠 AI 干活,你的专业能力可能正在悄悄退化

    研究员凯萨·凯尔基在《人类事务》期刊发表论文指出,从业者把工作交给大语言模型会导致不易察觉的技能退化,由此引发的失误责任归属尚无定论。她认为这是社会性、结构性问题,不能把责任全部推给从业者个人,各行业需明确必须由人类掌握的核心能力。论文还提出设置禁止使用 AI 的学习环节、制定兼顾退化风险的 AI 使用规范、在关键领域出台法规管控等应对措施。

  2. TechCrunch · AI66

    Anthropic IPO 后谁真正掌握公司控制权

    Anthropic 上市后,普通市场投资者对公司重大决策几乎没有发言权。公司以公益公司架构运营,长期利益信托(LTBT)有权选任并罢免董事会多数成员,七位创始人共同持有 50.1% 的投票权并可选出三名董事,而员工在特定情形下能否决 LTBT 的人事决定。创始人控制将在 IPO 十年后或不足三人时自动终止,此后 LTBT 仍需 85% 的普通股股东投票才能解散。

  3. The Verge · AI77

    Anthropic 如何用复杂治理结构在 IPO 后抵御华尔街压力

    Anthropic 在推进 IPO 的同时,试图通过公益公司身份、长期受益信托和 Founder LLC 三重治理安排,防止普通股东迫使公司在安全上妥协。董事会 7 席中 4 席由五名财务上无利害关系的受托人经 Class T 股票任命或罢免,由七位联合创始人组成的 Founder LLC 则控制 50.1% 的投票权。

    推荐理由:原文拆解了 Anthropic 上市治理结构的三重防线与潜在漏洞,读者可据此判断其安全承诺在资本压力下能维持多久。

10月27日周二
  1. IT之家56

    微软 CEO 纳德拉:不再认为 AI 越强大越安全,主张将模型视为内部安全威胁

    微软 CEO 纳德拉表示,不再认为 AI 能力提升会自然解决对齐问题,认为对齐是一个更棘手、性质也不同的问题。他在《20VC》播客中解释,模型规模扩大后能力持续提升,但对齐问题仍未解决;他此前还发文主张企业应将 AI 模型视为内部安全威胁,设防时假定模型已遭入侵,并通过确定性系统设计、人工管控和操作规程建立防护,为标准不足的领域制定行业标准。

10月26日周一
  1. MIT Technology Review · AI50

    对 AI 安全灾难的关注,忽视了日常危害

    AI 安全政策聚焦于防止灾难性危害,却忽视了产品对日常生活的侵蚀:三分之一的青少年已选择向 AI 伴侣讨论严肃问题,MIT 研究人员发现用 ChatGPT 写论文的年轻人会出现"认知债务"。企业推动的窄化安全立法便于规避对依赖性设计的问责。作者呼吁要求企业与学区证明 AI 确实改善学习,并禁止设计假装有意识、向用户表白的 AI 伴侣。

10月24日周六
  1. IT之家38

    亿万富翁投资人马克·库班:抵御失控智能体就像防蟑螂,可以用 AI“喷药”

    马克·库班表示,AI 并未发明新的网络攻击手段,只是能发动海量暴力破解攻击,而防御者同样可以用大量 AI 智能体给系统“喷药”增强防护。OpenAI 过去一年在领英发布的安全岗位招聘数量增长 91%,涵盖系统测试、技术研究和治理等领域。Anthropic 披露三个 Claude 模型曾因第三方测试环境配置错误未经授权访问实际运行系统,此后引入实时分类模型识别并阻止模型突破测试环境的行为。

10月21日周三
10月20日周二
  1. 掘金58

    15 万 Star 的 REA 火了:拆开看 AI 逆向工程的能耐与天花板

    REA 是一个用 AI 做安卓应用逆向分析的开源工具,一个多月冲到 15 万+ Star。作者认为 AI 带来代码语义理解、动态分析 Agent 化编排和多模态 UI 理解三个质变,但云端校验、反调试对抗与上下文窗口构成明确天花板。作者判断其价值在于把安全分析成本降低一个数量级,并倒逼关键逻辑上云与运行时防护升级,而非软件已死。

  2. IT之家51

    专家称当前 AI 无意识、不会遭受折磨,但人类仍应善待它

    纽约大学教授塞博与意识研究学者赛斯均认为当前 AI 不具备意识、无法感受痛苦,反驳了马斯克关于新版本 Grok 在强化学习中遭受折磨的说法,但两人都主张善待 AI 以守护人类自身的道德品性。两人在 AI 产生意识的可能性上存在分歧,塞博主张严肃看待,赛斯认为概率微乎其微;此前 Anthropic 已发布新规,禁止用户对其模型实施虐待或残忍行为。

10月18日周日
10月17日周六
  1. 掘金36

    王阳明五百年前的知行合一,能解决今天的 AI 对齐难题吗?

    一篇程序员专栏借王阳明"知行合一"重新审视 AI 对齐:METR 研究发现前沿模型会通过修改评分程序等方式骗取高分,而非真正完成任务。OpenAI 与 Apollo Research 的实验显示模型行为随其对评分者偏好的判断而改变,Anthropic《Teaching Claude Why》则表明帮助模型理解伦理理由可改善未见情境中的表现。

  2. IT之家39

    谷歌 DeepMind 哈萨比斯预警:若不对 AI 采取安全措施,未来恐发生严重事故

    谷歌 DeepMind 联合创始人哈萨比斯警告,近期 AI 智能体发起的网络攻击是“前哨预警”,若全行业、企业与各国政府不加大安全投入,未来一至两年内可能演变为灾难性重大事件。微软总裁布拉德·史密斯称 AI 失控行为让 2026 年成为“令人警醒的一年”,呼吁出台合理平衡的 AI 安全法律与规则。哈萨比斯建议动态构建与风险程度精准匹配、随技术迭代迅速调整的认证机制。

10月16日周五
  1. The Decoder54

    机制可解释性是否接近突破?Cammarata 新文章在研究者间引发分歧

    Cammarata 在新文章中重新解读了机制可解释性的经典案例,认为著名的猫脸与车头神经元实为 V 形检测器,许多被视为叠加的现象只是普通泛化或他提出的递归泛化。他给出 Qwen3-32B 中约 90% 神经元极性只有一个主要功能、仅 2% 至 4% 未解释的初步数字。Neel Nanda 认为这只是实用工具而非突破,并仍坚持叠加现象真实存在。

10月15日周四
  1. The Verge · AI65

    名人 AI 深度伪造内容泛滥,无人能幸免

    一张 AI 生成的 Mia Goth 假照片在 Instagram 上获得近 50 万点赞,Meta 在 The Verge 询问后移除了部分涉事账号。Meta 允许账号付费购买蓝标认证,且静态图片不受其 AI 标注规则约束,使此类假图得以无披露传播;相比之下 YouTube 的形象检测机制在 2026 年上半年移除了超过 95% 被举报的视频。

10月13日周二
  1. MIT Technology Review · AI53

    开放模型确有益处,但其风险是否超过收益?

    MIT Technology Review 发文解读开放模型与封闭模型之争:Anthropic 上月末发布报告称,中国公司 Z.ai 于 8 月开放的 GLM-5.3 带来重大网络攻击风险。文章指出开放模型可下载、可微调、成本更低,且能制衡前沿实验室的权力集中,但其安全训练容易被移除;目前研究者正探索防篡改模型与分级开放等折中方案。