跳到正文
掘金· 米小虾·· 2 小时前AI 评分71

Agent 安全的三层护栏:为什么只在提示词里写“不许做”没用

三层护栏:为什么只在提示词里写"不许做"没用

AI 导读

文章指出,只在系统提示里写“不许做”拦不住提示注入,因为攻击指令来自 Agent 自行读取的外部内容,与用户指令在上下文里平级。作者把护栏分为三层:上下文层控制模型能看到什么,执行层控制模型能做什么,数据层控制世界能被改成什么样,越靠下的机制越难被绕过。文章还区分了越狱与提示注入,并强调高风险复核必须由上下文之外的独立机制完成。

来源:掘金 · juejin.cn