跳到正文
掘金· 武子康·· 2 小时前AI 评分49

同为 7/8,错误样本却不同:Agent Grader 分歧复算

同为7/8,错误样本却不同:Agent Grader 分歧复算

AI 导读

作者构造三个任务各三次尝试的九行记录,复算两种判定规则:只看状态的硬规则误放行 policy/2,叠加评分的组合规则误拒绝 export/1,两者一致率同为 7/8 但错误样本不同。不确定参考 policy/1 不计入一致率分母,参考覆盖率为 8/9,须与一致率同时报告。复算说明应保留逐行结果与不确定记录,并区分“至少一次成功”与“三次全部成功”的分母,避免单一总分掩盖分歧结构。

来源:掘金 · juejin.cn