同为 7/8,错误样本却不同:Agent Grader 分歧复算
热点事件持续更新
同为 7/8,错误样本却不同:Agent Grader 分歧复算
1 篇报道1 个报道来源59 分钟前更新
先了解这件事
AI 综述
作者用三个任务、每个三次尝试的九行记录复算了两种判定规则:只看状态的硬规则误放行了 policy/2,叠加评分的组合规则误拒绝了 export/1;两者一致率同为 7/8,但错误样本互不相同。 复算还发现,不确定的参考样本 policy/1 未计入一致率分母,参考覆盖率为 8/9,作者称该指标须与一致率同时报告,否则单一总分掩盖分歧结构。 作者据此建议保留逐行结果与不确定记录,并区分“至少一次成功”与“三次全部成功”两种分母,避免单一分数掩盖规则间的分歧。
AI 根据报道生成 · 52 分钟前更新
最新进展10月20日 10:25
同为 7/8,错误样本却不同:Agent Grader 分歧复算报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- 掘金同为 7/8,错误样本却不同:Agent Grader 分歧复算
作者构造三个任务各三次尝试的九行记录,复算两种判定规则:只看状态的硬规则误放行 policy/2,叠加评分的组合规则误拒绝 export/1,两者一致率同为 7/8 但错误样本不同。不确定参考 policy/1 不计入一致率分母,参考覆盖率为 8/9,须与一致率同时报告。复算说明应保留逐行结果与不确定记录,并区分“至少一次成功”与“三次全部成功”的分母,避免单一总分掩盖分歧结构。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。