跳到正文
热点事件持续更新

同为 7/8,错误样本却不同:Agent Grader 分歧复算

1 篇报道1 个报道来源59 分钟前更新

先了解这件事

AI 综述

作者用三个任务、每个三次尝试的九行记录复算了两种判定规则:只看状态的硬规则误放行了 policy/2,叠加评分的组合规则误拒绝了 export/1;两者一致率同为 7/8,但错误样本互不相同。 复算还发现,不确定的参考样本 policy/1 未计入一致率分母,参考覆盖率为 8/9,作者称该指标须与一致率同时报告,否则单一总分掩盖分歧结构。 作者据此建议保留逐行结果与不确定记录,并区分“至少一次成功”与“三次全部成功”两种分母,避免单一分数掩盖规则间的分歧。

AI 根据报道生成 · 52 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. 掘金
    同为 7/8,错误样本却不同:Agent Grader 分歧复算

    作者构造三个任务各三次尝试的九行记录,复算两种判定规则:只看状态的硬规则误放行 policy/2,叠加评分的组合规则误拒绝 export/1,两者一致率同为 7/8 但错误样本不同。不确定参考 policy/1 不计入一致率分母,参考覆盖率为 8/9,须与一致率同时报告。复算说明应保留逐行结果与不确定记录,并区分“至少一次成功”与“三次全部成功”的分母,避免单一总分掩盖分歧结构。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。