跳到正文
The Decoder· Jonathan Kemper·· 3 小时前AI 评分71

研究发现复杂 harness 让编程智能体更贵但并未更好

Fancy harnesses make coding agents more expensive but not better, study finds

AI 导读

Liu 和 Han 让 5 个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三种 harness 上运行 SWE-bench Verified 任务,发现更换 harness 造成的分数变化与同配置重跑的噪声相当,而单任务成本最多相差三倍,差异主要来自系统提示词和工具描述。

来源:The Decoder · the-decoder.com