跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

23 条精选近 30 天 13 条共收录 152 条

更新

精选归档 · 第 2 页

10月5日周一第 21–23 条
  1. GitHub Blog · AI & ML72

    GitHub 发布开源 AI 代码评审基准 ReviewBench

    GitHub 推出开源 AI 代码评审基准 ReviewBench,语料基于 103.9M 个真实 pull request 的语言与仓库规模分布建模,包含来自 187 个开源仓库的 219 个 PR、19 种语言。

    推荐理由:原文讲清了 ReviewBench 的语料构建与指标设计,做代码评审智能体的团队可以照同样的思路建立自己的离线评估。

10月1日周四
  1. Latent Space79

    Gemini 4 Argon 发布:Google DeepMind 对标 Astra/Fable,输出上限达 1M token

    Google DeepMind 发布 Gemini 4 Argon,定位编码、企业知识与网络防御,称在 19 个已发布基准中的 13 项排名第一,但目前仅向 Fairwind 计划的政府与可信网络防御者开放。

    推荐理由:原文对照了官方基准与 Artificial Analysis、Vals 等第三方评测,读者可据此判断 Argon 的实际水平与适用场景。

9月30日周三
  1. Hugging Face Blog66

    Hugging Face 发布 Open TTS Leaderboard,覆盖开源多语言 TTS 与语音克隆评测

    Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与语音克隆模型。榜单以 Qwen3 ASR 转写计算 WER/CER 衡量可懂度,以 RTFx 和 TTFA 衡量 H200 GPU 上的批量推理与流式延迟,并以 WavLM 嵌入余弦相似度衡量说话人相似度,把单个模型评测从数周缩短到数小时。

    推荐理由:原文对比了人工偏好竞技场与客观指标评测,说明新榜单用 WER、RTFx、TTFA 和说话人相似度补齐开源 TTS 评测的缺口。