跳到正文
11月21日周六
  1. OpenAI News45

    MedChemBench:AI 能否帮助科学家识别有前景的候选药物?

    OpenAI 推出 MedChemBench 基准,通过 99 道源自药物化学文献的推理题评估 AI 模型连接分子结构与实验证据的能力。在 xhigh 推理设置下,GPT-6.2 Astra 获得 84.5% 的得分,领先 GPT-6 Astra(83.3%)与 GPT-5.6 Sol(58.2%)。GPT-6 Astra 在分子结构重建上表现最强,但化合物选择与数值性质预测仍更具挑战。

11月20日周五
  1. Google Research63

    Google Quantum AI 量子语境性研究登上 Science,量子处理器胜率 98.3% 突破经典极限

    Google Quantum AI 团队在 Science 发表论文,在超导量子处理器上实测测量语境性:量子比特在魔法方块游戏中胜率 98.30%,超过经典策略至多 88.89% 的上限。

    推荐理由:原文用三个可验证的实验给出量子计算超越经典策略的具体数字,读者可据此理解量子优势的物理来源与衡量方式。

11月18日周三
11月17日周二
11月7日周六
11月6日周五
11月3日周二
  1. OpenAI News33

    OpenAI 发布 LifeVal 基准

    OpenAI 发布 LifeVal 基准,用于衡量 AI 帮助人们完成日常任务的表现,涵盖寻找托儿服务、管理财务和办理政府文件等场景。该基准为评估 AI 在真实生活中的实用性提供了统一标准。

10月28日周三
10月23日周五
  1. Hugging Face Blog71

    OlmoEarth v1.3 发布:覆盖全球的卫星嵌入模型与 Embeddings Explorer 工具

    AI2 在 Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型,同时开放全球预计算嵌入(10m 分辨率、64 与 128 维)及浏览器工具 Embeddings Explorer,无需登录或 GPU 即可使用。

    推荐理由:原文给出 27 项评测的横向对比、训练成本与开放入口,读者可据此判断卫星嵌入能否替代现有微调流程。

10月21日周三
  1. Hugging Face Blog65

    FairStress:深入评估 LLM 决策中的公平性

    AI2 发布 FairStress 公平性基准,用 300 个双人决策场景和匹配的对抗性前缀测量 LLM 在招聘、信贷、医疗等 29 个领域中的公平性。基准可扩展为超过 1300 万个测试用例,并提供基于项目反应理论选取的 50K 条 FairStress-Core 子集。

    推荐理由:原文提出用对抗性前缀测量 LLM 决策中隐藏的人口统计学不对称,并比较了九种去偏干预的实际效果。

10月20日周二
10月5日周一
  1. GitHub Blog · AI & ML72

    GitHub 发布开源 AI 代码评审基准 ReviewBench

    GitHub 推出开源 AI 代码评审基准 ReviewBench,语料基于 103.9M 个真实 pull request 的语言与仓库规模分布建模,包含来自 187 个开源仓库的 219 个 PR、19 种语言。

    推荐理由:原文讲清了 ReviewBench 的语料构建与指标设计,做代码评审智能体的团队可以照同样的思路建立自己的离线评估。

9月30日周三
  1. Hugging Face Blog66

    Hugging Face 发布 Open TTS Leaderboard,覆盖开源多语言 TTS 与语音克隆评测

    Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与语音克隆模型。榜单以 Qwen3 ASR 转写计算 WER/CER 衡量可懂度,以 RTFx 和 TTFA 衡量 H200 GPU 上的批量推理与流式延迟,并以 WavLM 嵌入余弦相似度衡量说话人相似度,把单个模型评测从数周缩短到数小时。

    推荐理由:原文对比了人工偏好竞技场与客观指标评测,说明新榜单用 WER、RTFx、TTFA 和说话人相似度补齐开源 TTS 评测的缺口。

8月13日周四
  1. Microsoft Research54

    Microsoft Research 提出 MindTopo 基准,评估 VLM 拓扑推理与规划能力

    Microsoft Research 提出 MindTopo 基准,围绕连通性、分离、顺序、包围和打结五类拓扑性质,评估多模态模型在静态场景识别与交互式规划两层的表现。测试显示模型静态推理 consistently 强于交互规划,且均远低于人类水平,错误多发生在规划阶段,如丢失结构关系或提出违反物理约束的动作。图像与视频生成工具仅在单帧可见关系时偶有帮助,跨多步动作时并不可靠。