跳到正文
热点事件持续更新

VELD-QA 长文档问答基准发布,检索阅读分开计分

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Oracle AI 联合 USC、UPenn 在 arXiv 挂出 VELD-QA 长文档问答基准(arXiv 2610.20964,代码 oracle-samples/veld-qa),含 15,000 道全人工标注问答、5,859 份真实 PDF、合计 372,445 页。 基准把检索与阅读拆成两笔账:每道题由人工标出支撑页和证据元素,考检索只看页面找没找对,考阅读只把正确页面交给模型看它还错不错。 范围限于英文、原生数字版 PDF、单文档单轮问答,扫描件、手写、幻灯片、多轮对话、跨文档检索均不在册。论文称“金页”设定在真实系统里不存在,81.7% 只是诊断读数,不能据此换算成模型已能处理八成长文档问题。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. 掘金
    VELD-QA:1.5 万道全人工标注的长文档问答,把检索到和读进去分开算账

    Oracle AI 联合 USC、UPenn 在 arXiv 挂出 VELD-QA 基准(arXiv 2610.20964,代码 oracle-samples/veld-qa),用 15,000 道全人工标注问答、5,859 份真实 PDF、合计 372,445 页把检索与阅读分开计分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。