跳到正文
Hugging Face Blog·· 8 天前精选AI 评分64

XYBench 基准发布:测试 AI 助手能否识别请求背后的真实问题

XYBench: Helping with the problem behind the question

AI 导读

AI2 联合 Carnegie Mellon、NVIDIA 和 Johns Hopkins 的研究者发布 XYBench 基准,包含 8115 条来自 Stack Overflow、Stack Exchange、WikiHow 等的真实问题,衡量模型能否识别用户请求中的隐含误解并引导其转向真正目标。

推荐理由

该基准提供了一种衡量模型识别用户误解能力的框架,实验显示五个主流模型在误解识别上仍落后于人类参考答案。

来源:Hugging Face Blog · huggingface.co