Hugging Face Blog·· 8 天前精选AI 评分64
XYBench 基准发布:测试 AI 助手能否识别请求背后的真实问题
XYBench: Helping with the problem behind the question
AI 导读
AI2 联合 Carnegie Mellon、NVIDIA 和 Johns Hopkins 的研究者发布 XYBench 基准,包含 8115 条来自 Stack Overflow、Stack Exchange、WikiHow 等的真实问题,衡量模型能否识别用户请求中的隐含误解并引导其转向真正目标。
推荐理由
该基准提供了一种衡量模型识别用户误解能力的框架,实验显示五个主流模型在误解识别上仍落后于人类参考答案。
来源:Hugging Face Blog · huggingface.co