跳到正文
Import AI· Jack Clark·· 19 天前AI 评分43

Import AI 479:Realtime-Bench 显示 LLM 不擅长低延迟任务;太空战与 Genie 4

Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4

AI 导读

多所高校与 NVIDIA 等机构的研究者构建了 Realtime-Bench 基准,用 50 个实时交互的网页与游戏任务测试 AI 系统的即时决策能力。在真实时钟条件下,表现最好的 GPT-6 Astra (high) 通过率仅 36%,而暂停时钟下高推理能力模型可达 70%–80%。该基准暴露了 AI 智能体在在线竞拍、实时游戏等低延迟场景下的能力短板。

来源:Import AI · importai.substack.com