论文测 14 个商业 LLM 部署，无一能复现自身输出

GFLOPS 的 Ryosuke Suzuki 在 arXiv 发表论文（2610.21300）：把 70 个医疗器械合规评估 prompt 以字节相同的请求发给 14 个商业 LLM 部署（7 个模型、3 家提供方、6 条调用路径），连续两天每天 5 遍。结果是没有任何一个部署能复现自己的全部回答，12 个部署连「满足/不满足」的判定标签都发生过翻转，引用段落的漂移比标签翻转更普遍。 实验范围和证据力有限：代码为专有，公司外尚无第三方复现；每个部署只测了两天、一个客户端区域、按量付费档；论文涉及的 batch-invariant 是 vLLM 0.29.0 的 beta 特性，Qwen3.8-27B 无法以该模式服务。作者称期刊版会放出六属性的最小参考实现和哈希校验脚本。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。