掘金· lucas_AI·· 2 小时前AI 评分72
同一请求发给 14 个 LLM 商业部署,12 个改了答案:医疗器械合规判定的确定性先不过关
同一个问题问了 14 遍,12 个部署改了答案:LLM 做医疗器械合规判定,确定性先不过关
AI 导读
GFLOPS 的 Ryosuke Suzuki 在 arXiv 发表论文(arXiv 2610.21300):把 70 个医疗器械合规评估 prompt 以字节相同的请求发给 14 个商业部署(7 个模型、3 家提供方、6 条调用路径),连续两天每天 5 遍,没有一个部署能复现自己的全部回答,12 个连「满足/不满足」标签都变过,引用段落的漂移比标签翻转更普遍。
来源:掘金 · juejin.cn