跳到正文
掘金· 前端阿凡·· 2 小时前AI 评分62

AI 应用 A/B 实验:85% 比 78% 好为何不算赢(R03)

A/B 实验:85% 比 78% 好,居然不算赢?(R03)

AI 导读

本文讲解 AI 应用如何用 A/B 实验确定性地比较提示词版本优劣,核心是写假设、定指标、算样本、跑实验、下结论五步法。作者要求离线评测与线上指标双维度都显著才采纳新版本,并给出实测:各 100 样本下 85% 对 78% 的 z=1.27、p=0.20,差异不显著。

来源:掘金 · juejin.cn