跳到正文
博客园· codigger·· 2 小时前AI 评分65

大模型 Temperature 与 Top-p 的区别详解:原理与调参建议

大模型 Temperature 和 Top-p 到底有什么区别?一篇讲透原理与调参 - codigger

AI 导读

本文用一组实算概率讲清大模型 Temperature 与 Top-p 的本质区别:Temperature 作用于 Softmax 概率转换,改变分布陡峭度;Top-p 作用于采样之前,按累计概率截断候选池。文章还给出按场景取值表与四条实践原则,建议基线设 T=0.7、p=0.9,优先只动 Temperature。

来源:博客园 · cnblogs.com