跳到正文
掘金· 老纪的技术唠嗑局·· 3 小时前AI 评分62

GPT-6 提示词缓存(Better prompt cache)解读:三档计费与命中率提升带来什么

GPT-6 发布“Better prompt cache”,提示词缓存,带来了什么?

AI 导读

OpenAI 于 9 月 22 日发布《Better prompt caching for GPT-6》,介绍 GPT-6 缓存命中率改进:相同评测负载下调整缓存断点后,命中率从 83% 提升到 91%,推理费用下降 36%。

来源:掘金 · juejin.cn