跳到正文
AWS Machine Learning Blog· Dustin Liu·· 5 天前AI 评分49

Amazon Bedrock 开放权重模型推出显式提示词缓存

Introducing explicit prompt caching with open-weight models on Amazon Bedrock

AI 导读

Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,用户可在 Chat Completions API 中用 prompt_cache_options 与 prompt_cache_breakpoint 标记可复用前缀,重复上下文直接从缓存读取,从而降低输入成本与响应延迟。

来源:AWS Machine Learning Blog · aws.amazon.com