AWS Machine Learning Blog· Shubham Gupta·· 4 天前AI 评分54
ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理
How ArisGlobal scaled generative AI inference on Amazon Bedrock
AI 导读
ArisGlobal 把 Amazon Bedrock 请求顺序改为先发送共享提示词前缀并在其后设置缓存检查点,使 65% 的输入 token 命中缓存。其 NavaX 智能体的共享前缀在 6 个月内从约 72,000 增至 180,000 token,单案推理成本曾上涨超过 200%。
来源:AWS Machine Learning Blog · aws.amazon.com