AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分44
用 vLLM 双向 KV transfer 优化多轮智能体工作负载的 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS 在 vLLM 中实现双向 KV transfer，让 prefill 与 decode 节点跨对话轮次复用已计算的上下文，降低多轮智能体工作负载的 TTFT。
来源：AWS Machine Learning Blog · aws.amazon.com