AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分42
vLLM 推送式 KV 传输优化分离式推理的 TTFT 与 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 为 vLLM 贡献了推送式 NIXL connector，将 prefill 后的 KV 传输协调与准备工作移出关键路径，从而降低分离式推理的 TTFT 与 TPOT。
来源：AWS Machine Learning Blog · aws.amazon.com