跳到正文
掘金· 绿意新酿·· 6 小时前AI 评分63

vLLM 模型加载深度拆解:用真实日志看清 218 秒启动耗时

长线学习-4

AI 导读

作者用一份 218 秒的 vLLM 加载日志逐项拆解模型加载过程,发现读 74 个 shard 仅占 17 秒(8%),其余约 200 秒花在权重搬运到 NPU 显存、w8a8 量化变换和 TP/EP 切分重排上。

来源:掘金 · juejin.cn