vLLM 218 秒启动耗时拆解：磁盘读取仅占 8%

掘金一位技术作者用一份 218 秒的 vLLM 模型加载日志逐项拆解启动过程，发现读取 74 个权重 shard 仅占 17 秒（约 8%），其余约 200 秒花在权重搬运到 NPU 显存、w8a8 量化变换和 TP/EP 并行切分重排上。 这一分解表明，vLLM 启动耗时的主要部分并非权重文件读取，而是加载后的显存搬运、量化变换与切分重排三个环节。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。