跳到正文
博客园· FutureAI-Zeng·· 3 小时前AI 评分60

内网部署 Qwen2.5-7B 实操:日志、性能与模型选型的一次完整梳理

内网部署 Qwen2.5-7B 实操:日志、性能与模型选型的一次完整梳理 - FutureAI-Zeng

AI 导读

作者在内网服务器用 Ollama 以 systemd 服务纯 CPU 部署 qwen2.5:7b-instruct(4bit 量化后 4.7GB),实测冷加载 5.85s、prefill 约 68 tok/s、decode 约 8.5 tok/s、端到端 9.7s。

来源:博客园 · cnblogs.com