博客园· FutureAI-Zeng·· 3 小时前AI 评分60
内网部署 Qwen2.5-7B 实操:日志、性能与模型选型的一次完整梳理
内网部署 Qwen2.5-7B 实操:日志、性能与模型选型的一次完整梳理 - FutureAI-Zeng
AI 导读
作者在内网服务器用 Ollama 以 systemd 服务纯 CPU 部署 qwen2.5:7b-instruct(4bit 量化后 4.7GB),实测冷加载 5.85s、prefill 约 68 tok/s、decode 约 8.5 tok/s、端到端 9.7s。
来源:博客园 · cnblogs.com