跳到正文
博客园· 张善友·· 2 小时前AI 评分67

在 K8s 上跑大模型推理,为什么越来越多人选了 KServe?

在 K8s 上跑大模型推理,为什么越来越多人选了 KServe? - 张善友

AI 导读

KServe 是 Kubernetes 原生的模型 serving 平台,不与 vLLM 竞争而是负责模型之外的一切:版本管理、流量路由、扩缩容与回滚,2025 年 9 月被 CNCF 跳过沙箱直接接纳为孵化项目。

来源:博客园 · cnblogs.com