跳到正文
IT之家·· 8 天前AI 评分75

llama.cpp 1.0.0 发布:支持超 150 种模型架构,明确 API/ABI 兼容性规则

本地推理引擎 llama.cpp 1.0.0 史诗级更新:支持超 150 种模型架构,断网也能满血跑大模型

AI 导读

Georgi Gerganov 宣布开源推理项目 llama.cpp 与底层张量库 ggml 的库版本迈入 1.0.0,已支持超过 150 种模型架构变体及主流推测解码方法,可在断网环境下本地运行大模型。

来源:IT之家 · ithome.com