跳到正文
掘金· wangfpp·· 20 小时前AI 评分73

Apple Silicon 上 Qwen2.5 LoRA 微调与 GGUF 部署全指南

本地大模型微调与 GGUF 部署全指南

AI 导读

作者以打造读书智能助手为例,在 Apple Silicon 上用 mlx-lm 对 Qwen2.5-1.5B-Instruct 做 LoRA 微调,再转换为 GGUF 量化格式并由 llama.cpp 部署,完整走通数据准备到端侧上线的全链路。

来源:掘金 · juejin.cn