跳到正文
博客园· Tomorrowland_D·· 13 天前AI 评分41

如何把“学霸大脑”塞进手机?一文读懂大模型知识蒸馏

如何把“学霸大脑”塞进手机?一文读懂大模型知识蒸馏 - Tomorrowland_D

AI 导读

知识蒸馏让参数庞大的教师模型将知识传授给小巧的学生模型,使小模型在特定任务上表现出色。以 DeepSeek-R1 为教师模型生成推理数据,可微调 Qwen、Llama 等基础模型,训练出 1.5B、7B、14B 等规模的蒸馏模型。蒸馏后的轻量模型降低了显存需求与推理成本,能运行在笔记本电脑、智能手机等设备上。

来源:博客园 · cnblogs.com