llama.cpp 本地运行 9B 模型：部署、工具调用与微调数据

在本地用 llama.cpp 运行 9B 模型并接入自托管 AI 工作区 Odysseus，需要将对话外壳、推理服务与工具执行器分层对接并逐一排错。9B 模型权重存储约为 18GB，4 bit 量化下约 4.5GB，实际部署还需叠加 KV cache 与应用占用来评估 36GB 设备的可行性。工具调用的可见轨迹经清洗后可构造为微调数据，但训练前须先排除模板与接口问题。