跳到正文
掘金· 秦先生在广东·· 3 小时前AI 评分67

Headroom 深度解析:本地 LLM 代理下的 Token 压缩

Headroom 深度解析:本地化 LLM 代理下的 Token 压缩艺术

AI 导读

Headroom 是一款本地运行的 LLM 代理与库,通过可逆压缩工具输出、日志与 RAG chunks,在不牺牲答案质量的前提下降低编码代理的 Token 消耗。

来源:掘金 · juejin.cn