headroomlabs-ai/headroom
Headroom 是在本机压缩大模型输入的工具,帮助编程助手和应用减少发送给模型的文本量及词元消耗,词元就是模型计量文本的单位。
在送入大模型前压缩工具输出、日志、文件和检索片段;编程助手省20%词元,JSON省60–95%,答案不变;提供库、代理及MCP服务。
- 处理流程是工具输出、日志、文件等→按内容类型压缩→发送给模型,原文保存在本地,模型需要时可取回。
- 适合开发大模型应用或使用编程助手的人,可通过程序库、代理或MCP工具服务接入,支持Claude Code、Codex等。
- Python应用可先执行 pip install headroom-ai,再用 compress(messages, model="gpt-4o") 处理消息后发送给模型。
- README节选报告四种场景节省21%至57%的输入词元,重复JSON和日志可超过90%,普通文章节省较少,具体效果取决于输入。
- 还提供多个助手共享记忆、从失败会话提炼纠正建议,以及引导模型缩短回复的功能。
- 压缩在本机进行,但默认会发送匿名使用统计;可设置 HEADROOM_TELEMETRY=off 关闭,资料称统计不含提示词、代码或文件路径。
发表回复