ranxianglei/billion-context
billion-context 是面向 AI 编程助手的上下文压缩插件,通过把历史对话整理成摘要,帮助长会话节省模型输入空间。
一个上下文压缩插件,适用于长达数月的单次会话(数十亿 token)、小上下文窗口(100K 上下文已足够)并可将 token 减少至 1/5;月级长会话兼顾小窗口(100k 上下文足矣)且省 token(省 5 倍)。billion-context 就是你所需要的一切。
- 工作流程是编程助手 → 代理 → 模型接口,由模型决定何时压缩哪些历史消息,并按需恢复原文。
- 提供压缩、恢复、关键词搜索和用量查看工具,适合需要持续多天处理同一任务的开发者。
- README 节选宣称可用约 100K 的上下文窗口维持月级会话,并将 token(模型处理文字的计量单位)用量降至约五分之一。
- 入门可运行 npm install -g billion-context –prefix=~/.local,再按客户端使用 bili claude、bili codex 等启动命令。
- 节选中的研究与基准结果和“仍处早期、真实模型测试尚待开展”的状态说明存在出入,当前成熟度无法仅凭资料确定。
- 用于面向用户的产品或服务时,许可要求注明使用 billion-context 并链接回仓库,纯服务端或嵌入式使用可在随附文档中署名。
发表回复