JustVugg/colibri
colibri 是用 C 编写的本地模型推理引擎,通过把模型分放在显卡、内存和磁盘中,让现有电脑也能运行大型开放模型。
面向前沿 MoE 模型的分层推理引擎:热专家置于 GPU(CUDA、Vulkan),温专家驻留 RAM,冷专家从 NVMe 流式加载。使用 C 编写,可在你已有的硬件上运行
- 混合专家模型每次只调用部分“专家”模块,colibri 将常用部分留在内存或显卡中,其余按需从磁盘读取,内存较少时可能更慢。
- 适合想在自己的电脑上运行模型、聊天或接入应用的用户,支持纯 CPU,也可通过 CUDA 或 Vulkan 使用显卡。
- README 节选列出了语言、图像生成和决策模型,并提供浏览器界面及兼容 OpenAI、Anthropic 的接口。
- 入门流程是运行 Windows 的 START-HERE.bat 或 Linux、macOS 的 ./start-here.sh → 检测硬件 → 推荐模型 → 下载并启动。
- 入门最低要求为 8 GB 内存、22 GB 可用磁盘空间和网络,具体模型要求不同,大模型从磁盘读取时更依赖磁盘速度。
发表回复