JustVugg/colibri · 中文介绍

JustVugg/colibri

★ 47,508 · Forks 5,486

colibri 是用 C 编写的本地模型推理引擎,通过把模型分放在显卡、内存和磁盘中,让现有电脑也能运行大型开放模型。

面向前沿 MoE 模型的分层推理引擎:热专家置于 GPU(CUDA、Vulkan),温专家驻留 RAM,冷专家从 NVMe 流式加载。使用 C 编写,可在你已有的硬件上运行

  • 混合专家模型每次只调用部分“专家”模块,colibri 将常用部分留在内存或显卡中,其余按需从磁盘读取,内存较少时可能更慢。
  • 适合想在自己的电脑上运行模型、聊天或接入应用的用户,支持纯 CPU,也可通过 CUDA 或 Vulkan 使用显卡。
  • README 节选列出了语言、图像生成和决策模型,并提供浏览器界面及兼容 OpenAI、Anthropic 的接口。
  • 入门流程是运行 Windows 的 START-HERE.bat 或 Linux、macOS 的 ./start-here.sh → 检测硬件 → 推荐模型 → 下载并启动。
  • 入门最低要求为 8 GB 内存、22 GB 可用磁盘空间和网络,具体模型要求不同,大模型从磁盘读取时更依赖磁盘速度。

依据已读取的 README 资料编写;较长资料可能使用节选,未实际测试仓库功能。
资料来源:README · 内容生成时间:2026-11-13T12:18:20+00:00

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注